Autoregressive Synthesis of Sparse and Semi-Structured Mixed-Type Data

O artigo apresenta o Origami, uma arquitetura autoregressiva baseada em transformers que gera dados sintéticos de alta fidelidade para formatos semi-estruturados e esparsos (como JSON) sem necessidade de achatamento ou imputação, superando significativamente os métodos existentes em métricas de utilidade, fidelidade e privacidade.

O essencial

Imagine que você tem uma biblioteca gigante de dados. Até agora, os cientistas de dados tentavam organizar esses livros em uma planilha de Excel rígida: linhas e colunas, onde tudo tem que estar no lugar certo. Se um livro não tinha uma página específica, eles inventavam uma página em branco (chamada de "preenchimento") ou jogavam o livro fora.

O problema é que o mundo real não funciona como uma planilha. Os dados modernos (como os que você vê em apps, APIs e bancos de dados modernos) são mais como caixas de ferramentas desordenadas. Uma caixa pode ter um martelo, outra pode ter apenas parafusos, e uma terceira pode ter um martelo, parafusos e um manual de instruções dobrado dentro de outro. Tentar transformar essas caixas em uma planilha é como tentar encaixar um quebra-cabeça 3D em um quadro 2D: você perde a forma, a estrutura e acaba com um monte de buracos vazios.

É aqui que entra o Origami, o novo método apresentado neste artigo.

O Problema: O "Espremedor" de Dados

Os métodos antigos de criar dados falsos (para testes ou privacidade) funcionavam como um espremedor de laranjas. Eles pegavam dados complexos e cheios de "buracos" (dados esparsos) e os espremiam até virar uma planilha plana.

• O resultado? A estrutura original era destruída. Se uma caixa tinha 3 parafusos e outra tinha 10, o espremedor criava 10 colunas, deixando 7 vazias na primeira caixa. Isso confundia os computadores e gerava dados falsos que pareciam estranhos e fáceis de detectar.

A Solução: O Origami

Os autores criaram o Origami, um sistema que não espreme os dados. Em vez disso, ele aprende a dobrar e desdobrar a estrutura original, mantendo a forma das caixas de ferramentas.

Aqui está como ele funciona, usando analogias simples:

1. A Tradução (Tokenização)

Imagine que o Origami é um tradutor que não lê frases inteiras, mas sim palavras-chave e sinais de pontuação.

• Ele pega um dado complexo (como um perfil de usuário com endereço, histórico de compras e avaliações) e transforma em uma sequência de "tokens" (peças de Lego).
• Ele cria peças para "Início de Objeto", "Fim de Lista", "Chave: Nome", "Valor: João".
• Assim, ele entende que "João" é o valor de "Nome", e que "Nome" está dentro de "Usuário", sem precisar transformar tudo em colunas de planilha.

2. O Mapa de Estrada (KVPE)

Em uma planilha, a ordem importa (Coluna 1 é sempre Nome, Coluna 2 é sempre Idade). Mas em dados reais (JSON), a ordem pode mudar.

• O Origami usa uma técnica chamada Codificação de Posição Chave-Valor. Em vez de contar "este é o 5º item da lista", ele diz "este é o item 'Nome' dentro da caixa 'Endereço'".
• Analogia: É como ter um GPS que te diz "vire à direita na Rua das Flores" em vez de "vire na 3ª rua". Isso permite que o sistema entenda o significado do dado, não apenas sua posição.

3. O Truque de Mistura (Key-Order Shuffling)

Para evitar que o sistema apenas "decore" os dados (memorização), o Origami embaralha a ordem das caixas a cada vez que estuda.

• Imagine que você está aprendendo a montar um móvel. Se você sempre montar na mesma ordem, você pode decorar o movimento, mas não entender a lógica.
• O Origami pega a caixa de ferramentas, tira as peças, embaralha a ordem e tenta montar de novo. Isso força o sistema a aprender a lógica (o martelo bate no prego, não importa a ordem) em vez de decorar a sequência. Isso torna os dados gerados muito mais naturais e difíceis de distinguir dos reais.

4. O Guardião (Restrições de Gramática)

O sistema tem um "guardião" (um autômato) que garante que o que ele cria seja um JSON válido.

• Se o sistema tentar criar um objeto sem fechar a chave }, o guardião impede. É como um corretor ortográfico que não deixa você enviar um e-mail com a frase incompleta.

Por que isso é incrível?

O artigo testou o Origami em dados reais e complexos (como registros de veículos elétricos e avaliações do Yelp) que tinham até 38% de dados faltantes (espaços vazios).

• Os antigos métodos: Ou travavam (esgotavam a memória do computador) ou criavam dados tão ruins que um detector de mentiras (IA) identificava imediatamente que eram falsos.
• O Origami: Criou dados tão bons que, em muitos testes, nem um especialista conseguia dizer o que era real e o que era falso. Ele manteve a estrutura, os tipos de dados (números, textos, listas) e até os "buracos" naturais dos dados originais.

Resumo Final

O Origami é como um chef de cozinha que não tenta transformar todos os ingredientes em um purê (planilha) para cozinhar. Em vez disso, ele entende que cada ingrediente tem sua própria forma e textura. Ele aprende a receita original, mistura os ingredientes de formas diferentes para praticar e, no final, serve um prato (dados sintéticos) que é tão delicioso e autêntico quanto o original, sem precisar de conservantes artificiais (preenchimento de dados).

Isso é um grande avanço porque permite que empresas compartilhem dados sensíveis, testem seus sistemas e treinem Inteligência Artificial sem precisar se preocupar em "achatar" a complexidade do mundo real.

Resumo técnico

1. O Problema

A geração de dados sintéticos é crucial para compartilhamento de dados, privacidade, testes de sistemas e benchmarking. No entanto, a maioria dos métodos existentes (GANs, VAEs, modelos de difusão e autoregressivos) assume que os dados de entrada são tabelas densas com esquemas fixos e colunas homogeneamente tipadas.

Essa premissa entra em conflito com os dados modernos, que são frequentemente armazenados e trocados em formatos semi-estruturados e esparsos (como JSON em bancos de dados de documentos, APIs REST e data lakes). As características desses dados incluem:

• Estrutura Hierárquica: Objetos aninhados e arrays de comprimento variável.
• Esparsidade: Chaves opcionais que podem estar ausentes em alguns registros (até 38% de esparsidade em conjuntos de dados reais).
• Polimorfismo de Tipos: A mesma chave pode conter diferentes tipos de dados (ex: inteiro em um registro, string em outro).
• Mistura de Tipos: Coexistência de valores numéricos, categóricos e estruturais.

Limitações das Abordagens Atuais:
Para aplicar métodos tabulares a dados semi-estruturados, é necessário "achatar" (flatten) os dados. Isso gera tabelas largas com centenas de colunas, esparsidade extrema e perda de propriedades estruturais. Além disso:

• Métodos baseados em espaço latente contínuo (GANs/VAEs) exigem one-hot encoding para categorias, o que explode a dimensionalidade em dados achatados.
• Métodos autoregressivos padrão precisam discretizar valores numéricos, perdendo precisão e estrutura ordinal.
• Técnicas de imputação (preencher valores faltantes com médias) destroem o significado semântico da esparsidade estrutural.

---

2. Metodologia: Origami

O origami (Object Representa-tIon via Generative Autoregressive ModelIng) é uma arquitetura baseada em Transformers autoregressivos projetada para gerar dados diretamente de registros JSON tokenizados, sem necessidade de achatamento ou imputação.

Componentes Principais:

1. Tokenização Estruturada:

   • Os registros JSON são serializados em sequências de tokens através de uma travessia em profundidade (depth-first).
   • O vocabulário é dividido em três classes:
     • Tokens Estruturais: Delimitadores para início/fim de objetos (obj_start, obj_end), arrays (arr_start, arr_end) e registros.
     • Tokens de Chave: Uma entrada única para cada chave observada.
     • Tokens de Valor: Valores categóricos e primitivos.
   • Valores numéricos de alta cardinalidade são tratados de forma híbrida: um token especial num na sequência discreta e o valor escalonado em um canal contínuo paralelo.

2. Key-Value Position Encoding (KVPE):

   • Diferente dos positional encodings sequenciais padrão (que assumem ordem), o KVPE codifica a posição estrutural do token na árvore do documento.
   • Isso torna o modelo invariante à ordem das chaves-irmãs, permitindo que o modelo aprenda dependências semânticas em vez de memorizar uma ordem canônica.

3. Arquitetura de Dupla Cabeça (Dual-Head):

   • Cabeça Discreta: Prevê tokens estruturais, chaves e valores categóricos usando next-token prediction (entropia cruzada).
   • Cabeça Contínua (Mixture of Gaussians - MoG): Para valores numéricos, modela a distribuição como uma mistura de Gaussianas parametrizadas. Isso permite lidar com valores contínuos sem discretização, capturando multimodalidade e incerteza.

4. Shuffling de Ordem de Chaves (Key-Order Shuffling):

   • Como as chaves em objetos JSON não têm ordem definida, o modelo embaralha aleatoriamente a ordem das chaves em cada registro durante o treinamento.
   • Combinado com o KVPE, isso atua como uma técnica de regularização (semelhante ao Dropout), forçando o modelo a aprender relações causais robustas e evitando a memorização de sequências específicas.

5. Restrições de Gramática e Esquema:

   • Um Autômato de Pilha (PDA) e uma tabela de máscara compilada garantem que a saída seja sempre um JSON sintaticamente válido e que respeite o esquema aprendido (tipos, chaves permitidas, limites de arrays).
   • Isso é aplicado tanto no treinamento quanto na inferência, acelerando a convergência e garantindo validade.

6. Pós-processamento:

   • Os valores numéricos gerados são ajustados para respeitar os limites originais, arredondados para inteiros (se necessário) e mapeados para enumerações observadas, garantindo conformidade com o domínio dos dados.

---

3. Contribuições Principais

1. Primeira Arquitetura End-to-End para Dados Semi-Estruturados: O origami é, até onde se sabe, o primeiro modelo capaz de sintetizar dados semi-estruturados nativamente, lidando com aninhamento, arrays variáveis, esparsidade e polimorfismo sem achatamento.
2. KVPE e Regularização por Embaralhamento: Propõe um mecanismo de codificação de posição invariante à ordem e demonstra que o embaralhamento de chaves previne a memorização e melhora a generalização.
3. Metodologia de Avaliação Justa: Desenvolveu uma metodologia de achatamento e métricas de avaliação estendidas que permitem comparar modelos nativos com baselines tabulares de forma justa, considerando fidelidade de tipo e padrões de ausência estrutural.
4. Desempenho Superior: Demonstra resultados state-of-the-art em uma ampla gama de conjuntos de dados, desde benchmarks tabulares densos até coleções semi-estruturadas com mais de 1 milhão de registros.

---

4. Resultados Experimentais

O modelo foi avaliado em 5 conjuntos de dados (Adult, Diabetes, Electric Vehicles, Yelp, DDXPlus) contra 6 baselines (TVAE, CTGAN, REaLTabFormer, TabularARGN, Tabby, TabDiff).

• Fidelidade e Utilidade: O origami superou todas as baselines na maioria das configurações, especialmente em dados esparsos. Em conjuntos com alta esparsidade (ex: Yelp com 38% e DDXPlus com 34%), as baselines sofreram degradação severa ou falharam por falta de memória (OOM), enquanto o origami manteve alta fidelidade.
• Detectabilidade: O origami produziu dados mais difíceis de distinguir de dados reais (menor AUC de detecção), superando até mesmo modelos de difusão e autoregressivos avançados.
• Privacidade: O modelo manteve pontuações de privacidade altas (≥ 0,97), indicando baixa memorização de registros de treinamento.
• Eficiência: O origami é significativamente menor (1,7M de parâmetros) e mais rápido de treinar do que modelos como REaLTabFormer (59,4M) ou TabDiff, especialmente em dados semi-estruturados complexos.
• Análise de Esparsidade: O estudo mostrou que métodos que usam imputação de média (como TabDiff) falham em dados esparsos estruturalmente, aprendendo distribuições distorcidas dominadas pelo valor imputado artificialmente. O origami, ao modelar a ausência nativamente, preserva a distribuição real.

---

5. Significado e Conclusão

O trabalho origami representa um avanço fundamental na geração de dados sintéticos, preenchendo a lacuna entre os métodos tradicionais de tabelas e a realidade dos dados modernos semi-estruturados.

• Impacto Prático: Permite a geração de dados sintéticos de alta qualidade para ambientes que dependem de JSON e documentos, facilitando o compartilhamento de dados sensíveis e o teste de sistemas sem violar a privacidade.
• Inovação Técnica: A combinação de tokenização estrutural, codificação de posição baseada em caminhos (KVPE) e modelagem híbrida discreto-contínua oferece um novo paradigma para lidar com a complexidade de dados heterogêneos.
• Futuro: A arquitetura abre caminho para aplicações além da geração, como estimação de cardinalidade para consultas em dados semi-estruturados, imputação de dados e detecção de anomalias baseada em likelihood.

Em resumo, o origami demonstra que abandonar a premissa de "tabelas densas" e adotar uma representação nativa de dados semi-estruturados resulta em modelos mais robustos, eficientes e fiéis à realidade dos dados modernos.