XGenBoost: Synthesizing Small and Large Tabular Datasets with XGBoost

O artigo apresenta o XGenBoost, um conjunto de modelos generativos baseados em XGBoost que sintetizam dados tabulares mistos com alta eficiência e menor custo de treinamento, utilizando um modelo de difusão para conjuntos menores e um modelo autoregressivo hierárquico para grandes escalas.

O essencial

Imagine que você tem um livro de receitas muito especial (seus dados reais), mas não pode mostrar o livro original para ninguém porque ele contém segredos ou informações sensíveis. Você precisa criar um livro de receitas falso (dados sintéticos) que tenha o mesmo sabor, textura e ingredientes, mas onde nenhuma receita real seja copiada exatamente.

O problema é que a maioria dos métodos atuais para criar esses "livros falsos" é como tentar cozinhar um banquete gigante usando apenas um micro-ondas caro e cheio de fumaça: precisa de muita energia (computadores potentes com placas de vídeo) e demora muito.

Aqui entra o XGenBoost, uma nova abordagem apresentada por Jim Achterberg e sua equipe. Eles dizem: "E se usarmos uma ferramenta mais simples, mais barata e que já é ótima para misturar ingredientes, em vez de tentar forçar uma ferramenta complexa a fazer algo para o qual ela não foi feita?"

A ferramenta que eles escolheram é o XGBoost. Pense no XGBoost como um chef de cozinha experiente e prático. Ele é famoso por fazer ótimos pratos (previsões) em dados de tabela (como planilhas de Excel) sem precisar de equipamentos de laboratório de ponta.

O XGenBoost cria dois "chefs" diferentes, dependendo do tamanho da sua cozinha (tamanho dos seus dados):

1. Para Cozinhas Pequenas (Dados Pequenos): O Chef "Imitador de Difusão" (XGenB-DF)

Imagine que você quer copiar o sabor de um bolo. Em vez de tentar adivinhar a receita inteira de uma vez, você começa com uma massa bagunçada e sem graça (ruído) e pede ao chef para ir "desbagunçando" aos poucos, adicionando um pouquinho de farinha, um pouco de açúcar, até que o bolo apareça.

• Como funciona: O modelo começa com dados aleatórios e usa o XGBoost para ir corrigindo os erros, passo a passo, até criar um dado novo que parece muito com os originais.
• O Truque: Eles adaptaram esse processo para lidar com dados mistos (números e categorias, como "sim/não" ou "vermelho/azul") sem precisar transformar tudo em códigos complicados. É como se o chef soubesse exatamente quando adicionar sal (números) e quando adicionar corante (categorias) sem estragar a massa.
• Resultado: Cria dados muito realistas para conjuntos pequenos, e o melhor: roda em computadores comuns, sem precisar de supercomputadores.

2. Para Cozinhas Gigantes (Dados Grandes): O Chef "Montador em Cascata" (XGenB-AR)

Agora, imagine que você precisa criar 1 milhão de receitas. O método anterior seria muito lento. Então, o XGenBoost muda a estratégia. Em vez de tentar adivinhar tudo de uma vez, ele constrói a receita peça por peça, em ordem.

• Como funciona: O chef olha para o primeiro ingrediente (ex: "Idade") e decide um valor. Depois, olha para o segundo ingrediente ("Salário") e decide um valor baseado na idade que acabou de escolher. Ele continua assim, ingrediente por ingrediente, até montar a pessoa inteira.
• O Truque: Para fazer isso rápido e preciso, ele usa o XGBoost como um "oráculo" que prevê o próximo ingrediente com base nos anteriores. Ele também usa uma técnica inteligente para lidar com dados que não são contínuos (como faixas de idade), garantindo que a distribuição seja justa.
• Resultado: É incrivelmente rápido. O artigo diz que eles conseguiram treinar um modelo para um banco de dados enorme em apenas 3 minutos usando apenas processadores comuns (CPU), algo que outros métodos levariam horas ou dias para fazer.

Por que isso é importante? (A Metáfora da Democracia)

O ponto principal do artigo é a democratização.

• O Cenário Atual: Para criar dados sintéticos de alta qualidade, você precisa de "supercomputadores" (GPUs modernas), que são caros e não estão disponíveis para todos no mundo. É como se só quem tivesse uma Ferrari pudesse participar da corrida.
• A Solução XGenBoost: Eles mostram que você pode ter a mesma qualidade de corrida usando um carro popular bem ajustado. O XGenBoost roda em computadores comuns, consome menos energia e é muito mais rápido.

Resumo dos Benefícios:

1. Qualidade: Os dados falsos criados são tão bons que, se você treinar um modelo de inteligência artificial com eles, ele funcionará quase tão bem quanto se tivesse treinado com os dados reais.
2. Privacidade: Como os dados são gerados de forma estatística e não copiados diretamente, é muito difícil identificar quem é quem no mundo real, protegendo a privacidade das pessoas.
3. Acessibilidade: Qualquer pessoa com um computador comum pode usar essa tecnologia, não apenas grandes corporações com orçamentos milionários.

Em suma, o XGenBoost é como dizer: "Não precisamos de uma máquina do tempo cara e complexa para recriar o passado (dados). Com a ferramenta certa (XGBoost) e a receita certa, podemos fazer isso de forma simples, rápida e acessível para todos."

Resumo técnico

Resumo Técnico: XGenBoost

1. O Problema

A síntese de dados tabulares mistos (combinando variáveis numéricas e categóricas) é crucial para tarefas como aumento de dados, compartilhamento de dados sensíveis e aprendizado federado. Atualmente, os métodos mais avançados (State-of-the-Art) baseiam-se em Redes Neurais Profundas (como GANs, VAEs e Modelos de Difusão). No entanto, essas abordagens apresentam limitações significativas:

• Custo Computacional: Requerem recursos de GPU modernos e tempos de treinamento longos.
• Acesso Desigual: A disponibilidade de hardware potente é distribuída de forma desigual globalmente.
• Indutividade Inadequada: Redes neurais podem não possuir os vieses indutivos ideais para dados tabulares mistos, onde modelos baseados em árvores (como XGBoost) tradicionalmente superam as redes neurais em tarefas discriminativas.
• Escalabilidade: Métodos existentes baseados em árvores (como Unmasking Trees ou ForestDiffusion) frequentemente exigem a expansão massiva do conjunto de dados de treinamento (ex: duplicação 50x) para lidar com permutações aleatórias ou estimativas de expectativa, tornando-os inviáveis para grandes conjuntos de dados.

2. Metodologia

Os autores propõem o XGenBoost, uma família de dois modelos generativos baseados em XGBoost, projetados especificamente para respeitar as restrições e aproveitar as vantagens dos aprendizes baseados em árvores. O XGenBoost oferece duas arquiteturas distintas dependendo do tamanho do conjunto de dados:

A. Para Conjuntos de Dados Pequenos: XGenB-DF (Denoising Diffusion Implicit Model)

• Conceito: Um modelo de difusão onde o estimador de pontuação (score-estimator) é um XGBoost, em vez de uma rede neural.
• Difusão Híbrida: Combina Difusão Gaussiana para características numéricas e Difusão Multinomial para características categóricas.
  • Isso permite modelar dados categóricos nativamente, evitando a necessidade de one-hot encoding (que aumentaria a dimensionalidade e violaria a eficiência do XGBoost).
• Arquitetura: Utiliza um estimador de pontuação separado por recurso (feature-specific). Para cada passo de tempo ($t$) e cada recurso, um modelo XGBoost é treinado para prever o ruído ou a velocidade.
• Otimização: Adota o DDIM (Denoising Diffusion Implicit Models) para permitir a geração de amostras de alta qualidade com menos passos de difusão, compensando o fato de que treinar modelos separados para cada passo de tempo é custoso.
• Privacidade: Implementa dropout nas características de entrada para prevenir a memorização de amostras específicas, equilibrando fidelidade e risco de privacidade.

B. Para Conjuntos de Dados Grandes: XGenB-AR (Modelo Autoregressivo Hierárquico)

• Conceito: Um modelo autoregressivo de ordem fixa que evita a expansão do conjunto de dados de treinamento.
• Fatorização: A distribuição conjunta é fatorada como uma cadeia de distribuições condicionais: $p(x) = \prod p(x_i | x_{<i})$.
• Aprendizado Condicional:
  • Características Categóricas: Modeladas diretamente por classificadores XGBoost multiclasse.
  • Características Numéricas: Modeladas através de Classificação Hierárquica. O espaço numérico é quantizado em "bins" e um meta-árvore de classificadores binários XGBoost é usado para navegar por esses bins. Isso impõe um viés indutivo ordinal e melhora a preservação da estrutura multivariada.
• De-quantização: Após a amostragem do bin, utiliza funções de quantil empírico interpoladas para recuperar valores numéricos contínuos, respeitando distribuições não contínuas ou enviesadas do mundo real.
• Gestão de Cardinalidade: Para características categóricas de alta cardinalidade, utiliza um método de agrupamento (clustering) baseado em vetores de média para fundir categorias raras, reduzindo o tempo de treinamento e o risco de privacidade sem perder a estrutura multivariada.

3. Contribuições Principais

1. Mudança de Paradigma: Demonstra que modelos baseados em árvores (XGBoost) podem superar redes neurais profundas na síntese de dados tabulares, oferecendo uma alternativa mais eficiente e acessível.
2. Arquiteturas Especializadas:
   • XGenB-DF: O primeiro modelo de difusão para dados tabulares que utiliza XGBoost como estimador de pontuação, combinando difusão gaussiana e multinomial nativamente.
   • XGenB-AR: Um modelo autoregressivo escalável que elimina a necessidade de expandir o conjunto de dados de treinamento, resolvendo o gargalo de escalabilidade de métodos anteriores baseados em árvores.
3. Eficiência e Acessibilidade: Os modelos rodam em CPUs modestas (sem necessidade de GPUs), tornando a síntese de dados de alta fidelidade acessível para pesquisadores e organizações com recursos limitados.
4. API Simples: O código é disponibilizado com uma API estilo scikit-learn, facilitando a adoção.

4. Resultados Experimentais

Os autores avaliaram o XGenBoost em dois benchmarks: um com 27 conjuntos de dados pequenos (Small Benchmark) e outro com 11 conjuntos de dados grandes (Big Benchmark).

• Fidelidade (Qualidade dos Dados):
  • No Small Benchmark, o XGenB-DF superou consistentemente todos os outros geradores (incluindo TabDDPM, CTGAN, TVAE e ForestDiffusion) em métricas de fidelidade (Shape, Trend, Detection) e utilidade de aprendizado de máquina (MLE).
  • No Big Benchmark, o XGenB-AR obteve o melhor desempenho em fidelidade e utilidade, superando modelos profundos como TabSyn e TabDDPM.
• Privacidade:
  • O XGenBoost manteve níveis de privacidade comparáveis ou superiores aos modelos profundos, medidos pelo Distance to Closest Record (DCR). O modelo de difusão (XGenB-DF) mostrou um trade-off natural: maior diversidade (melhor Recall) pode aumentar ligeiramente o risco de privacidade, mas o uso de DDIM e reparametrização de velocidade mitigou isso.
• Custo Computacional (Treinamento):
  • XGenB-DF: Treina em minutos em hardware modesto.
  • XGenB-AR: Extremamente rápido. Por exemplo, treinou o conjunto de dados acsincome (1,6 milhão de linhas) em aproximadamente 3 minutos usando 16 núcleos de CPU e 64GB de RAM.
  • Em comparação, modelos baseados em GPU (como TabSyn) levaram centenas de minutos ou horas para os mesmos conjuntos de dados.

5. Significado e Impacto

O trabalho desafia a premissa atual de que apenas redes neurais profundas são adequadas para a síntese de dados tabulares de alta fidelidade.

• Democratização: Ao eliminar a dependência de GPUs caras, o XGenBoost democratiza o acesso a métodos robustos de geração de dados sintéticos, beneficiando pesquisadores em países em desenvolvimento e organizações com orçamentos limitados.
• Sustentabilidade: A redução drástica no consumo de energia e tempo de computação alinha-se com práticas de IA sustentável.
• Abordagem "Data-First": O paper defende que as arquiteturas generativas devem ser projetadas com base nos vieses indutivos adequados ao tipo de dado (tabular), em vez de simplesmente adaptar arquiteturas de visão computacional ou NLP. O XGenBoost prova que essa abordagem resulta em modelos mais rápidos, eficientes e, frequentemente, mais precisos.

Em suma, o XGenBoost estabelece um novo estado da arte para a síntese de dados tabulares, oferecendo uma solução que é simultaneamente de alta qualidade, escalável e acessível.