ReTabSyn: Realistic Tabular Data Synthesis via Reinforcement Learning

O artigo apresenta o ReTabSyn, um pipeline de síntese de dados tabulares baseado em aprendizado por reforço que prioriza a distribuição condicional para superar limitações em cenários com poucos dados e desequilíbrio de classes, resultando em melhor utilidade para modelos downstream e permitindo a aplicação de restrições específicas de especialistas.

O essencial

Imagine que você é um chef de cozinha tentando ensinar um jovem aprendiz a cozinhar o prato perfeito de um restaurante famoso. O problema é que você só tem uma única receita e pouquíssimos ingredientes para trabalhar.

Se você tentar ensinar o aprendiz a memorizar tudo sobre o restaurante (o cheiro da sala, a cor das paredes, o barulho da cozinha, a lista completa de todos os pratos que já foram servidos), ele vai ficar confuso e, quando tentar cozinhar, vai inventar coisas estranhas. Por exemplo, ele pode servir um "sopa de chocolate" ou um "prato de CEO que ganha menos que um estagiário" (como o exemplo do artigo).

É aqui que entra o ReTabSyn, a nova técnica descrita no artigo.

A Grande Ideia: Focar no que Importa

Os pesquisadores dizem: "Esqueça de tentar memorizar tudo sobre o restaurante. O que realmente importa para o aprendiz é entender a relação entre os ingredientes e o sabor final."

Em termos técnicos, em vez de tentar aprender a distribuição completa de todos os dados (o que é difícil com poucos dados), o ReTabSyn foca em aprender a probabilidade condicional: "Dado este ingrediente X, qual é a probabilidade de ter o sabor Y?".

Como funciona o "Treinamento por Reforço"?

O ReTabSyn usa uma técnica inteligente chamada Otimização de Preferência Direta (DPO). Vamos usar uma analogia de um jogo de "Quem é o mais real?":

1. O Cenário: O computador gera uma linha de dados (uma "receita").
2. A Truque (Perturbação): O sistema pega essa receita e faz uma pequena alteração maluca nela.
   • Exemplo 1 (Alvo): Ele muda o salário de um CEO para um valor muito baixo, mantendo o cargo. Isso é uma "receita rejeitada" porque não faz sentido.
   • Exemplo 2 (Característica): Ele muda a idade de uma pessoa para um número que não combina com o cargo dela. Outra "receita rejeitada".
3. A Escolha: O sistema compara a receita original (a "escolhida") com a receita estragada (a "rejeitada").
4. O Feedback: Ele diz ao gerador: "Você acertou na original, mas errou na estragada. Aprenda a diferença!"

Isso é como se o chef dissesse ao aprendiz: "Não tente decorar a cor do avental do cliente. Foque em saber que se o cliente pede 'pimenta', o prato fica picante. Se você colocar 'pimenta' num 'sopa doce', você errou."

Por que isso é um superpoder?

O artigo testou essa ideia em situações difíceis, como quando há muito poucos dados ou quando os dados são desequilibrados (muitos "não" e poucos "sim").

• Outros métodos (como GANs ou VAEs): Tentam copiar tudo. Com poucos dados, eles "alucinam" e criam dados que parecem reais, mas não funcionam para prever o futuro. É como um aluno que decora o livro todo, mas não sabe resolver o problema na prova.
• ReTabSyn: Foca apenas nas regras de decisão. Ele aprende a "lógica" dos dados. Mesmo com poucos exemplos, ele consegue criar dados sintéticos que ajudam os modelos de aprendizado de máquina a funcionarem muito melhor.

Os Resultados na Prática

O artigo mostra que o ReTabSyn:

1. Funciona com poucos dados: Mesmo com apenas 32 ou 64 exemplos reais, ele gera dados sintéticos que permitem treinar modelos melhores do que os gerados por outras técnicas.
2. Lida com desequilíbrio: Se você tem poucos casos de uma doença rara, o ReTabSyn consegue gerar exemplos realistas dessa doença sem inventar coisas impossíveis.
3. É mais seguro: Ele não precisa de um "oráculo" (um especialista humano ou outro modelo complexo) para dizer o que está certo ou errado. Ele usa regras lógicas simples (como "CEO não ganha menos que X") para se corrigir sozinho.

Resumo em uma frase

O ReTabSyn é como um professor de culinária que, em vez de fazer o aluno decorar o menu inteiro, ensina a lógica da cozinha: "Se você usa ovo, não pode usar leite em pó de um jeito errado". Isso permite criar receitas novas e realistas, mesmo quando você tem poucos ingredientes originais para começar.

Isso é revolucionário para áreas como saúde e finanças, onde os dados são escassos, sensíveis e desbalanceados, permitindo criar dados sintéticos que protegem a privacidade, mas ainda são úteis para treinar inteligência artificial.

Resumo técnico

Resumo Técnico: ReTabSyn

1. O Problema

A síntese de dados tabulares é crucial para setores como saúde, finanças e ciências sociais, onde os dados reais são frequentemente limitados por restrições de privacidade e regulamentações. Embora os Modelos Geradores Profundos (DGMs) tenham avançado, eles enfrentam desafios significativos em cenários de dados escassos, desbalanceados ou com deslocamento de distribuição (distribution shift).

O problema central identificado pelos autores é a desalinhamento entre o objetivo de geração e a utilidade downstream:

• Os DGMs tradicionais tentam aprender a distribuição conjunta completa $P(X, y)$, o que consome um orçamento estatístico limitado em regimes de poucos dados.
• Isso leva à geração de dados irreais (ex: um CEO com salário < $50k) e à degradação do desempenho de modelos de aprendizado de máquina treinados nesses dados sintéticos.
• A teoria recente sugere que, para maximizar a utilidade, não é necessário um ajuste perfeito da distribuição conjunta, mas sim uma modelagem precisa da distribuição condicional $P(y | X)$ (a relação entre características e o alvo).

2. Metodologia (ReTabSyn)

O ReTabSyn (Reinforced Tabular Synthesis) é um pipeline que utiliza Otimização Direta de Preferência (DPO) para alinhar um gerador tabular pré-treinado às estruturas relevantes para a decisão, sem depender de modelos de recompensa externos ou rótulos humanos.

Principais Componentes:

• Fundamentação Teórica: Baseia-se no teorema de decomposição de utilidade (Xu et al., 2023), que demonstra que o erro de utilidade é dominado pelo desajuste na regressão ($\|\tilde{\eta} - \eta\|$), ou seja, na precisão de $P(y|X)$, e não apenas na fidelidade das marginais das características.
• Construção de Pares de Preferência (Oracle-Free):
  • Em vez de usar um classificador externo (oracle) para rotular dados, o ReTabSyn cria pares de "escolhido" (Chosen) vs. "rejeitado" (Rejected) através de perturbações baseadas em regras aplicadas a linhas reais.
  • Tipo I (Perturbação do Alvo): Mantém as características $X$ fixas e perturba o rótulo $y$ para um valor incorreto. O modelo é treinado para preferir o rótulo original, reforçando a lógica condicional correta.
  • Tipo II (Perturbação de Características): Mantém o rótulo $y$ e perturba características correlacionadas para penalizar co-ocorrências irreais (ex: alterar uma idade para um valor que não corresponde ao cargo).
  • A estratégia de amostragem prioriza a perturbação do alvo (70%) para focar na fronteira de decisão.
• Otimização Direta de Preferência (DPO):
  • O gerador (baseado em GPT-2 e serialização de texto, similar ao GReaT) é ajustado (fine-tuned) usando DPO.
  • O objetivo maximiza a margem de verossimilhança entre a linha coerente (escolhida) e a linha inconsistente (rejeitada), "travando" as relações condicionais essenciais.
  • Inclui um termo de regularização para evitar que o modelo se afaste demais da variedade de características aprendida durante o pré-treinamento.
• Pré-processamento: Utiliza uma técnica de aumento de dados (SMOTE-like) dentro de buckets categóricos para mitigar o overfitting em conjuntos de dados muito pequenos antes do ajuste fino.

3. Contribuições Principais

1. Construção de Preferência Nativa e Livre de Oracle: Elimina a necessidade de modelos de recompensa externos ou anotação humana, utilizando perturbações validadas pelo esquema (schema-validated) para criar sinais de supervisão de alta pureza.
2. Alinhamento Focado na Decisão: Prioriza teoricamente e empiricamente a distribuição condicional $P(y | X)$ sobre a fidelidade conjunta completa, fechando a lacuna de utilidade em regimes de poucos dados.
3. Benchmarks Robustos e Diagnósticos: Avaliação abrangente em cenários desafiadores (taxas de positividade de 0,5%, 10 sementes aleatórias, deslocamento de distribuição), demonstrando superioridade sobre o estado da arte.
4. Controle e Conformidade: Capacidade de impor restrições de domínio (regras lógicas) diretamente através do mecanismo de perturbação e DPO, garantindo que os dados sintéticos respeitem regras de negócio.

4. Resultados Experimentais

Os autores avaliaram o ReTabSyn em 10 conjuntos de dados reais (ex: Adult, Churn, Titanic) comparando com baselines como SMOTE, TVAE, TabSyn, GReaT, PTA e SynRL.

• Dados Escassos: Em cenários com apenas 32 a 128 linhas de treinamento, o ReTabSyn superou consistentemente todos os geradores profundos, chegando a superar o desempenho obtido com dados reais em alguns casos (devido ao volume de amostras sintéticas de alta qualidade).
• Dados Desbalanceados: Em cenários com prevalência de classe minoritária de 1%, o ReTabSyn alcançou os melhores resultados (PR-AUC), preservando melhor o sinal da classe minoritária do que o SMOTE ou outros métodos baseados em RL.
• Robustez a Deslocamento de Distribuição: Em testes onde o conjunto de treino e teste vinham de subgrupos demográficos diferentes, o ReTabSyn manteve o desempenho mais próximo do limite superior (dados reais), superando métodos que dependem de classificadores externos.
• Fidelidade Estatística: O método alcançou as maiores pontuações em Recall ($\beta$-Recall), similaridade de forma (Shape) e similaridade de correlação, indicando que preserva tanto a densidade quanto a estrutura de dependência entre características.
• Privacidade: O ReTabSyn reduziu significativamente o vazamento de informações (ataques de inferência de membro) em comparação com o SMOTE, mantendo um nível de privacidade comparável aos geradores profundos mais fortes, sem sacrificar a utilidade.

5. Significância e Impacto

O ReTabSyn representa um avanço significativo na síntese de dados tabulares ao mudar o foco da "fidelidade estatística cega" para a "utilidade orientada à decisão".

• Eficiência de Dados: Permite treinar modelos de ML robustos mesmo quando os dados reais são extremamente escassos ou desbalanceados.
• Segurança e Privacidade: Oferece uma via prática para liberar dados sensíveis em setores regulados, reduzindo o risco de reidentificação em comparação com métodos de interpolação simples.
• Viabilidade Prática: Ao eliminar a dependência de oráculos externos (que podem introduzir viés ou custos computacionais), o método torna-se mais escalável e fácil de implementar em pipelines de dados reais.
• Aplicabilidade: É particularmente valioso para áreas onde a tomada de decisão depende de relações condicionais precisas (ex: diagnóstico médico, avaliação de risco de crédito), garantindo que os dados sintéticos não apenas "pareçam" reais, mas "funcionem" para treinar modelos preditivos.

Em suma, o ReTabSyn demonstra que, em cenários de dados limitados, otimizar para a estrutura condicional correta é mais importante do que tentar modelar a distribuição conjunta perfeita, e que o aprendizado por reforço (via DPO) é a ferramenta ideal para alcançar esse alinhamento sem ruído externo.