Resumo Técnico: Aumento Ativo de Dados Tabulares via Inpainting Guiado por Políticas em Difusão

1. Declaração do Problema: A Lacuna entre Fidelidade e Utilidade

O artigo aborda o desafio do aumento de dados para dados tabulares em domínios caracterizados por escassez severa de dados (por exemplo, saúde, finanças). Embora modelos generativos (GANs, VAEs, Difusão) tenham alcançado alta fidelidade distribucional — produzindo amostras sintéticas que estatisticamente se assemelham a dados reais —, os autores argumentam que isso não se traduz de forma confiável em melhoria no desempenho de modelos downstream.

A questão central é identificada como uma lacuna fidelidade-utilidade:

• Fidelidade: Os geradores são tipicamente treinados para corresponder à distribuição conjunta $P(X, Y)$, frequentemente amostrando regiões de alta densidade onde o aprendiz já está confiante.
• Utilidade: O aumento eficaz requer a injeção de amostras que reduzam a perda de avaliação fora da amostra (held-out) do aprendiz. Essas amostras de alta utilidade frequentemente residem em regiões de baixa densidade (por exemplo, fronteiras de decisão ou subpopulações pouco cobertas) onde o modelo é incerto.
• Consequência: Geradores de alta fidelidade frequentemente produzem amostras redundantes que oferecem ganho downstream limitado, enquanto a injeção ingênua de amostras incertas pode introduzir relações espúrias ou violar restrições de domínio, degradando o desempenho.

O artigo postula que o aumento deve ser visto não como amostragem passiva, mas como um processo de controle ativo que aprende o que gerar e quando injetá-lo, condicionado ao estado evolutivo do aprendiz.

2. Metodologia: TAP (Política de Aumento Tabular)

Os autores propõem o TAP, um framework que acopla inpainting em difusão com uma política leve condicionada ao aprendiz para direcionar a geração para regiões de alta utilidade, garantindo segurança.

2.1. Componentes Principais

1. Inpainting em Difusão (Mecanismo de Proposta):

   • O TAP utiliza um modelo de difusão pré-treinado (TabDiff) como base congelada.
   • Em vez de gerar registros completos, ele realiza inpainting: toma um registro "âncora" real do conjunto de dados atual, fixa um subconjunto de colunas (incluindo o rótulo) e regenera as colunas restantes.
   • Isso garante viabilidade suave (as amostras permanecem próximas ao manifold de dados) e respeita as dependências entre colunas.

2. Política Condicionada ao Estado:

   • Uma política aprendível $\pi$ mapeia o estado atual do aprendiz $s_t$ para uma ação $a_t = (c, \eta, \rho)$.
   • Estado ($s_t$): Codifica déficits alvo (classes/bins pouco cobertos), incerteza preditiva, taxas recentes de aprovação de gate e diversidade de amostras.
   • Ação:
     • $c$: Seleciona uma condição alvo (por exemplo, classe específica ou bin de quantil).
     • $\eta$: Seleciona um modelo de máscara (exploratório vs. conservador).
     • $\rho$: Controla a força de exploração (quantas colunas regenerar).
   • A política é otimizada via aprendizado de preferência regularizado por KL, utilizando um estimador de utilidade plug-in para fornecer feedback sobre se uma ação melhorou o aprendiz.

3. Mecanismos de Segurança (Viabilidade e Comprometimento):

   • Gateamento Ponto a Ponto: Um filtro rígido rejeita qualquer candidato que viole restrições de domínio (por exemplo, valores categóricos inválidos, números fora de intervalo). Isso impõe viabilidade rígida.
   • Comprometimento em Janela: Em vez de injetar amostras imediatamente, o TAP acumula candidatos admitidos em um pool ao longo de uma janela de $K$ passos. O pool é comprometido ao conjunto de treinamento apenas se a utilidade estimada do pool exceder um limiar $\tau$ mais uma margem de erro calibrada $\epsilon_t$. Isso previne injeções prejudiciais devido a estimativas de utilidade ruidosas.

2.2. Objetivo de Otimização

O objetivo é maximizar a utilidade final esperada (redução na perda downstream) ao longo de uma sequência de etapas de decisão. A utilidade se telescopia ao longo dos tempos de comprometimento, permitindo que a política aprenda uma trajetória que equilibre a exploração de regiões de alta utilidade com a segurança da injeção conservadora.

3. Contribuições Principais

1. Formalização da Lacuna Fidelidade-Utilidade: O artigo define formalmente a desconexão entre correspondência distribucional e utilidade downstream, enquadrando o aumento como um problema de controle sequencial sob um aprendiz em evolução.
2. Framework TAP: Introduz uma política condicionada ao estado que direciona o inpainting em difusão usando controles de alvo, modelo e exploração. Integra gateamento rígido e comprometimento em janela para garantir injeção segura sob escassez.
3. Validação Empírica: Demonstra melhorias consistentes em sete conjuntos de dados do mundo real e cinco níveis de escassez. O TAP supera fortes baselines generativas (SMOTE, TVAE, CTGAN, TabDDPM, etc.) e estratégias de amostragem passiva.

4. Resultados Experimentais

Os experimentos foram conduzidos em sete conjuntos de dados (por exemplo, MiceProtein, Credit-G, Steel, Insurance) com tamanhos de conjunto de treinamento variando de 20 a 500 amostras.

• Ganhos de Desempenho: O TAP melhorou consistentemente a precisão de classificação downstream em até 15,6 pontos percentuais e reduziu o RMSE de regressão em até 32% em comparação com baselines fortes.
• Robustez: Ao contrário de baselines que às vezes degradaram o desempenho (utilidade negativa) sob escassez extrema, o TAP manteve ganhos de utilidade positivos em todos os cenários testados.
• Análise de Mecanismos:
  • Aprendizabilidade vs. Informatividade: Diagnósticos mostraram que o TAP direciona com sucesso amostras que são tanto informativas (perto de fronteiras de decisão) quanto aprendíveis (consistentes com o modelo atual), evitando a "cauda prejudicial" de amostras de fronteira ambíguas.
  • Estudos de Ablação: Remover a política (usando estratégias fixas), o gateamento ou o comprometimento em janela reduziu significativamente o desempenho ou aumentou o risco de cauda, confirmando a necessidade de todos os componentes.
  • Independência do Estimador: O framework permaneceu eficaz mesmo quando o estimador de utilidade online (TabPFN) foi substituído por ensembles mais simples, indicando que a política aprende padrões gerais de injeção em vez de sobreajuste a um estimador específico.

5. Significado e Alegações

O artigo alega que o TAP avança o aumento confiável para configurações tabulares de poucos dados ao mudar o paradigma da amostragem passiva (imitando $P(X,Y)$) para controle ativo (otimizando a melhoria de $P(Y|X)$).

• Confiabilidade: Ao combinar difusão local ao manifold com gates de viabilidade rígida e comprometimento conservador em janela, o TAP mitiga o risco de dados sintéticos prejudiciais, o que é crítico em domínios de alto risco como finanças e saúde.
• Eficiência: O método usa um avaliador sem treinamento (TabPFN) para aprendizado de política, evitando o custo computacional de retreinar modelos downstream a cada passo.
• Limitações: Os autores reconhecem que a injeção sequencial introduz sobrecarga em comparação com a geração de uma só vez, embora mitiguem isso via cache em nível de janela. Eles também observam que, embora o TAP reduza o risco de injeções prejudiciais, o aumento de dados sintéticos ainda deve ser aplicado com cuidado em configurações de alto risco para evitar propagar inequidades históricas presentes nos dados de treinamento.

O trabalho conclui que o aumento eficaz requer não apenas gerar dados realistas, mas aprender a gerar dados úteis através de um loop de feedback com o aprendiz, uma capacidade que o TAP demonstra por meio de difusão guiada por política.