Resumo Técnico: Refinamento no Tempo de Inferência Fecha a Lacuna Sintético-Real em Difusão Tabular

1. Formulação do Problema

Apesar de os geradores baseados em difusão alcançarem desempenho de ponta na geração de dados tabulares sintéticos, uma persistente "lacuna sintético-real" permanece: aprendizes downstream treinados em dados sintéticos raramente igualam a utilidade daqueles treinados em dados reais. Abordagens existentes para fechar essa lacuna focaram exclusivamente em intervenções no tempo de treinamento, como avanços arquitetônicos (por exemplo, TabDiff, TabSyn), escalonamento ou re-treinamento de geradores monolíticos. Esses métodos produzem apenas ganhos marginais e falham em igualar consistentemente a utilidade dos dados reais.

O artigo postula que a lacuna não é primariamente um problema de tempo de treinamento, mas sim um problema de tempo de inferência. Embora a orientação no tempo de inferência (por exemplo, Orientação Livre de Classificador, Orientação de Chamfer) tenha sido bem-sucedida na síntese de imagens, sua aplicação a dados tabulares foi dificultada por três desafios específicos:

1. Espaços de características de tipos mistos: Dados tabulares carecem de uma métrica de distância diferenciável canônica adequada para orientação baseada em gradiente.
2. Ausência de uma representação padronizada: Diferentemente de imagens (que utilizam CLIP), dados tabulares carecem de um espaço de incorporação unificado.
3. Objetivos duais: O cenário "Treinar em Sintético, Testar em Real" (TSTR) exige equilibrar fidelidade (proximidade sintético-para-real) e cobertura (cobertura do manifold real-para-sintético), o que a orientação padrão frequentemente negligencia.

2. Metodologia: TARDIS

Os autores introduzem o TARDIS (Geração Tabular através de Refinamento, Destilação e Amostragem no Tempo de Inferência), um framework que refina as saídas de um congelado backbone de difusão tabular pré-treinado (especificamente TabDiff) sem re-treinamento. O princípio central é o Refinamento de Chamfer Bidirecional (BCR), que minimiza uma funcional de Chamfer simétrica entre candidatos sintéticos e dados reais em dois níveis complementares: continuamente durante a amostragem e discretamente pós-amostragem.

O framework opera em três etapas:

Etapa I: Superamostragem

O sistema extrai uma piscina de ruído superamostrada $D_{noise}$ de cardinalidade $M \cdot N_r$ (onde $N_r$ é o tamanho do conjunto de dados real e $M=50$ é fixo) do espaço latente. Essa redundância fornece uma piscina de candidatos para o refinamento subsequente.

Etapa II: Orientação de Chamfer Bidirecional (Refinamento Contínuo)

Durante o processo de difusão reversa, a pontuação prevista $\epsilon_\theta(x_t, t)$ é perturbada pelo gradiente de uma funcional de Chamfer bidirecional $C$ em relação a um lote de referência real $x_r$.

• Mapa de Representação ($\phi$): Para lidar com dados de tipos mistos e fornecer diferenciabilidade, o sistema utiliza um mapa de representação $\phi$. O espaço de busca permite:
  • Mapeamento de identidade: Aplicado a características normalizadas por escore-z.
  • Mapeamento $\beta$-VAE: Um codificador treinado em dados reais para mapear características para um espaço latente, absorvendo heterogeneidade.
• Perturbação da Pontuação: A pontuação perturbada é $\tilde{\epsilon}_\theta = \epsilon_\theta - \Gamma(t) \cdot \nabla_{x_t} C(x_t, x_r)$. Isso direciona a geração em direção ao manifold de dados reais.
• Ajuste de Hiperparâmetros: Uma busca com Estimador Parzen Estruturado em Árvore (TPE) ajusta os parâmetros de orientação (cronograma $\Gamma(t)$, agrupamento de referência e tipo $\phi$) por conjunto de dados.

Etapa III: Seleção de Refinamento (Refinamento Discreto)

Após gerar a piscina de candidatos $D_{cand}$, o sistema seleciona o conjunto de dados sintético final $D_{syn}$ (cardinalidade $K \cdot N_r$) através de classificação de lotes post-hoc.

• Amostrador de Chamfer: Lotes são classificados pela mesma funcional de Chamfer $C$ utilizada na Etapa II. Os lotes de maior classificação são retidos. Esta etapa poda candidatos "fora do manifold" que sobreviveram à orientação contínua.
• Destilação de Conhecimento Generativo (GKD): Uma etapa opcional onde um classificador professor treinado em dados reais reclassifica candidatos com alvos suaves. Isso é principalmente eficaz em regimes de baixa cardinalidade ($K \le 1$).
• Estratégia de Busca: Uma busca interna em grade sobre cinco variantes de amostrador (incluindo Chamfer, MDSampler, Estratificada, etc.) e a ativação/desativação do GKD seleciona a configuração que maximiza a utilidade de validação para cada tentativa de TPE.

3. Contribuições Principais

1. Framework de Refinamento no Tempo de Inferência: O TARDIS é o primeiro framework a aplicar refinamento no tempo de inferência à difusão tabular, demonstrando que um backbone congelado pode ser significativamente melhorado sem re-treinamento.
2. Refinamento de Chamfer Bidirecional (BCR): Os autores propõem o BCR como um princípio unificador que acopla orientação contínua em nível de pontuação e classificação discreta de lotes sob uma única funcional de Chamfer simétrica. Isso aborda o trade-off fidelidade-cobertura inerente aos cenários TSTR.
3. Tratamento de Dados de Tipos Mistos: A introdução de um mapa de representação específico do conjunto de dados $\phi$ (seja identidade ou codificador $\beta$-VAE) permite a aplicação de orientação baseada em gradiente a dados tabulares, superando a falta de uma métrica canônica.
4. Validação Empírica da Hipótese "Tempo de Inferência": O trabalho fornece evidências de que a lacuna sintético-real é amplamente solucionável no tempo de inferência, deslocando o paradigma de "melhores geradores" para "melhor refinamento de geradores existentes".

4. Resultados Experimentais

O framework foi avaliado em 15 benchmarks tabulares heterogêneos (classificação binária, classificação multiclasse e regressão) usando XGBoost como aprendiz downstream sob o protocolo TSTR.

• Utilidade Downstream: O TARDIS alcançou uma melhoria mediana de +8,6% sobre modelos treinados em dados reais (IC 95% [+3,3, +16,4], Wilcoxon $p=0,016$), com vitórias estritas em 11 dos 15 conjuntos de dados.
• Melhoria do Backbone: O TARDIS melhorou o backbone TabDiff subjacente em todos os 15 conjuntos de dados (média +12,9%, $p < 10^{-4}$).
• Estudos de Ablação:
  • A remoção do componente de superamostragem e seleção (Etapa I e III) reduziu o desempenho para uma média de +1,4% sobre o TabDiff, provando que a seleção discreta é crítica.
  • A busca selecionou consistentemente configurações alinhadas ao BCR (piscia orientada + Amostrador de Chamfer) em 9 dos 15 conjuntos de dados, validando o BCR como o padrão de refinamento dominante.
• Fidelidade, Diversidade e Privacidade: O TARDIS igualou o backbone na fidelidade do manifold (Precisão) e na diversidade (Revocação). Métricas de privacidade (partilha DCR-1 e NNDR) foram preservadas, indicando que a funcional bidirecional previne o colapso sobre registros de treinamento.
• Tempo de Execução: Em uma única GPU de nível de consumidor (Nvidia GTX 1080 Ti), o TARDIS adiciona uma mediana de 16,1 minutos de tempo cronometrado (variação de 0,9 a 79,4 minutos) ao processo de inferência.

5. Significado e Alegações

O artigo alega que a lacuna sintético-real na difusão tabular não é primariamente um problema de tempo de treinamento. Em vez disso, demonstra que o refinamento no tempo de inferência de um backbone pré-treinado é suficiente para atingir e exceder a utilidade de dados reais em 1 a 80 minutos em hardware padrão.

O significado reside em:

• Mudança de Paradigma: Deslocar o foco da complexidade arquitetônica e re-treinamento para refinamento post-hoc.
• Custo-Efetividade: Alcançar utilidade de ponta sem o custo computacional de re-treinar grandes modelos de difusão.
• Generalidade: O princípio BCR é apresentado como transferível entre domínios, dependendo apenas de um mapa de representação diferenciável e de um lote de referência, sugerindo aplicabilidade além de dados tabulares.

Os autores permanecem modestos quanto às limitações, observando que os resultados são atualmente validados em um único backbone (TabDiff) e que garantias formais de privacidade diferencial não são alegadas, embora proxies de privacidade sejam preservados. Trabalhos futuros são identificados como a extensão do BCR para outros backbones (TabSyn, TabDDPM) e modalidades.