Resumo Técnico: HARPOON – Orientação de Variedade Generalizada para Difusão Tabular Condicional

Declaração do Problema

Gerar dados tabulares sujeitos a condições específicas (restrições) é crítico para aplicações como imputação de valores ausentes e simulação de cenários "what-if". Embora os modelos de difusão tenham emergido como o estado da arte (SOTA) para tarefas generativas, os métodos existentes de difusão tabular condicional enfrentam limitações significativas:

1. Falta de Generalização: Estratégias em tempo de treinamento (ex: condicionar o modelo em restrições específicas) falham em generalizar para condições não vistas durante a inferência.
2. Inflexibilidade: Os métodos atuais têm dificuldade em lidar com diversos objetivos em tempo de inferência, particularmente restrições não lineares como desigualdades de atributos (ex: $Idade \ge 10$) ou combinações lógicas complexas.
3. Lacunas Teóricas: Abordagens geométricas recentes de difusão (tratando os dados como residentes em uma variedade de baixa dimensão) são limitadas a domínios contínuos com geometrias planas e perdas de tempo de inferência específicas (ex: erro quadrático). Elas não consideram a natureza de tipos mistos dos dados tabulares (atributos discretos e contínuos) ou se generalizam para objetivos diferenciáveis arbitrários.

Metodologia: HARPOON

Os autores introduzem o HARPOON, um método de difusão tabular condicional que guia amostras não condicionadas ao longo da geometria da variedade para satisfazer diversas condições em tempo de inferência sem retreinamento. A abordagem é construída estendendo a teoria de variedades para espaços de dados tabulares.

Fundamentos Teóricos

O artigo estabelece dois resultados teóricos fundamentais para a difusão tabular operando no espaço de dados:

1. Projeção Ortogonal: Os autores provam que um modelo de difusão treinado com perda de erro quadrático padrão aprende implicitamente um mapeamento ortogonal sobre a variedade de dados subjacente ($M_0$) conforme o nível de ruído se aproxima de zero ($\bar{\alpha}_t \to 1$). Isso ocorre mesmo para geometrias curvas, relaxando as suposições de variedade plana de trabalhos anteriores.
2. Gradientes de Espaço Tangente: Eles provam que o gradiente de qualquer função de perda diferenciável em tempo de inferência ($L_{inf}$) reside no espaço tangente da variedade de dados na estimativa "suja" ($\hat{x}_0$). Isso generaliza descobertas anteriores que eram restritas a perdas de erro quadrático.

Esta teoria implica que, enquanto o denoiser atua como uma bússola apontando para a projeção ortogonal na variedade, os gradientes de restrições arbitrárias atuam como âncoras que direcionam as atualizações tangencialmente ao longo da superfície da variedade, mantendo as amostras dentro das cascas de distribuição de dados válidas.

Algoritmo

O HARPOON intercala etapas de denoising incondicional com correções de gradiente tangencial:

1. Estimativa Suja: Em cada etapa $t$, o modelo computa uma estimativa "suja" $\hat{x}_0$ revertendo o processo de adição de ruído direto.
2. Gradiente Tangencial: O gradiente da perda em tempo de inferência ($\nabla_{x_t} L_{inf}(\hat{x}_0, c)$) é computado. Com base na prova teórica, este gradiente é restrito ao espaço tangente da variedade.
3. Atualização Intercalada: A amostra passa por uma etapa padrão de denoising incondicional, seguida imediatamente por uma atualização tangencial usando o gradiente pré-computado. Este processo se repete até a convergência.

Crucialmente, a perda em tempo de inferência ($L_{inf}$) pode diferir da perda de treinamento. Para dados tabulares, os autores utilizam perdas indutoras de esparsidade como Erro Absoluto Médio (MAE) e Entropia Cruzada (CE) para atributos categóricos, que são mais adequadas à natureza discreta dos dados tabulares do que o MSE padrão.

Principais Contribuições

1. Teoria: O artigo fornece os primeiros resultados teóricos ligando variedades à difusão tabular, provando que modelos de difusão atuam como projetores ortogonais e que gradientes de qualquer objetivo de inferência diferenciável residem no espaço tangente, mesmo para geometrias curvas e dados de tipos mistos.
2. Algoritmo: O design do HARPOON, um mecanismo de orientação livre de treinamento que se adapta a diversas condições (imputação, desigualdades, restrições lógicas) em tempo de inferência sem a necessidade de retreinamento ou ajuste fino separado.
3. Validação Empírica: Demonstração de que a orientação consciente da variedade melhora significativamente o desempenho em diversos conjuntos de dados e tarefas, particularmente no tratamento de restrições de desigualdade onde a amostragem de rejeição ou o condicionamento em tempo de treinamento falham.

Resultados Experimentais

Os autores avaliaram o HARPOON em oito conjuntos de dados (incluindo benchmarks da UCI como Adult, Default e Shoppers) em duas tarefas primárias:

1. Imputação

• Desempenho: O HARPOON alcançou MSE e acurácia competitivos ou superiores em relação aos baselines SOTA (DiffPuter, Remasker, GReaT, MIRACLE, GAIN) através de várias razões de ausência (25%, 50%, 75%).
• Robustez: Ao contrário de métodos de tempo de treinamento (ex: Remasker) que degradam com altas razões de ausência devido à dependência de máscaras de treinamento específicas, o HARPOON permaneceu robusto.
• Sensibilidade à Perda: Estudos de ablação mostraram que usar MAE (ou MAE + CE) na inferência superou o uso da perda MSE de tempo de treinamento, validando a afirmação teórica de que a geometria da variedade permite a seleção flexível de perda na inferência.

2. Restrições de Desigualdade e Lógicas

• Satisfação de Restrições: Para restrições de intervalo (ex: $Idade \ge 50$) e restrições categóricas, o HARPOON alcançou taxas de violação significativamente menores (ex: <8% em Adult/Default) comparado ao DiffPuter e GReA, que exibiram taxas de violação de 74–96% ao tratar restrições como problemas de imputação.
• Lógica Complexa: O HARPOON lidou com sucesso com conjunções (AND) e disjunções (OR) de restrições, mantendo baixas taxas de violação e alta utilidade downstream (medida pelo desempenho do classificador XGBoost) onde os baselines falharam.
• Fidelidade: Apesar de impor restrições, o HARPOM manteve alta fidelidade de amostra (medida pelo $\alpha$-score) e utilidade, indicando que as atualizações guiadas pela variedade não empurraram as amostras para fora da distribuição.

Eficiência

O tempo de execução do HARPOON é aproximadamente 2x maior que o de um baseline de difusão incondicional (DiffPuter) devido às etapas adicionais de computação de gradiente. No entanto, permanece significativamente mais rápido que abordagens baseadas em LLM (GReaT) ou grafos causais (MIRACLE), completando a amostragem em menos de 5 segundos mesmo em grandes conjuntos de dados.

Significância e Alegações

O artigo posiciona o HARPOON como uma ponte entre a orientação teórica de variedades e a geração de dados tabulares prática. Sua principal significância reside no paradigma "mantenha o treinamento simples, escale na inferência":

• Generalização: Elimina a necessidade de retreinar modelos para cada nova restrição, permitindo que um único modelo pré-treinado se adapte a condições não vistas.
• Rigor Teórico: Estende a teoria de orientação de variedades além de domínios contínuos e planos para a geometria complexa de tipos mistos de dados tabulares.
• Utilidade Prática: Fornece um mecanismo robusto para impor restrições rígidas (desigualdades, condições lógicas) que são comuns em domínios do mundo real (ex: saúde, finanças), mas difíceis de serem satisfeitas por modelos generativos padrão sem violar as propriedades de distribuição dos dados.

Os autores concluem que o HARPOON desbloqueia benefícios práticos para a modelagem tabular do mundo real ao oferecer um mecanismo de orientação geral, teoricamente fundamentado, que é robusto, adaptável e eficiente.