Prior-Aligned Data Cleaning for Tabular Foundation Models

1. Declaração do Problema: A Incompatibilidade de Priori

O artigo aborda uma limitação crítica na implantação de Modelos Fundacionais Tabulares (TFMs) como o TabPFN v2 em dados do mundo real.

• A Questão Central: Os TFMs alcançam precisão zero-shot de última geração por meio de meta-aprendizado sobre processos de geração de dados sintéticos. Seu "prior" interno ($P_{synth}$) assume entradas aproximadamente limpas, com marginais Gaussianas e baixas taxas de valores ausentes.
• A Incompatibilidade: Dados tabulares do mundo real ($P_{dirty}$) frequentemente contêm valores ausentes, outliers, duplicatas e deslocamentos de distribuição. Alimentar esses dados "sujos" em um TFM cria uma incompatibilidade de priori.
• Consequências: Essa incompatibilidade degrada tanto a precisão preditiva quanto a calibração de confiança (Erro de Calibração Esperado, ECE).
• A Penalidade de Contagem de Linhas: Diferentemente de modelos padrão, os TFMs dependem de Aprendizado em Contexto (ICL). A incerteza preditiva do ICL escala como $O(1/\sqrt{n})$, onde $n$ é o tamanho do contexto (número de linhas). Estratégias agressivas de limpeza (por exemplo, excluir linhas para remover outliers) aumentam desproporcionalmente a incerteza porque reduzem o tamanho do contexto de forma não linear. Frameworks de limpeza existentes falham em contabilizar essa penalidade específica.
• O Desafio: A limpeza de dados é um problema de decisão sequencial (por exemplo, imputar antes ou depois da remoção de outliers altera a distribuição vista pelos operadores subsequentes). Regras de pré-processamento estáticas não conseguem antecipar sequências ótimas para perfis de erro específicos.

2. Metodologia: O Framework L2C2

Os autores introduzem o L2C2 (Learn2Clean), um framework de Aprendizado por Reforço (RL) profundo que reencena a limpeza de dados como alinhamento de priori.

A. Formulação do Processo de Decisão de Markov (MDP)

• Estado ($s_t$): Um vetor de 9 dimensões representando a qualidade atual do conjunto de dados:
  • Bloco de Qualidade (6 dims): Taxa de ausentes, distância média de Wasserstein-1 (deslocamento), assimetria, curtose, equilíbrio de classes e razão de retenção de linhas.
  • Bloco de Histórico (3 dims): Indicadores binários que indicam se imputação, limpeza de outliers ou escalonamento já foram aplicados no episódio.
• Ação ($a_t$): Uma operação de limpeza parametrizada de três famílias:
  • Imputadores: Média, Mediana, KNN (com $k$ ajustável).
  • Limpeza de Outliers: IQR ou escore Z (com limites ajustáveis).
  • Escalarizadores: Min-max, escore Z, Quantil.
• Transição: Aplicação determinística do operador ao conjunto de dados, seguida pela reavaliação do estado.
• Horizonte: Fixado em $T=6$ passos por episódio.

B. O Conjunto de Funções de Recompensa

Uma contribuição central é a análise sistemática do design de recompensas. Os autores testaram sete funções de recompensa ($R1$–$R7$):

1. Colapsos Triviais: Recompensas baseadas apenas em completude ou distorção (sem feedback da tarefa downstream) colapsaram para estratégias degeneradas (por exemplo, não fazer nada ou excluir todas as linhas).
2. Baselines Multi-Objetivo: Recompensas combinando precisão (Random Forest), retenção e métricas de qualidade mostraram promessa, mas não eram conscientes do TFM.
3. TFMAwareReward ($R7$, Proposta): A nova função de recompensa projetada especificamente para TFMs:
   $$R_{TFM} = w_{acc} \cdot Acc_{TabPFN} + w_{ret} \cdot \left(\frac{n'}{n_0}\right)^\alpha + w_{qual} \cdot Q(X') - \lambda \cdot W_1$$
   • Inovação Chave: O termo de retenção usa um expoente quadrático ($\alpha=2$). Isso penaliza não linearmente a exclusão de linhas, refletindo a escala de incerteza $O(1/\sqrt{n})$ do ICL. Perder 20% das linhas resulta em uma penalidade muito maior do que um modelo linear sugeriria.
   • Componentes: Equilibra a precisão do TabPFN v2, retenção de linhas, qualidade dos dados (completude/deduplicação) e deslocamento de Wasserstein.

C. Arquitetura

• Política: Redes de política profunda (PPO, DQN, A2C) implementadas via Stable-Baselines3.
• Observador: Um DataQualityObserver leve computa o vetor de estado em milissegundos.
• Avaliação: A recompensa é computada executando o TabPFN v2 em uma divisão retida dos dados limpos.

3. Contribuições Chave e Experimentos

O artigo valida o L2C2 através de seis experimentos em 10 conjuntos de dados de referência do OpenML:

• C1: Taxonomia de Recompensas: Demonstrou que 3 de 7 designs de recompensa colapsam para estratégias triviais. Apenas recompensas multi-objetivo que incluem desempenho da tarefa downstream (especificamente precisão do TFM) produzem classificações significativas de pipelines.
• C2: Alinhado à Priori vs. Recompensa RF:
  • Comparou pipelines selecionados por uma recompensa Random Forest (RF) versus a proposta TFMAwareReward.
  • Resultado: A TFMAwareReward selecionou pipelines estruturalmente diferentes em 4/10 conjuntos de dados (preferindo imputação por média/mediana sobre KNN para preservar momentos marginais globais).
  • Desempenho: A abordagem alinhada ao TFM alcançou maior precisão do TabPFN v2 em casos divergentes (Média 0,851 vs. 0,843) e nunca foi superada.
• C3: Recuperação de Calibração: A limpeza alinhada à priori reduziu significativamente o Erro de Calibração Esperado (ECE) em todos os tipos de erro (MCAR, MAR, outliers, duplicatas), provando que a limpeza melhora a confiança do modelo, não apenas a precisão.
• C4: Sensibilidade a Erros: A vantagem de precisão da limpeza alinhada à priori é não monotônica em relação às taxas de injeção de erro. Depende da estrutura distribucional dos erros, e não apenas do volume de dados ausentes.
• C5: Ações Parametrizadas: Permitir que a política ajuste sub-parâmetros (por exemplo, $k$ do KNN, limites de outliers) melhorou a recompensa do melhor pipeline encontrado em 9/10 conjuntos de dados, comparado a uma baseline discreta de parâmetros fixos.
• C6: Aprendizado por Transferência: Uma política pré-treinada em um único conjunto de dados fonte (Ionosphere) e ajustada finamente em conjuntos de dados retidos (Phoneme, Adult, Bank) superou o desempenho de um modelo treinado do zero no checkpoint de 2.000 passos em todos os três alvos. Isso demonstra que o "conhecimento de alinhamento de priori" é transferível entre domínios.

4. Resumo dos Resultados

• Precisão: O L2C2 com TFMAwareReward consistentemente igualou ou superou as melhores baselines de oráculo ganancioso.
• Calibração: Melhorias significativas no ECE, particularmente para cenários de injeção de duplicatas e MAR (Missing At Random).
• Eficiência: A política de RL amortiza o custo de busca para encontrar sequências de limpeza ótimas, generalizando para novos conjuntos de dados sem necessidade de retreinamento do zero.
• Significância Estatística: Testes de postos sinalizados de Wilcoxon confirmaram que ações parametrizadas melhoram significativamente os resultados ($p=0,004$) e que a recompensa alinhada ao TFM seleciona pipelines distintos e superiores em casos divergentes ($p=0,063$ para os 4 conjuntos de dados divergentes).

5. Significado e Impacto

• Mudança de Paradigma: Move a limpeza de dados de uma etapa de pré-processamento heurística estática para um processo de decisão sequencial aprendido, otimizado para a priori específica do modelo fundacional.
• Insight Científico: Estabelece que o design de recompensas é o componente mais crítico na limpeza baseada em RL; recompensas ingênuas levam a estratégias degeneradas. A proposta TFMAwareReward fornece uma maneira principial de equilibrar precisão, qualidade de dados e as restrições únicas do aprendizado em contexto.
• Utilidade Prática: Fornece um framework para profissionais implantarem TFMs em dados reais desordenados sem necessidade de grandes corpora anotados para ajuste fino, alinhando a distribuição de entrada com a priori sintética do modelo.
• Código Aberto: O código e os conjuntos de dados estão publicamente disponíveis, facilitando pesquisas adicionais em IA centrada em dados e implantação de modelos fundacionais.

Em conclusão, o artigo argumenta que, para Modelos Fundacionais Tabulares, a preparação de dados é uma ferramenta de primeira classe para gerenciamento de incerteza, e alinhar a distribuição de entrada com a priori sintética do modelo por meio de políticas de RL aprendidas produz precisão e calibração superiores em comparação com o pré-processamento estático padrão.