Resumo Técnico: Rumo à Avaliação de Priores de Dados para Modelos de Fundação Tabulares

Declaração do Problema

Os modelos de fundação tabulares (TFMs), como o TabPFN, dependem fortemente de priores de geração de dados para definir a distribuição da tarefa durante o pré-treinamento. Embora esses priores sejam centrais para moldar o comportamento preditivo a jusante (downstream), eles raramente são avaliados como componentes independentes. Tipicamente, um prior é introduzido junto com escolhas arquiteturais específicas, estratégias de otimização e protocolos de treinamento, tornando difícil isolar o impacto específico do próprio prior. Essa falta de isolamento dificulta a capacidade de comparar priors de diferentes modelos ou entender como propriedades de nível de dados se traduzem em desempenho downstream. O artigo aborda a questão metodológica: Como os priors de diferentes modelos de fundação tabular podem ser comparados independentemente das arquiteturas e protocolos de treinamento com os quais foram originalmente introduzidos?

Metodologia

Para abordar isso, os autores propõem um pipeline de avaliação unificado que padroniza a geração de dados, o treinamento do modelo e a avaliação downstream. Este framework é construído como uma extensão do TFM-Playground.

1. Interface Unificada de Prior

Os autores implementaram uma interface unificada para gerar tarefas de treinamento a partir de cinco distintas famílias de priors:

• TabPFNv1: Utiliza priors baseados em funções (MLPs, processos gaussianos e misturas) para amostrar funções-alvo em entradas aleatórias.
• TabICL: Gera tarefas amostrando variáveis gaussianas latentes e propagando-as através de transformações de Modelo Causal Estrutural (SCM) em camadas. As variantes incluem mapeamentos MLP, mapeamentos baseados em árvores ou misturas.
• TICL: Semelhante ao TabPFNv1, mas utiliza rotinas alternativas de pré-processamento e conversão de alvo baseadas em geradores de MLP e processo gaussiano.
• TabForestPFN: Ajusta modelos de ML padrão (árvores de decisão, vizinhos mais próximos, classificadores de projeção aleatória) a dados amostrados aleatoriamente e usa suas previsões em entradas não vistas como alvos.
• Dados Reais (Real Data): Um pipeline controlado usando datasets curados do OpenML. Envolve curadoria de datasets, redução de vazamento (remoção de duplicatas via impressão digital estatística) e construção de tarefas onde os datasets são particionados em pools de classificação/regressão. As tarefas são geradas amostrando datasets e selecionando alvos (ou colunas originais ou colunas aleatórias compatíveis).

2. Configuração Experimental Controlada

• Geração de Tarefas: Cada prior gera um orçamento fixo de 250.000 tarefas. As tarefas são limitadas a um máximo de 512 amostras e 16 características para garantir a viabilidade computacional.
• Arquitetura do Modelo: Todos os priors são usados para treinar um modelo nanoTabPFN idêntico. Esta arquitetura leve é escolhida para manter um desempenho competitivo em regimes de poucos dados, permitindo experimentos controlados e repetíveis sob recursos fixos.
• Protocolo de Treinamento: Um protocolo fixo é aplicado a todos os priors, incluindo um tamanho de lote (batch size) de 1 para lidar com varições no comprimento de sequência sem necessidade de padding.
• Avaliação Downstream: Os modelos são avaliados em um subconjunto fixo de tarefas de classificação do TabArena v0.1 (16 tarefas com ≤500 características e ≤5000 instâncias). O desempenho é medido via ROC-AUC através de três folds.

3. Métricas de Avaliação

O estudo compara os priors usando duas dimensões:

1. Caracterização de Nível de Dados: As tarefas geradas são resumidas via um vetor compartilhado de estatísticas de dataset (meta-features) para computar a similaridade pareada no espaço de dados.
2. Desempenho Downstream: Os priors são classificados com base no desempenho absoluto (ROC-AUC média bruta) e consistência relativa (ROC-AUC média normalizada e ranking médio).

Principais Resultados

Variabilidade de Desempenho

Diferentes priors favorecem diferentes comportamentos downstream, não havendo um único prior que domine todas as métricas:

• Desempenho Absoluto: O prior TICL alcançou o maior ROC-AUC médio bruto (0.866) e o maior número de vitórias em datasets (5).
• Consistência Relativa: O prior TabICL Mix SCM alcançou o melhor ranking médio (2.69) e a maior média normalizada (0.937), indicando uma competitividade mais consistente em diversas tarefas comparado aos outros.
• Desempenho de Dados Reais: Surpreendentemente, o Real Random Targets (seleção aleatória de colunas de alvo de datasets reais) superou significativamente o Real Default Targets (uso dos alvos originais) (0.675 vs. 0.123 de média normalizada). Os autores atribuem isso à diversidade de tarefas; a seleção aleatória permite que um único dataset gere múltiplos problemas de previsão distintos, enquanto alvos fixos podem levar a problemas repetitivos e similares.

Similaridade de Dados vs. Desempenho

• Espaço de Dados: Priores da mesma biblioteca (ex: variantes do TabICL) são geralmente mais similares entre si do que a priors de outras bibliotecas, sugerindo que o framework de geração influencia a distribuição dos dados mais do que o mecanismo subjacente específico.
• Espaço de Desempenho: Embora algumas similaridades no espaço de dados corroborem com similaridades de desempenho (ex: variantes do TabPFN), a correlação não é perfeita.
  • Dados Dissimilares, Desempenho Similar: O prior TabForest Neighbor é estatisticamente muito dissimilar de dados reais, mas alcança um desempenho downstream competitivo.
  • Dados Similares, Desempenho Diferente: Real Random Targets e Real Default Targets são estatisticamente similares no espaço de dados, mas seu desempenho downstream difere drasticamente.
• Conclusão: A similaridade estatística de nível de dados é um proxy informativo, porém incompleto, para o comportamento preditivo downstream. Fatores como diversidade de tarefas e sinais de aprendizado não são totalmente capturados por estatísticas de resumo.

Estudo de Ablação

Um estudo de ablação sobre a dimensionalidade dos dados revelou que aumentar o número de características, mantendo o tamanho da amostra fixo, geralmente levou a um pior desempenho downstream. Os autores sugerem que isso cria uma proporção característica-amostra irrealista em comparação com as tarefas de avaliação.

Significância e Alegações

O artigo afirma dar um "primeiro passo" em direção à exploração de como os priores de geração de dados afetam o comportamento downstream sob um cenário controlado. Suas principais contribuições são:

1. Isolamento de Priores: Isolamento bem-sucedido dos priores como componentes independentes ao fixar a arquitetura e o protocolo de treinamento, uma tarefa raramente tentada na literatura anterior de TFMs.
2. Interface Unificada: Fornecimento de uma interface padronizada para comparar priors sintéticos e de dados reais através de múltiplos frameworks existentes (TabPFN, TabICL, TabForest, etc.).
3. Insights Empíricos: Demonstração de que, embora a similaridade de nível de dados ofereça algum insight, ela não explica totalmente o comportamento downstream. O estudo destaca que a diversidade de tarefas (ex: via seleção de alvo aleatória) pode ser um fator crítico para o sucesso dos priors de dados reais, independentemente da similaridade estatística com os dados de origem.

Os autores mantêm-se modestos, observando que as diferenças de desempenho observadas são frequentemente pequenas em magnitude e devem ser interpretadas com cautela. Eles sugerem que trabalhos futuros poderiam examinar se o ajuste de hiperparâmetros específico do prior poderia alterar esses rankings relativos.