Resumo Técnico: TFM-Retouche

Declaração do Problema

Modelos Fundacionais Tabulares (TFMs), como TabPFN-2.6 e TabICLv2, demonstraram forte desempenho zero-shot através de Aprendizado em Contexto (ICL), aproveitando vieses indutivos transferíveis aprendidos a partir de pré-treinamento sintético. No entanto, esses modelos possuem vieses indutivos fixos no momento da inferência. Adaptá-los a conjuntos de dados específicos de tarefas downstream tipicamente exige either o ajuste fino completo, que é computacionalmente proibitivo, ou métodos de Ajuste Fino Eficiente em Parâmetros (PEFT) como LoRA. Abordagens PEFT são frequentemente específicas da arquitetura, exigindo a inserção manual de módulos treináveis no backbone, e evidências empíricas recentes sugerem que a adaptação no espaço de pesos pode, por vezes, degradar a precisão ou a calibração ao corroer os priores sintéticos frágeis codificados nos pesos pré-treinados. Além disso, métodos existentes de adaptação no espaço de entrada (por exemplo, BETA) frequentemente dependem de gargalos de largura fixa projetados para modelos anteriores, com capacidade limitada, o que pode não alinhar-se às necessidades de alinhamento de TFMs modernos e de alta capacidade.

Metodologia

Os autores propõem o TFM-Retouche, um adaptador residual no espaço de entrada, leve e agnóstico à arquitetura, projetado para alinhar backbones de TFM congelados com tarefas downstream específicas sem modificar os pesos pré-treinados.

Arquitetura Central

O framework introduz um adaptador residual com portão, $g_\phi(x)$, aplicado às características de entrada $x$ antes que elas entrem no TFM congelado $f_\theta$:
$$g_\phi(x) = (1 - \alpha) \odot x + \alpha \odot \delta(x)$$
Onde:

• $\alpha$: Um parâmetro de portão treinável (seja um escalar ou um vetor por canal) que controla a força da intervenção. É inicializado com um valor pequeno (0,02) para garantir que o adaptador comece próximo à função identidade.
• $\delta(x)$: Uma transformação de bloco interno treinável que mapeia $R^d \to R^d$. Os autores implementam duas variantes:
  1. Bloco Cruzado (DCNv2): Uma rede cruzada que modela explicitamente interações multiplicativas de características ancoradas à entrada original.
  2. Bloco MLP Residual: Um MLP de gargalo residual padrão.
• Preservação de Dimensão: Ao contrário de codificadores anteriores que comprimem entradas, o TFM-Retouche preserva a dimensionalidade da entrada, atuando como um "empurrão" em vez de uma substituição.

Mecanismos de Treinamento e Segurança

• Treinamento End-to-End: Os parâmetros do adaptador são treinados via retropropagação através do backbone de TFM congelado. Os pesos do backbone permanecem completamente inalterados.
• Guarda de Identidade: Para mitigar o risco de a adaptação degradar o desempenho, é empregada uma guarda de identidade pós-treinamento. Durante a inferência, o sistema avalia o desempenho do adaptador em um conjunto de validação retido. Se o adaptador não melhorar o desempenho de base por uma pequena tolerância (padrão de 0,5%), o sistema contorna o adaptador completamente, retornando ao TFM não modificado. Isso garante que a adaptação seja estritamente opt-in por conjunto de dados.

Principais Contribuições

1. Framework TFM-Retouche: Um adaptador inovador no espaço de entrada, que preserva dimensões e é agnóstico à arquitetura do backbone do TFM. Suporta tanto classificação quanto regressão e pode ser instanciado com blocos internos modulares (DCNv2 ou MLP).
2. Estratégia de Treinamento com Guarda de Identidade: Um método para treinar adaptadores end-to-end através de TFMs congelados, acoplado a um mecanismo de segurança que previne a degradação de desempenho revertendo para a base zero-shot quando a adaptação não é útil.
3. Avaliação Abrangente: O framework foi instanciado no TabICLv2 (denotado como TabICLv2-Retouche) e avaliado no TabArena-Lite, um benchmark composto por 51 conjuntos de dados abrangendo classificação binária, classificação multiclasse e regressão.
4. Lançamento de Código Aberto: Os autores comprometem-se a liberar o framework como uma biblioteca de código aberto.

Resultados Experimentais

A avaliação foi conduzida no leaderboard do TabArena-Lite (51 conjuntos de dados). As principais descobertas incluem:

• Desempenho: O TabICLv2-Retouche (variante T+E, ajustado e ensemble) alcançou o primeiro lugar (Elo 1651) no leaderboard, superando a base TabICLv2 congelada (+56 Elo) e outros métodos state-of-the-art como TabPFN-2.6 e RealTabPFN-2.5.
• Eficiência: O método alcançou esse desempenho com um orçamento de otimização de hiperparâmetros (HPO) significativamente menor (10 configurações aleatórias versus os 200 padrão usados por outros pares ajustados).
• Compensações de Computação:
  • Tempo de Treinamento: O TabICLv2-Retouche (T+E) situa-se na fronteira de Pareto para tempo de treinamento versus qualidade, dominando outros métodos ajustados e ensemble (por exemplo, RealMLP, RealTabPFN-2.5) que exigem significativamente mais tempo de treinamento.
  • Tempo de Inferência: Permanece na fronteira de Pareto de tempo de inferência, oferecendo previsões de alta qualidade com latência de inferência moderada em comparação aos modelos zero-shot mais rápidos.
• Estudos de Ablação:
  • A Guarda de Identidade foi identificada como o componente mais crítico; removê-la fez com que o adaptador treinado performasse pior do que a base não modificada em média.
  • A adaptação no espaço de pesos (LoRA e SFT completo) aplicada ao backbone TabICLv2 congelado falhou em melhorar o desempenho sobre a base zero-shot neste cenário, enquanto o "empurrão" residual no espaço de entrada teve sucesso.
  • Codificadores estilo BETA (gargalos de largura fixa) performaram mal no TabICLv2, confirmando que o gargalo para TFMs modernos é o alinhamento, não a capacidade.

Significado e Alegações

O artigo posiciona o TFM-Retouche não como uma substituição para fluxos de trabalho zero-shot de TFM, mas como um mecanismo de refinamento de baixo risco e estágio tardio.

• Alinhamento sobre Capacidade: O trabalho argumenta que, para TFMs modernos e de alta capacidade, o principal desafio é alinhar o prior sintético genérico com estruturas de tarefas específicas, em vez de comprimir a capacidade de entrada.
• Segurança e Modularidade: Ao deixar o backbone congelado e usar uma guarda de identidade, o framework permite que profissionais capturem ganhos marginais de previsão sem o risco de desestabilizar o modelo ou comprometer-se com uma arquitetura de backbone específica.
• Praticidade: O método requer recursos computacionais mínimos (treinando apenas 102–105 parâmetros por conjunto de dados) e é compatível com pipelines zero-shot existentes, tornando-o uma ferramenta prática para melhorar o desempenho uma vez que as decisões de dados a montante se estabilizaram.

Os autores concluem que a adaptação no espaço de entrada pode entregar qualidade state-of-the-art sem sacrificar a eficiência, desde que a adaptação seja leve, próxima da identidade e protegida contra degradação de desempenho.