Resumo Técnico: Um Estudo Mecanístico de Modelos Fundacionais Tabulares

Declaração do Problema

Modelos fundacionais tabulares (TFMs) como TabPFNv2, TabICLv2 e Mitra demonstraram desempenho de última geração em tarefas de classificação e regressão sem treinamento específico para a tarefa, dependendo inteiramente de aprendizado em contexto (ICL). Apesar de alcançarem precisão comparável em benchmarks, esses modelos empregam arquiteturas substancialmente diferentes (por exemplo, atenção por célula vs. atenção por token de linha vs. slots de rótulo fatorados). Essa convergência no desempenho levanta questões mecanísticas críticas que os rankings padrão não conseguem responder:

1. Esses modelos executam o mesmo algoritmo subjacente de aprendizado em contexto?
2. De onde originam-se suas invariâncias à permutação de linhas, colunas e classes, e são elas impostas por projeto ou aprendidas?
3. Quão robustos são eles a perturbações especificamente projetadas contra seus mecanismos inferidos?

Trabalhos anteriores catalogaram algumas invariâncias ou rastrearam lógica relevante para a tarefa até camadas intermediárias, mas não caracterizaram sistematicamente os mecanismos de leitura (readout), os componentes de suporte das arquiteturas ou os modos de falha específicos induzidos por vulnerabilidades mecanísticas.

Metodologia

Os autores realizam uma auditoria mecanística abrangente em três famílias de TFMs (TabPFNv2, TabICLv2 e Mitra) usando uma combinação de intervenções causais, sondagem por camadas e testes adversariais. O estudo abrange 49 conjuntos de dados de classificação e 10 de regressão.

Componentes metodológicos chave incluem:

• Sondagem por Camadas: Treinamento de classificadores lineares simples (sondas) em ativações congeladas em cada camada para determinar quando representações legíveis de classe se formam.
• Intervenções Causais:
  • Desativação de Blocos: Zerar blocos específicos de transformadores ou MLPs para identificar componentes de suporte.
  • Transplante de Leitura (Readout): Aplicar a regra de leitura de um modelo às representações congeladas de outro para testar o acoplamento arquitetônico.
  • Manipulação de Atenção: Forçar atenção uniforme ou substituir padrões de atenção para testar a necessidade.
• Engenharia de Invariância: Remoção sistemática de codificações posicionais (por exemplo, zerando matrizes de pesos $W$, removendo RoPE) para testar se a invariância exata à permutação pode ser restaurada sem re-treinamento ou perda de precisão.
• Ataques Baseados em Mecanismo: Projeto de oito perturbações específicas (por exemplo, envenenamento de hubs, distorção de rank, sepultamento SVD) visando os mecanismos de leitura hipotetizados (votação baseada em similaridade vs. protótipo mais próximo) para expor modos de falha distintos.
• Testes de Estresse: Avaliação de modelos em dados "propensos a colapso" (por exemplo, conjuntos de dados de escala de balanceamento com marginais de coluna idênticos) para testar hipóteses de colapso de representação.

Contribuições e Resultados Chave

1. Mecanismos de Leitura Distintos

O estudo estabelece que, apesar de pontuações semelhantes em benchmarks, os modelos utilizam algoritmos qualitativamente diferentes para gerar previsões:

• TabPFNv2 e Mitra: Ambos dependem de uma votação ponderada por atenção em uma camada tardia (Camada 9). O modelo afina sua distribuição de atenção para focar em um punhado de linhas de contexto, efetivamente realizando uma votação de similaridade aprendida sobre os rótulos de contexto. Essa leitura é altamente dependente dos padrões de atenção específicos das camadas tardias.
• TabICLv2: Utiliza uma leitura de protótipo mais próximo baseada na representação final (Camada 11). A estrutura de classe é estabelecida majoritariamente no início pela rede de incorporação de colunas, e o modelo classifica consultas com base na distância euclidiana ou cosseno aos centróides de classe.
• Evidência: Transplantar uma leitura de um backbone para outro causa quedas catastróficas de precisão (33–40 pontos percentuais), confirmando que a leitura e o backbone são projetados conjuntamente.

2. Componentes de Suporte Arquitetônicos

A auditoria identifica blocos "críticos" específicos que são essenciais para a operação dos modelos, enquanto constata que grande parte da rede é redundante:

• TabPFNv2/Mitra: O cálculo crítico está concentrado em um bloco inicial (Bloco 0) que configura o sistema de coordenadas, e em um bloco tardio (Bloco 9) que organiza a representação para a leitura. Blocos intermediários são amplamente intercambiáveis.
• TabICLv2: A rede de incorporação de colunas (especificamente o bloco final, ColEmb-2) é crítica para configurar o sistema de coordenadas. O transformador ICL subsequente de 12 blocos é amplamente redundante; desativações individuais de blocos têm impacto mínimo, e o sinal de classe já está presente na entrada da pilha ICL.

3. Invariância à Permutação e Colapso de Representação

• Invariância: Os modelos não impõem invariância por construção (exceto Mitra para colunas). No entanto, os autores demonstram que a invariância exata pode ser restaurada via simples "edições cirúrgicas" (por exemplo, zerando matrizes de pesos posicionais no TabPFNv2, removendo RoPE no TabICLv2) com custo zero para a precisão.
• Colapso de Representação: O artigo revisita a preocupação de que arquiteturas invariantes a colunas colapsam linhas distintas em representações idênticas quando as colunas compartilham marginais. O estudo encontra que:
  • TabICLv2 e TabPFNv2 possuem defesas redundantes dentro da linha (por exemplo, agrupamento de características, incorporações conscientes do alvo) que previnem o colapso na prática.
  • Remover uma única defesa nesses modelos é frequentemente "gratuito" (sem queda de precisão), mas remover todas as defesas expõe o colapso.
  • Mitra é único no fato de não ter quebra-simetrias dentro da linha por projeto, mas ainda assim evita o colapso, sugerindo que sua arquitetura (injeção precoce de rótulos e falta de compressão de linha) contorna inerentemente o modo de falha.

4. Vulnerabilidades Adversariais Baseadas em Mecanismo

O estudo valida as hipóteses mecanísticas ao projetar ataques que visam especificamente as leituras identificadas:

• Envenenamento de Hubs: Inverter rótulos de pontos de contexto "hubs" (mais atendidos) degrada significativamente o TabPFNv2 e o TabICLv2, confirmando sua dependência de pontos de contexto específicos.
• Distorção de Rank: Substituir valores por seu rank por coluna destrói as distâncias absolutas necessárias para a leitura de protótipo do TabICLv2 e as métricas de similaridade do TabPFNv2, causando grandes quedas de precisão.
• Robustez Diferencial: Embora modelos fundacionais sejam geralmente mais robustos a distorções monotônicas (cubo, soft-exp) do que MLPs recém-ajustados (devido ao seu prior ICL), eles são unicamente frágeis a ataques baseados em rank e hubs em comparação com baselines reajustadas.

Significado e Alegações

O artigo afirma fornecer o primeiro relato mecanístico de modelos fundacionais tabulares contemporâneos, indo além da avaliação de benchmarks caixa-preta para explicar como esses modelos funcionam e por que falham.

• Orientação de Projeto: Os resultados oferecem orientações concretas para o projeto futuro de modelos. Os autores propõem que a próxima geração de TFMs deve combinar a arquitetura invariante a colunas de Mitra, injeção precoce de rótulos (como um slot visível à atenção) e um cabeçalho de saída Um-contra-Todos para invariância de classe. Argumenta-se que essa combinação é neutra em precisão ou melhor, enquanto elimina a necessidade de ensemble de permutação e reduz a superfície de ataque.
• Interpretabilidade: Ao identificar que camadas específicas (por exemplo, L9 para TabPFN, L11 para TabICL) e componentes (por exemplo, ColEmb-2) carregam o peso, o artigo permite poda direcionada, depuração e melhorias de eficiência.
• Robustez: O estudo destaca que, embora esses modelos sejam poderosos, sua dependência de similaridades aprendidas específicas os torna vulneráveis a perturbações específicas e conscientes do mecanismo que baselines padrão podem não exibir no mesmo grau.

Os autores mantêm uma postura modesta, observando que suas descobertas são específicas para a geração atual de modelos e os priores sintéticos usados em seu pré-treinamento. Eles não afirmam ter resolvido todos os problemas de robustez, mas sim ter identificado os vieses indutivos específicos que governam os sucessos e fracassos atuais.