Resumo Técnico: Rumo ao Pré-treinamento de Codificadores de Texto para o TabPFN

Declaração do Problema

Modelos de fundação tabulares, exemplificados pelo TabPFN, demonstraram fortes capacidades preditivas em conjuntos de dados contendo dados numéricos e categóricos. No entanto, eles carecem de suporte nativo para características de texto de alta cardinalidade. Os pipelines padrão atuais abordam isso codificando o texto por meio de um modelo de linguagem (LM) e comprimindo os vetores de alta dimensão resultantes em um pequeno número de características escalares usando Análise de Componentes Principais (PCA) antes de inseri-los no TabPFN.

Esta abordagem introduz duas limitações críticas:

1. Gargalo de Informação: A etapa de PCA descarta a maioria das dimensões de embedding, removendo a riqueza semântica antes que os dados cheguem ao modelo tabular.
2. Não Diferenciabilidade: A compressão impede que o pipeline seja totalmente diferenciável, eliminando a capacidade de ajustar finamente (fine-tuning) o modelo de linguagem com base nos sinais preditivos do TabPFN.

Abordagens de ponta a ponta alternativas (ex: ConTextTab, TabSTAR) que evitam o PCA frequentemente exigem um pré-treinamento extensivo em coleções de dados do mundo real (como o T4), que são frequentemente de baixa qualidade devido a raspagens da web (web scrapes). Esses métodos podem degradar o desempenho em tarefas puramente numéricas e categóricas em comparação com modelos pré-treinados em grandes quantidades de dados sintéticos, e podem prender o modelo a LMs ou estratégias de verbalização específicas.

Metodologia

Os autores propõem o TabPFN Text Adapter, uma estratégia de alinhamento de pós-treinamento leve, inspirada em técnicas de alinhamento multimodal em Grandes Modelos de Linguagem (ex: LLaVA, TableGPT). O objetivo central é projetar os embeddings de texto do LM diretamente no espaço de embedding interno do TabPFN sem atualizar os pesos de nenhum dos dois modelos (o modelo de fundação ou o codificador de sentenças).

Arquitetura e Pipeline

1. Separação de Características: As colunas de texto são separadas das colunas numéricas e categóricas. O TabPFN processa estas últimas usando seu codificador padrão para preservar seu desempenho robusto.
2. Verbalização de Texto: Para colunas de texto livre, cada célula é verbalizada precedendo-a com o nome da coluna (ex: nome_da_coluna: texto). Esta contextualização ajuda o modelo de linguagem a desambiguar valores de texto idênticos com significados diferentes.
3. Geração de Embedding: O texto verbalizado é codificado usando um transformer de sentença (especificamente o all-MiniLM-L6-v2), produzindo embeddings de alta dimensão.
4. Projeção do Adapter: Um adapter leve mapeia esses embeddings em uma sequência curta de tokens (1 a 10) dentro do espaço de embedding de 192 dimensões do TabPFN.
   • Estrutura: O adapter espelha o codificador de características do TabPFN: uma camada linear para tarefas de classificação e um MLP de 2 camadas para tarefas de regressão.
   • Contagem de Tokens: Estudos de ablação sugerem o uso de 5 tokens por célula de texto para classificação (equilibrando desempenho e computação) e 1 token para regressão (obtendo resultados ótimos).
5. Fusão: Os tokens de texto adaptados são concatenados com os embeddings tabulares padrão e enviados para os blocos transformer do TabPFN.

Procedimento de Treinamento

• Congelamento (Freezing): Tanto o transformer de sentença quanto a arquitetura do TabPFN permanecem congelados. Apenas os pesos do adapter são atualizados.
• Inicialização: O adapter é inicializado a partir dos pesos originais do codificador do TabPFN para fornecer um ponto de partida forte, alinhado com a distribuição de embedding esperada pelo TabPFN.
• Dados: O pré-treinamento utiliza um subconjunto do benchmark STRABLE, selecionando especificamente conjuntos de dados com colunas de texto livre significativas (distinguidas de texto categórico por possuírem >20 valores únicos).
• Invariância à Permutação: Para encorajar o adapter a aprender mapeamentos invariantes à ordenação das dimensões do embedding, uma permutação aleatória é aplicada às dimensões do embedding do LM antes do adapter durante o treinamento. Durante o ensembling de inferência, diferentes permutações são usadas para cada membro do ensemble, e as previsões são calculadas pela média.

Principais Contribuições

1. Remoção do Gargalo de PCA: O adapter elimina a perda de informação associada à compressão por PCA ao projetar o texto diretamente no espaço de tokens do modelo.
2. Preservação das Forças Numéricas: Ao manter os pesos principais do TabPFN congelados e treinar apenas um adapter leve, o método retém o desempenho superior do modelo em sinais numéricos e categóricos, que é frequentemente comprometido em pipelines de texto-tabular de ponta a ponta.
3. Eficiência: A abordagem é mais computacionalmente eficiente para treinar do que o pré-treinamento de ponta a ponta e evita as penalidades de complexidade quadrática de contagens excessivas de tokens, otimizando o número de tokens projetados por tipo de tarefa.
4. Alinhamento de Modalidade: Ele transfere com sucesso o princípio de alinhamento do ajuste de instrução visual (LLaVA) e sistemas de tabela-para-LLM (TableGPT) para o domínio da predição tabular.

Resultados

O método foi avaliado no TextTabBench, um benchmark composto por 13 conjuntos de dados (6 de classificação, 7 de regressão) com colunas de texto livre longas.

• Regressão: O TabPFN Text Adapter superou todos os baselines, incluindo o ConTextTab e o baseline PCA-30. Ele alcançou isso utilizando significativamente menos tokens do que a abordagem PCA-30, oferecendo uma vantagem computacional devido à complexidade quadrática dos mecanismos de atenção.
• Classificação: O adapter alcançou um desempenho muito próximo ao baseline PCA-30 (84,5% vs. 86,4% de ROC-AUC normalizado), mas não o superou. Notavelmente, ficou atrás do ConTextTab (97,65%), sugerindo que, para classificação, o pré-treinamento específico do ConTextTab em dados reais ricos em texto ainda mantém uma vantagem, ou que a estratégia de compressão de tokens requer mais refinamento para este tipo de tarefa.

Insights de Ablação:

• Contagem de Tokens: As contagens de tokens ideais diferem por tarefa (10 tokens para classificação, 1 para regressão), provavelmente devido às diferenças arquiteturais nos codificadores de características do TabPFN (linear vs. MLP) e aos vieses de pré-treinamento.
• Profundidade de Fusão: A fusão precoce (antes da primeira camada transformer) superou consistentemente a fusão tardia, indicando que o TabPFN se beneficia ao processar tokens de texto junto com as características numéricas desde o início.
• Inicialização: Inicializar o adapter a partir dos pesos do TabPFN proporcionou benefícios claros para regressão, embora o efeito tenha sido modesto para classificação.

Significância e Limitações

O artigo posiciona o TabPFN Text Adapter como um primeiro passo vital para otimizar o pipeline completo de codificador de texto para o TabPFN. Ele oferece uma alternativa mais simples, barata e flexível ao pré-treinamento de ponta a ponta, permitendo com sucesso que o modelo de fundação tabular de estado da arte aproveite as características textuais sem sacrificar sua proeza numérica.

Limitações:
Os autores reconhecem que o adapter atual aplica a mesma camada linear ou MLP pré-treinada para todas as tarefas, enquanto a importância de dimensões de embedding específicas pode variar conforme a tarefa. Eles hipotetizam que mapear embeddings de LM de alta dimensão para um único token do TabPFN introduz uma perda de informação significativa. Um trabalho futuro é proposto para desenvolver um adapter que possa condicionar na coluna de texto completa ou até mesmo em outras colunas da tabela (incluindo os alvos/targets) para determinar dinamicamente como reduzir as dimensões, aproveitando assim as capacidades de raciocínio estatístico do TabPFN de forma mais eficaz.