Resumo Técnico: LimiX-2M

1. Definição do Problema

Os Modelos de Fundação Tabulares (TFMs) demonstraram recentemente a capacidade de rivalizar ou superar os tradicionais conjuntos de árvores (ex: XGBoost, CatBoost). No entanto, os autores identificam duas ineficiências críticas nas arquiteturas atuais de TFMs que limitam sua relação precisão-eficiência:

1. Colapso de Baixo Posto nos Embeddings: Os TFMs padrão (ex: TabPFN-v2) tipicamente mapeiam células numéricas escalares para espaços ocultos de alta dimensão via uma única projeção linear, aumentada por IDs de características ou embeddings posicionais. Os autores argumentam que essa "tokenização escalar afim" injeta variação de valor através de um canal essencialmente unidimensional. Consequentemente, as matrizes de características em camadas rasas exibem um posto efetivo extremamente baixo (por vezes colapsando para postos de dígitos únicos), levando a uma redundância significativa de parâmetros e uma fraca sensibilidade ao valor. A análise teórica (Proposição 3.1 e Teorema B.1) sugere que, sem adicional não linearidade, o posto dos inputs embedidos e dos estados ocultos iniciais é limitado por uma constante pequena (ex: 2 para atenção de cabeça única, $H+1$ para múltiplas cabeças), independentemente do tamanho da dimensão oculta.
2. Gargalos de Atenção e Desalinhamento: As pilhas de atenção bidirecional existentes frequentemente seguem uma ordem de Atenção de Característica $\to$ Atenção de Amostra $\to$ FFN (F$\to$S$\to$N). Essa ordenação força a atenção ao nível de característica a integrar colunas baseando-se apenas em valores brutos e fracamente condicionados antes que quaisquer estatísticas de nível de coluna sejam estabelecidas. Além disso, como as predições finais consomem apenas o token alvo, os cálculos de atenção ao nível de amostra realizados sobre as características são efetivamente ignorados, levando a sinais de treinamento fracos para partes da rede que não influenciam diretamente a leitura (readout).

2. Metodologia

O artigo propõe o LimiX-2M, um framework unificado que aborda esses problemas através de dois componentes primários:

A. RaBEL (Camada de Embedding de Base Radial)

Para mitigar o colapso de baixo posto, os autores substituem a projeção linear padrão pelo RaBEL, uma expansão de Função de Base Radial (RBF) compacta e localizada.

• Mecanismo: Em vez de uma projeção linear direta, cada entrada escalar $x_{i,j}$ é expandida em um banco de características não lineares localizadas $\phi_j(x_{i,j})$ usando kernels gaussianos. Essas características são então projetadas para a dimensão do modelo.
• Portão de Expoente (Exponent Gating): Para lidar com dados tabulares do mundo real que abrangem ordens de magnitude e exibem heterocedasticidade, o RaBEL introduz um "portão de expoente". Este mecanismo condiciona os centros e a largura de banda da RBF com base na magnitude logarítmica do valor de entrada. Isso permite que o modelo mantenha invariância de escala e localidade através de diferentes regimes de valores sem o uso de binagem rígida e frágil.
• Efeito: Este design injeta não linearidade no estágio de tokenização, aumentando o posto efetivo das representações rasas e melhorando o condicionamento da primeira camada aprendida sem a necessidade de empilhamento profundo para descobrir curvatura.

B. Atenção Bidirecional Reordenada (S$\to$N$\to$F)

Os autores propõem reordenar a pilha de atenção da padrão F$\to$S$\to$N para Atenção de Amostra $\to$ FFN $\to$ Atenção de Característica (S$\to$N$\to$F).

• Atenção de Amostra Primeiro: O modelo primeiro agrega correlações ao nível de coluna e estatísticas de distribuição (ex: momentos, prevalência) entre as amostras.
• Condicionamento Intermediário: Uma Rede Feed-Forward (FFN) leve comprime e condiciona esses sinais.
• Atenção de Característica em Segundo Lugar: A camada de atenção de característica modela então as relações entre características utilizando esses inputs mais ricos e melhor condicionados.
• Alinhamento de Leitura (Readout Alignment): A predição final é obtida via pooling de atenção sobre todos os tokens de características, garantindo que todos os cálculos de atenção (tanto de amostra quanto de característica) contribuam diretamente para a saída, fortalecendo assim os sinais de treinamento.

3. Contribuições Principais

1. Diagnóstico de Colapso de Baixo Posto: O artigo fornece provas teóricas e evidências empíricas (via Decomposição de Valor Singular dos estados ocultos) demonstrando que os embeddings lineares+ID induzem um severo colapso de baixo posto em camadas iniciais, tornando ineficientes grandes dimensões ocultas.
2. Arquitetura RaBEL: A introdução de um codificador de célula baseado em RBF compacto que expande entradas escalares em características não lineares localizadas, aumentando significativamente o posto efetivo das representações rasas e melhorando o condicionamento.
3. Pilha de Atenção Reordenada: A identificação de uma "patologia de ordem de permutação" na atenção bidirecional padrão e a proposta de uma pilha S$\to$N$\to$F que estabelece estatísticas ao nível de coluna antes da agregação de características e roteia todos os sinais de atenção para a leitura.
4. Modelo LimiX-2M: A realização de um modelo de 2M de parâmetros que integra esses componentes, demonstrando que embeddings não lineares principados e o redesenho da ordem de atenção podem desbloquear melhores relações precisão-eficiência.

4. Resultados Experimentais

Os autores avaliaram o LimiX-2M contra uma ampla gama de baselines, incluindo conjuntos de árvores (XGBoost, LightGBM, CatBoost), arquiteturas profundas especializadas (TabNet, SAINT, FT-Transformer) e outros modelos de fundação (TabPFN-v2, TabICL, Mitra).

• Performance: Apesar de possuir apenas 1.92M de parâmetros, o LimiX-2M supera o TabPFN-v2 de 7.24M de parâmetros e o TabICL de 27M de parâmetros na maioria dos benchmarks tabulares amplamente utilizados (cobrindo tarefas de classificação e regressão nos suítes OpenML-CC18, TabZilla, TabArena, TALENT e BCCO).
• Eficiência: O modelo alcança custos de treinamento e inferência significativamente menores. Em GPU, o LimiX-2M é aproximadamente 2$\times$ mais rápido que o TabPFN-v2 e >10$\times$ mais rápido que o TabICL.
• Estudos de Ablação:
  • Substituir o embedding linear pelo RaBEL aumenta significativamente o posto numérico e o Rank@99% das três primeiras camadas em comparação com um baseline de mesma arquitetura.
  • A ordenação S$\to$N$\to$F (Atenção Bidirecional Reordenada) supera consistentemente a ordenação padrão F$\to$S$\to$N.
  • Experimentos simplificados em Grafos Acíclicos Dirigidos (DAGs) sintéticos mostram que a arquitetura S$\to$N$\to$F atribui pontuações de atenção mais altas para causas diretas da variável alvo em comparação com a ordenação padrão.

5. Significância e Alegações

O artigo alega que as principais limitações dos atuais TFMs não são meramente uma falta de capacidade, mas sim ineficiências estruturais na forma como os valores são tokenizados e como a atenção é roteada. Ao abordar o "gargalo de valor" via RaBEL e o "desalinhamento de leitura" via atenção reordenada, o LimiX-2M demonstra que:

• A tokenização consciente do valor é um vetor chave para melhorar a relação precisão–eficiência.
• O roteamento alinhado à leitura garante que todos os recursos computacionais contribuam para a predição final.
• O alto desempenho em dados tabulares não requer necessariamente contagens massivas de parâmetros; um modelo de 2M de parâmetros pode superar modelos de fundação maiores quando a arquitetura é otimizada para as propriedades estatísticas específicas de dados tabulares (ex: tendências por partes, caudas pesadas e tipos mistos).

Os autores concluem que esses achados sugerem um caminho para um escalonamento mais confiável para modelos de fundação tabulares, indo além do simples escalonamento de parâmetros para princípios arquiteturais que melhor se alinham com a estrutura intrínseca dos dados.