Resumo Técnico: LoMETab: Além de Ensembles Rank-1 para Aprendizado Profundo em Dados Tabulares

Declaração do Problema

Benchmarks recentes em aprendizado profundo para dados tabulares revelam um "agrupamento apertado de desempenho" onde os métodos líderes — incluindo árvores de decisão com gradiente (GBDTs), arquiteturas baseadas em atenção e ensembles implícitos como o TabM — apresentam eficácia comparável. Embora ensembles profundos sejam um método comprovado para melhorar o desempenho do modelo, treinar $K$ redes independentes escala linearmente com o custo. Ensembles implícitos, como o BatchEnsemble e o TabM, abordam isso compartilhando a maioria dos parâmetros enquanto introduzem perturbações específicas de cada membro.

No entanto, os ensembles implícitos existentes dependem de uma estrutura rank-1 fixa. No TabM, cada membro modula uma matriz de pesos compartilhada $W$ por meio de uma máscara rank-1 ($W_k = W \odot (s_k r_k^\top)$). Este design carece de um eixo explícito para aumentar a capacidade da modulação específica de cada membro. Consequentemente, a diversidade do ensemble — o principal motor dos ganhos de ensemble — não é diretamente controlável; ela deve emergir implicitamente de máscaras rank-1 fixas e dinâmicas de treinamento. Trabalhos anteriores sugerem que, sob certas condições, os membros do BatchEnsemble podem convergir para funções quase idênticas, indicando que a modulação rank-1 pode falhar em realizar uma diversidade significativa.

Metodologia: LoMETab

Os autores propõem o LoMETab, uma generalização rank-$r$ de ensembles implícitos multiplicativos projetada para superar as limitações das estruturas rank-1 fixas.

Formulação Central

Em vez de uma máscara rank-1, o LoMETab atribui a cada membro $k$ um par de matrizes adaptadoras de baixo rank, $A_k \in \mathbb{R}^{d_{out} \times r}$ e $B_k \in \mathbb{R}^{d_{in} \times r}$. O peso efetivo para o membro $k$ é definido como:
$$W_k = W \odot (1 + A_k B_k^\top)$$
Aqui, $W$ é o peso base compartilhado, e $A_k B_k^\top$ forma uma matriz residual de rank no máximo $r$. O termo $(1 + A_k B_k^\top)$ atua como uma perturbação multiplicativa identidade-residual. Quando o residual está próximo de zero, o membro comporta-se como o peso compartilhado; resíduais maiores induzem desvios específicos de cada membro.

Arquitetura e Treinamento

• Arquitetura: O LoMETab é inserido em uma espinha dorsal MLP tabular. Uma incorporação linear por partes compartilhada processa a entrada, que é então copiada através de $K$ membros. Cada camada linear oculta é substituída por uma camada Linear LoMETab, combinando o peso compartilhado com adaptadores específicos de cada membro.
• Objetivo de Treinamento: O modelo é treinado usando uma função de perda membro a membro, otimizando a perda média da tarefa em todos os $K$ membros. Isso permite que submodelos paralelos se especializem, apesar de compartilharem a espinha dorsal.
• Inferência: As previsões finais são obtidas pela média das saídas de todos os $K$ membros (média de probabilidades para classificação, saídas escalares para regressão).

Expressividade Teórica

O artigo estabelece uma hierarquia estrita nas classes de hipóteses. Para qualquer rank $r \ge 2$, o conjunto de pesos efetivos representáveis no LoMETab contém estritamente o conjunto representável pelo BatchEnsemble (rank-1). Especificamente, qualquer máscara de BatchEnsemble $s_k r_k^\top$ pode ser representada como $1 + A_k B_k^\top$ porque a diferença $s_k r_k^\top - 1$ tem um rank de no máximo 2. Assim, o LoMETab amplia estritamente o espaço de design para $r \ge 2$.

Principais Contribuições

1. Generalização Rank-$r$: Introdução do LoMETab, que substitui máscaras rank-1 fixas por perturbações Hadamard de baixo rank identidade-residual, parametrizadas pelo rank do adaptador $r$ e pela escala de inicialização $\sigma_{init}$.
2. Diversidade Controlável: Demonstração de que a capacidade de rank adicionada se manifesta como diversidade preditiva mensurável. Os autores mostram que o LoMETab mantém uma maior divergência de Kullback–Leibler (KL) par a par do que ablações aditivas de baixo rank. Além disso, a grade $(r, \sigma_{init})$ fornece controle amplo sobre a diversidade, variando a KL par a par em várias ordens de grandeza.
3. Ajuste Dependente do Conjunto de Dados: Evidência empírica de que as configurações ótimas para rank e escala de inicialização são dependentes do conjunto de dados. O artigo argumenta contra uma construção "rank-1 fixa", propondo, em vez disso, uma família controlável de ensembles implícitos onde $r$ e $\sigma_{init}$ servem como eixos de ajuste práticos.

Resultados Experimentais

Os autores avaliaram o LoMETab em 37 conjuntos de dados acadêmicos (incluindo as fontes do benchmark TabM e TabZilla) e 77 tarefas de avaliação.

• Desempenho em Benchmark: O LoMETab alcança uma classificação média de 2,1 ± 1,3 em 37 conjuntos de dados, superando o TabM (2,3 ± 1,8) e competindo com fortes baselines de GBDT (por exemplo, XGBoost, CatBoost) e arquiteturas neurais recentes. Ele ocupa o primeiro lugar em 14 conjuntos de dados e está entre os três primeiros em 89,2% dos conjuntos de dados.
• Controle de Diversidade:
  • Multiplicativo vs. Aditivo: O LoMETab mantém uma "lacuna sustentada" na divergência KL par a par em comparação com um ensemble aditivo de baixo rank ($W_k = W + A_k B_k^\top$), que converge rapidamente para baixa diversidade.
  • Varredura de Grade: A varredura de $r \in \{1, 2, 4, 8, 16\}$ e $\sigma_{init} \in \{0,1, \dots, 3,0\}$ revela que a diversidade é controlada conjuntamente por esses eixos. Um $\sigma_{init}$ baixo resulta em baixa diversidade independentemente do rank, enquanto um $\sigma_{init}$ mais alto ativa o eixo de rank, aumentando significativamente a diversidade.
  • Métricas em Nível de Tarefa: O aumento da diversidade correlaciona-se com maior desacordo de argmax em classificação e maior ambiguidade em regressão.
• Compromisso Desempenho vs. Diversidade: Embora a diversidade geralmente melhore o desempenho, a relação não é estritamente monótona. O ajuste de $r$ e $\sigma_{init}$ permite otimização específica do conjunto de dados, frequentemente superando a simples escalonagem do tamanho do ensemble $K$ no TabM.
• Eficiência de Parâmetros: Apesar da expressividade aumentada, o LoMETab não incorre necessariamente em uma contagem de parâmetros maior do que o TabM. A otimização de hiperparâmetros frequentemente seleciona configurações mais compactas (por exemplo, dimensões ocultas menores) ao usar ranks mais altos, levando a contagens totais de parâmetros comparáveis ou até menores em muitos casos.

Significado e Alegações

O artigo afirma que, para ensembles implícitos tabulares, como os membros são permitidos a desviar de uma espinha dorsal compartilhada é uma questão central de design. Ao ir além da restrição rank-1 fixa, o LoMETab expõe o rank do adaptador e a escala de inicialização como eixos práticos e controláveis para gerenciar a diversidade do ensemble.

Os autores enquadram modestamente sua contribuição como fornecendo uma "família controlável de ensembles implícitos" em vez de uma solução fixa. Eles enfatizam que a configuração ótima é dependente do conjunto de dados e que o valor principal do LoMETab reside em sua capacidade de ajustar a forma e a escala dos desvios dos membros para atender a tarefas específicas. O trabalho sugere que pesquisas futuras poderiam explorar se essa controlabilidade se traduz em melhor estimativa de incerteza ou detecção fora da distribuição, embora estes sejam identificados como direções para trabalhos futuros e não como resultados atuais.