💻 computer science

Contextual Token Rotation Ensembles for Tabular Learning

Este artigo apresenta o Contextual Token Rotation Ensembles (CTRE), um novo framework de aprendizado tabular que aumenta a diversidade e a robustez de ensembles ao integrar representações de tokens contextuais baseadas em Transformer com rotações de características adaptáveis aos dados e conscientes de interações, superando métodos clássicos particularmente em conjuntos de dados de alta dimensão e desbalanceados.

Autores originais: Shenghan Gao, Spiridon Penev, Libo Li

Publicado 2026-08-27

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Shenghan Gao, Spiridon Penev, Libo Li

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo da ciência de dados, alguns problemas são resolvidos ao observar imagens ou ouvir sons, mas muitas das decisões mais críticas em finanças, medicina e engenharia dependem de tabelas de números. Essas tabelas, conhecidas como dados tabulares, são uma mistura de diferentes tipos de informações: algumas colunas contêm medições contínuas como temperatura ou renda, enquanto outras contêm categorias como cor ou cargo. O desafio para os computadores é que esses diferentes tipos de dados não se encaixam naturalmente. Um computador tem dificuldade em entender como um valor numérico específico se relaciona com uma categoria específica, a menos que seja ensinado a ver as conexões ocultas entre eles. Durante décadas, pesquisadores tentaram construir melhores maneiras de ler essas tabelas, muitas vezes combinando muitos modelos de previsão simples em uma única equipe mais inteligente. Essa abordagem, chamada de aprendizado de conjunto (ensemble learning), funciona garantindo que cada membro da equipe olhe para os dados de uma maneira ligeiramente diferente, para que seus erros individuais se cancelem mutuamente. No entanto, um método de longa data para criar essa diversidade baseou-se em uma estratégia um tanto desordenada: agrupar aleatoriamente as colunas de dados em grupos e embaralhá-las. Embora isso crie variedade, frequentemente ignora o fato de que algumas colunas estão naturalmente ligadas, enquanto outras são completamente não relacionadas.

Uma equipe de pesquisadores da Universidade de Nova Gales do Sul desenvolveu um novo método chamado Contextual Token Rotation Ensembles, ou CTRE, que substitui esse embaralhamento aleatório por um processo mais inteligente e consciente do contexto. Em vez de tratar cada coluna de dados como um fato isolado, seu sistema primeiro aprende como as colunas conversam entre si. Imagine uma sala cheia de pessoas onde todos estão falando ao mesmo tempo; um método tradicional poderia apenas escolher um grupo aleatório de pessoas para ouvir, esperando captar uma conversa útil. O novo método, no entanto, primeiro ouve a sala inteira para entender quem está realmente falando com quem, e então forma grupos baseados nessas conversas reais. Os pesquisadores alcançaram isso usando um tipo de inteligência artificial conhecido como Transformer, que é famoso por entender linguagem. Eles adaptaram essa tecnologia para olhar para as colunas de uma tabela de dados como se fossem palavras em uma frase. Ao treinar o sistema para adivinhar partes faltantes de dados com base nas colunas circundantes, o computador aprende um mapa de quais características dependem umas das outras.

Uma vez que esse mapa de relacionamentos é aprendido, o sistema o utiliza para construir sua equipe de modelos de previsão. No antigo método aleatório, duas colunas que estão profundamente conectadas poderiam ser separadas em grupos diferentes, enquanto duas colunas não relacionadas poderiam ser forçadas a ficar juntas. Na nova abordagem CTRE, o sistema usa esse mapa aprendido para guiar o processo de agrupamento. Ele torna mais provável que colunas com conexões fortes sejam colocadas no mesmo grupo, mas ainda mantém um elemento de aleatoriedade para garantir que a equipe permaneça diversa. Dentro de cada um desses grupos mais inteligentes, o sistema realiza uma transformação matemática que destaca os padrões mais importantes enquanto filtra o ruído. Crucialmente, os pesquisadores adicionaram uma etapa para garantir que a informação aprendida em um grupo não vaze acidentalmente para outro. Eles reprocessam os dados para cada grupo de forma isolada, de modo que a previsão final de um grupo dependa apenas das variáveis específicas atribuídas a ele, preservando a perspectiva única de cada membro da equipe.

Os resultados desta nova abordagem foram testados em uma ampla variedade de conjuntos de dados do mundo real, abrangendo desde registros médicos até preços de imóveis e leituras de sensores industriais. Em problemas complexos e de alta dimensionalidade, onde existem centenas de diferentes características e muitos tipos diferentes de dados misturados, o novo método superou as melhores técnicas existentes. Por exemplo, em um conjunto de dados envolvendo fatias de tomografia computadorizada com 384 características diferentes, o novo método reduziu o erro de previsão significativamente mais do que os principais competidores anteriores. Também mostrou uma força notável em lidar com dados severamente desbalanceados, como um conjunto de dados onde apenas uma fração minúscula das entradas representa uma falha rara ou uma doença específica. Nesses casos difíceis, modelos antigos frequentemente ignoravam os eventos raros inteiramente, mas o novo método identificou com sucesso os padrões sutis associados a eles. No entanto, os pesquisadores descobriram que este método avançado não é uma cura universal para todos os problemas. Em conjuntos de dados mais simples, com menos características ou dados muito uniformes, a complexidade adicional de aprender as relações entre as colunas às vezes introduzia mais ruído do que valor, e modelos mais simples apresentaram desempenho igual ou melhor.

O estudo sugere que o futuro do aprendizado tabular reside em métodos que respeitam a estrutura subjacente dos dados, em vez de tratá-los como uma coleção aleatória de números. Ao ensinar o computador a entender como as características interagem antes de tentar fazer uma previsão, os pesquisadores criaram uma ferramenta que é particularmente poderosa para os dados desordenados, complexos e heterogêneos encontrados no mundo real. O trabalho não afirma ter resolvido todos os problemas de dados, mas demonstra que, quando os dados são ricos e complexos, um método que escuta as conexões entre as variáveis pode construir uma equipe de preditores muito mais precisa e confiável. Essa mudança do agrupamento aleatório para o agrupamento guiado e consciente do contexto representa um passo significativo na forma como as máquinas aprendem a partir das tabelas estruturadas que impulsionam grande parte de nossa tomada de decisão moderna.

Resumo Técnico: Conjuntos de Rotação de Tokens Contextuais para Aprendizado Tabular

1. Definição do Problema

O aprendizado tabular exige modelos capazes de capturar dependências complexas entre características heterogêneas, mantendo-se robustos ao ruído e à redundância. Métodos de ensemble clássicos, particularmente o Rotation Forest, geram diversidade ao particionar aleatoriamente as características em grupos e aplicar a Análise de Componentes Principais (PCA) dentro de cada grupo. No entanto, esta abordagem possui duas limitações críticas:

Ignorância da Estrutura de Dependência: Partições aleatórias podem separar características que carregam informações complementares sobre uma mesma interação latente ou agrupar juntas características não relacionadas e ruidosas.
Limitações Lineares: Aplicar o PCA diretamente às variáveis brutas explora apenas estruturas de covariância linear, falhando em capturar interações de ordem superior ou não lineares.

Embora os métodos baseados em Transformer (ex: TabTransformer, FT-Transformer) se destaquem ao aprender interações de características via autoatenção, eles tipicamente utilizam o Transformer como o preditor final. Este artigo argumenta que a força do Transformer reside em aprender a estrutura das interações de características, o que pode ser melhor aproveitado para redesenhar as transformações do espaço de características de um ensemble, em vez de servir como o próprio preditor.

2. Metodologia: Conjuntos de Rotação de Tokens Contextuais (CTRE)

O CTRE integra o aprendizado de representação contextual autossupervisionado com transformações seletivas do estilo Rotation Forest. O framework opera em quatro estágios distintos:

Estágio 1: Tokenização e Contextualização de Características

Tokenização: As características numéricas e categóricas são mapeadas para um espaço de tokens contínuos comum. As características numéricas são padronizadas e projetadas linearmente; as características categóricas são codificadas via one-hot encoding e incorporadas (embedded). Um embedding de coluna é adicionado para preservar a identidade da característica.
Contextualização: Um codificador Transformer processa a sequência de tokens. Diferente dos preditores padrão, o codificador não agrupa os tokens em uma única representação da amostra. Em vez disso, ele produz um token contextual para cada característica original, onde a representação da característica $j$ depende de todo o conjunto de características via autoatenção.
Pré-treinamento: O tokenizador e o codificador são pré-treinados usando reconstrução de características mascaradas (predizendo características mascaradas a partir das demais) e regularização de consistência opcional. A variável alvo é excluída durante esta fase. As matrizes de atenção resultantes capturam afinidades de representação entre as características.

Estágio 2: Agrupamento de Características Estocástico Seletivo

Em vez de partições aleatórias, o CTRE constrói grupos de características para cada membro do ensemble usando a estrutura de atenção aprendida:

Matriz de Afinidade: As matrizes de atenção de todas as camadas e cabeças são agregadas em uma matriz de afinidade de características simétrica $W$ , medindo a força média de interação entre pares de características.
Seleção Estocástica: Para cada membro do ensemble, as características são agrupadas com base em uma distribuição de probabilidade que equilibra:
1. Seleção Guiada por Interação: Características com alta afinidade ao grupo atual têm maior probabilidade de serem selecionadas.
2. Aleatoriedade Uniforme: Um componente uniforme garante a exploração e evita o colapso determinístico.
3. Penalidade de Par Repetido: Um termo de penalidade desencoraja pares de características que apareceram frequentemente juntos em membros anteriores do ensemble, garantindo diversidade através do ensemble.

Estágio 3: Re-codificação Contextual por Grupo e PCA

Re-codificação: Para evitar o "vazamento de representação entre grupos" (onde um token no Grupo A contém informações de características do Grupo B devido à atenção global), as características selecionadas para um grupo específico são re-codificadas usando o mesmo codificador pré-treinado. Isso garante que a representação contextual de um grupo dependa apenas das características dentro daquele grupo.
PCA por Grupo: O PCA é aplicado aos tokens contextuais vetorizados e re-codificados dentro de cada grupo. Um limiar de variância explicada opcional permite a redução de dimensionalidade ao descartar direções de baixa variância.
Rotação: Os escores de PCA de todos os grupos são concatenados para formar uma representação rotacionada específica para este membro do ensemble.

Estágio 4: Predição do Ensemble

Cada representação rotacionada é alimentada em um Perceptron Multicamadas (MLP) treinado de forma independente. As predições finais são obtidas através da média uniforme das predições dos membros.

3. Principais Contribuições

O artigo identifica duas contribuições metodológicas primárias:

Agrupamento Estocástico Seletivo: O CTRE substitui o agrupamento aleatório arbitrário por um mecanismo que utiliza afinidades de atenção aprendidas para tornar características fortemente interagentes mais propensas a aparecer no mesmo grupo. Crucialmente, ele retém um componente estocástico e uma penalidade de reuso de pares para manter a diversidade do ensemble, evitando as armadilhas de uma partição puramente determinística.
Re-codificação Contextual por Grupo: O método aborda o problema do vazamento de informação entre grupos. Ao re-codificar as características dentro de um grupo após a partição, o método garante que o subespaço transformado de um grupo seja estruturalmente independente de características fora dele. Isso preserva o significado estrutural da partição e reduz a similaridade artificial entre os membros do ensemble.

4. Análise Teórica

Os autores fornecem uma análise teórica fundamentada na decomposição de força–diversidade do aprendizado de ensemble ( $R_{ens} = R_{base} - D_{amb}$ ):

Força: Resultados teóricos (Proposições 2 e 3) sugerem que a agregação contextual e o agrupamento coerente melhoram a recuperação de fatores latentes compartilhados e concentram o sinal nas principais direções de PCA, reduzindo assim o risco do aprendiz base ( $R_{base}$ ).
Diversidade: A análise (Proposições 6–8) demonstra que o agrupamento estocástico, as penalidades de reuso e a re-codificação por grupo preservam o suporte não degenerado da distribuição de partição e eliminam o fluxo de informação entre grupos, mantendo a diversidade preditiva ( $D_{amb}$ ).

5. Resultados Experimentais

O CTRE foi avaliado em cinco benchmarks de regressão e seis de classificação, incluindo conjuntos de dados de alta dimensão, heterogêneos e severamente desbalanceados.

Desempenho: O CTRE alcançou resultados de estado da arte ou competitivos em conjuntos de dados de alta dimensão e heterogêneos.
- Regressão: Alcançou o menor RMSE em CT Slice Localization, BlogFeedback e Ames Housing, superando bases fortes como XGBoost e TabM.
- Classificação: Alcançou a melhor acurácia balanceada em ISOLET e HAR.
Dados Desbalanceados: O CTRE demonstrou vantagens significativas em conjuntos de dados severamente desbalanceados (KDDCup09 Churn e APS Failure). Enquanto muitos baselines colapsaram para prever a classe majoritária (acurácia balanceada $\approx 0.50$ ), o CTRE alcançou acurácia balanceada significativamente maior (0.6258 e 0.9643, respectivamente), indicando uma capacidade de aprender padrões de classes raras.
Limitações: Em conjuntos de dados de baixa dimensão ou homogêneos (ex: California Housing, Superconductivity), o CTRE teve desempenho inferior em comparação com baselines mais simples. Os autores atribuem isso ao fato de o codificador potencialmente sofrer overfitting ou introduzir ruído de representação quando a estrutura de características é insuficiente em relação à capacidade do modelo.

Estudos de Ablação:
Experimentos confirmaram que o pipeline completo do CTRE (tokenização, agrupamento guiado por interação, re-codificação e ensemble) apresenta o melhor desempenho. Remover a re-codificação por grupo ou utilizar aprendizes únicos degradou significativamente o desempenho, validando a necessidade dos componentes propostos.

6. Significância e Alegações

O artigo posiciona o CTRE não como um substituto universal para todos os métodos tabulares, mas como um framework especializado para problemas com interações de características suficientemente ricas, alta dimensionalidade e heterogeneidade.

Mudança de Paradigma: O trabalho desloca o papel dos Transformers no aprendizado tabular de serem o preditor final para serem um módulo de aprendizado de estrutura que informa a construção de conjuntos de rotação.
Equilíbrio de Troca (Trade-off): O método aborda explicitamente o equilíbrio força-diversidade ao usar afinidades aprendidas para fortalecer os aprendizes base, enquanto utiliza estocasticidade e re-codificação para preservar a diversidade do ensemble.
Escopo Modesto: Os autores alegam modestamente que o CTRE é particularmente eficaz para problemas de alta dimensão, heterogêneos e desbalanceados, mas pode não ser adequado para cenários de baixa dimensão ou homogêneos, onde o custo do aprendizado de representação supera os benefícios da rotação.

Sugere-se que trabalhos futuros foquem em critérios dependentes de dados para seleção de método, ajuste adaptativo de parâmetros e melhorias na eficiência computacional da re-codificação por grupo.