💻 computer science

Contextual Token Rotation Ensembles for Tabular Learning

Questo articolo introduce i Contextual Token Rotation Ensembles (CTRE), un nuovo framework di apprendimento tabulare che migliora la diversità e la robustezza degli ensemble integrando rappresentazioni di token contestuali basate su Transformer con rotazioni delle caratteristiche adattive ai dati e consapevoli delle interazioni, superando i metodi classici in particolare su dataset ad alta dimensionalità e sbilanciati.

Autori originali: Shenghan Gao, Spiridon Penev, Libo Li

Pubblicato 2026-08-27

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Shenghan Gao, Spiridon Penev, Libo Li

Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Nel mondo della scienza dei dati, alcuni problemi vengono risolti osservando immagini o ascoltando suoni, ma molte delle decisioni più critiche in finanza, medicina e ingegneria si basano su tabelle di numeri. Queste tabelle, note come dati tabulari, sono un mix di diversi tipi di informazioni: alcune colonne contengono misurazioni continue come la temperatura o il reddito, mentre altre contengono categorie come il colore o la qualifica professionale. La sfida per i computer è che questi diversi tipi di dati non si integrano naturalmente tra loro. Un computer fatica a capire come un valore numerico specifico si relazioni a una categoria specifica a meno che non gli venga insegnato a vedere le connessioni nascoste tra di essi. Per decenni, i ricercatori hanno cercato di costruire modi migliori per leggere queste tabelle, spesso combinando molti modelli di previsione semplici in un unico team più intelligente. Questo approccio, chiamato apprendimento d'insieme (ensemble learning), funziona assicurando che ogni membro del team osservi i dati in un modo leggermente diverso, in modo che i loro errori individuali si annullino a vicenda. Tuttavia, un metodo di lunga data per creare questa diversità si è basato su una strategia un po' casuale: tagliare casualmente le colonne dei dati in gruppi e mescolarle. Sebbene ciò crei varietà, spesso ignora il fatto che alcune colonne sono naturalmente collegate, mentre altre sono completamente slegate.

Un team di ricercatori dell'Università del Nuovo Galles del Sud ha sviluppato un nuovo metodo chiamato Contextual Token Rotation Ensembles, o CTRE, che sostituisce questo rimescolamento casuale con un processo più intelligente e consapevole del contesto. Invece di trattare ogni colonna di dati come un fatto isolato, il loro sistema impara prima come le colonne si "parlino" tra loro. Immaginate una stanza piena di persone dove tutti parlano contemporaneamente; un metodo tradizionale potrebbe semplicemente scegliere un gruppo casuale di persone da ascoltare, sperando di cogliere una conversazione utile. Il nuovo metodo, invece, ascolta prima l'intera stanza per capire chi sta effettivamente parlando con chi, e poi forma gruppi basati su quelle conversazioni reali. I ricercatori hanno ottenuto questo risultato utilizzando un tipo di intelligenza artificiale noto come Transformer, famoso per la comprensione del linguaggio. Hanno adattato questa tecnologia per osservare le colonne di una tabella di dati come se fossero parole in una frase. Addestrando il sistema a indovinare parti mancanti di dati basandosi sulle colonne circostanti, il computer impara una mappa di quali caratteristiche dipendano l'una dall'altra.

Una volta appresa questa mappa di relazioni, il sistema la utilizza per costruire il suo team di modelli di previsione. Nel vecchio metodo casuale, due colonne profondamente connesse potrebbero essere separate in gruppi diversi, mentre due colonne non correlate potrebbero essere forzate insieme. Nell'approccio CTRE, il sistema utilizza la mappa appresa per guidare il processo di raggruppamento. Rende più probabile che le colonne con forti connessioni siano inserite nello stesso gruppo, ma mantiene comunque un elemento di casualità per garantire che il team rimanga diversificato. All'interno di ciascuno di questi gruppi più intelligenti, il sistema esegue una trasformazione matematica che evidenzia i pattern più importanti filtrando al contempo il rumore. Fondamentalmente, i ricercatori hanno aggiunto un passaggio per garantire che l'informazione appresa in un gruppo non trapeli accidentalmente in un altro. Ri-elaborano i dati per ogni gruppo in isolamento, in modo che la previsione finale per un gruppo dipenda solo dalle variabili specifiche assegnate ad esso, preservando la prospettiva unica di ogni membro del team.

I risultati di questo nuovo approccio sono stati testati su una vasta gamma di dataset del mondo reale, che spaziano dai record medici ai prezzi delle case e alle letture di sensori industriali. Su problemi complessi e ad alta dimensionalità, dove ci sono centinaia di diverse caratteristiche e molti tipi differenti di dati mescolati insieme, il nuovo metodo ha superato le migliori tecniche esistenti. Ad esempio, su un dataset che coinvolge fette di scansione TC con 384 diverse caratteristiche, il nuovo metodo ha ridotto l'errore di previsione in modo significativo rispetto ai precedenti top performer. Ha inoltre mostrato una forza straordinaria nel gestire dati severamente sbilanciati, come un dataset in cui solo una minuscola frazione di voci rappresenta un guasto raro o una malattia specifica. In questi casi difficili, i modelli più vecchi ignoravano interamente gli eventi rari, ma il nuovo metodo è riuscito a identificare i pattern sottili associati ad essi. Tuttavia, i ricercatori hanno scoperto che questo metodo avanzato non è una cura universale per tutto. Su dataset più semplici con meno caratteristiche o dati molto uniformi, la complessità aggiuntiva di apprendere le relazioni tra le colonne ha talvolta introdotto più rumore che valore, e modelli più semplici hanno ottenuto prestazioni uguali o migliori.

Lo studio suggerisce che il futuro dell'apprendimento tabulare risiede in metodi che rispettano la struttura sottostante dei dati piuttosto che trattarli come una collezione casuale di numeri. Insegnando al computer come le caratteristiche interagiscono prima di tentare una previsione, i ricercatori hanno creato uno strumento che è particolarmente potente per i dati disordinati, complessi ed eterogenei tipici del mondo reale. Il lavoro non pretende di aver risolto ogni problema di dati, ma dimostra che quando i dati sono ricchi e complessi, un metodo che ascolta le connessioni tra le variabili può costruire un team di predittori molto più accurato e affidabile. Questo passaggio dal raggruppamento casuale al raggruppamento guidato e consapevole del contesto rappresenta un passo avanti significativo nel modo in cui le macchine imparano dalle tabelle strutturate che guidano gran parte del nostro moderno processo decisionale.

Riepilogo Tecnico: Contextual Token Rotation Ensembles per l'Apprendimento Tabulare

1. Definizione del Problema

L'apprendimento tabulare richiede modelli capaci di catturare dipendenze complesse tra caratteristiche eterogenee, rimanendo al contempo robusti al rumore e alla ridondanza. I metodi ensemble classici, in particolare la Rotation Forest, generano diversità partizionando casualmente le caratteristiche in gruppi e applicando l'Analisi delle Componenti Principali (PCA) all'interno di ciascun gruppo. Tuttavia, questo approccio presenta due criticità fondamentali:

Ignoranza della Struttura di Dipendenza: Le partizioni casuali possono separare caratteristiche che portano informazioni complementari su una stessa interazione latente o raggruppare insieme caratteristiche non correlate e rumorose.
Limitazioni Lineari: L'applicazione diretta della PCA alle variabili grezze sfrutta solo le strutture di covarianza lineare, fallendo nel catturare interazioni di ordine superiore o non lineari.

Sebbene i metodi basati su Transformer (ad es. TabTransformer, FT-Transformer) eccellano nell'apprendere le interazioni tra le caratteristiche tramite l'auto-attenzione (self-attention), essi tipicamente utilizzano il Transformer come predittore finale. Questo articolo sostiene che il punto di forza del Transformer risieda nell'apprendere la struttura delle interazioni tra le caratteristiche, il che può essere meglio sfruttato per riprogettare le trasformazioni dello spazio delle caratteristiche di un ensemble piuttosto che utilizzarlo come predittore stesso.

2. Metodologia: Contextual Token Rotation Ensembles (CTRE)

CTRE integra l'apprendimento di rappresentazioni contestuali auto-supervisionato con trasformazioni selettive in stile Rotation Forest. Il framework opera in quattro fasi distinte:

Fase 1: Tokenizzazione e Contestualizzazione delle Caratteristiche

Tokenizzazione: Le caratteristiche numeriche e categoriche sono mappate in uno spazio di token continuo comune. Le caratteristiche numeriche sono standardizzate e proiettate linearmente; le caratteristiche categoriche sono codificate tramite one-hot encoding e dotate di embedding. Viene aggiunto un embedding di colonna per preservare l'identità della caratteristica.
Contestualizzazione: Un encoder Transformer elabora la sequenza di token. A differenza dei predittori standard, l'encoder non aggrega i token in una singola rappresentazione del campione. Inveve, produce un token contestuale per ciascuna caratteristica originale, dove la rappresentazione della caratteristica $j$ dipende dall'intero set di caratteristiche tramite auto-attenzione.
Pre-addestramento: Il tokenizer e l'encoder vengono pre-addestrati utilizzando la ricostruzione di caratteristiche mascherate (predire le caratteristiche mascherate partendo dalle restanti) e un eventuale regolarizzazione della coerenza. La variabile target è esclusa durante questa fase. Le matrici di attenzione risultanti catturano le affinità di rappresentazione tra le caratteristiche.

Fase 2: Raggruppamento Stocastico Selettivo delle Caratteristiche

Invece di una partizione casuale, CTRE costruisce gruppi di caratteristiche per ogni membro dell'ensemble utilizzando la struttura di attenzione appresa:

Matrice di Affinità: Le matrici di attenzione da tutti i livelli e le teste vengono aggregate in una matrice di affinità tra caratteristiche simmetrica $W$ , che misura la forza di interazione media tra coppie di caratteristiche.
Selezione Stocastica: Per ogni membro dell'ensemble, le caratteristiche vengono raggruppate in base a una distribuzione di probabilità che bilancia:
1. Selezione Guidata dall'Interazione: Le caratteristiche con alta affinità rispetto al gruppo corrente hanno una maggiore probabilità di essere selezionate.
2. Casualità Uniforme: Una componente uniforme garantisce l'esplorazione e previene il collasso deterministico.
3. Penalità di Coppia Ripetuta: Un termine di penalità scoraggia le coppie di caratteristiche che sono apparse frequentemente insieme in precedenti membri dell'ensemble, garantendo la diversità attraverso l'ensemble.

Fase 3: Re-Encoding Contestuale per Gruppo e PCA

Re-Encoding: Per prevenire la "fuga di rappresentazione tra i gruppi" (dove un token nel Gruppo A contiene informazioni dalle caratteristiche del Gruppo B a causa dell'attenzione globale), le caratteristiche selezionate per un gruppo specifico vengono ri-codificate utilizzando lo stesso encoder pre-addestrato. Ciò assicura che la rappresentazione contestuale di un gruppo dipenda solo dalle caratteristiche all'interno di quel gruppo.
PCA per Gruppo: La PCA viene applicata ai token contestuali vettorializzati e ri-codificati all'interno di ogni gruppo. Una soglia opzionale di varianza spiegata permette la riduzione della dimensionalità scartando le direzioni a bassa varianza.
Rotazione: I punteggi PCA di tutti i gruppi vengono concatenati per formare una rappresentazione ruotata specifica per quel membro dell'ensemble.

Fase 4: Predizione dell'Ensemble

Ogessa rappresentazione ruotata viene inviata a un Perceptron Multistrato (MLP) addestrato indipendentmente. Le predizioni finali sono ottenute tramite la media uniforme delle predizioni dei singoli membri.

3. Contributi Chiave

Il documento identifica due contributi metodologici primari:

Raggruppamento Stocastico Selettivo: CTRE sostituisce il raggruppamento casuale arbitrario con un meccanismo che utilizza le affinità di attenzione apprese per rendere le caratteristiche fortemente interagenti più propense ad apparire nello stesso gruppo. Fondamentalmente, mantiene una componente stocastica e una penalità di riutilizzo delle coppie per mantenere la diversità dell'ensemble, evitando gli errori di una partizione deterministica singola.
Re-Encoding Contestuale per Gruppo: Il metodo affronta il problema della fuga di informazioni tra i gruppi. Ri-codificando le caratteristiche all'interno di un gruppo dopo la partizione, il metodo assicura che lo spazio sottostante trasformato per un gruppo sia strutturalmente indipendente dalle caratteristiche esterne ad esso. Ciò preserva il significato strutturale della partizione e riduce la somiglianza artificiale tra i membri dell'ensemble.

4. Analisi Teorica

Gli autori forniscono un'analisi teorica basata sulla decomposizione forza-diversità dell'apprendimento ensemble ( $R_{ens} = R_{base} - D_{amb}$ ):

Forza: I risultati teorici (Proposizioni 2 e 3) suggeriscono che l'aggregazione contestuale e il raggruppamento coerente migliorino il recupero dei fattori latenti condivisi e concentrino il segnale nelle direzioni principali della PCA, riducendo così il rischio del base-learner ( $R_{base}$ ).
Diversità: L'analisi (Proposizioni 6–8) dimostra che il raggruppamento stocastico, le penalità di riutilizzo e il re-encoding per gruppo preservano il supporto non degenere della distribuzione della partizione ed eliminano il flusso di informazioni tra i gruppi, mantenendo la diversità predittiva ( $D_{amb}$ ).

5. Risultati Sperimentali

CTRE è stato valutato su cinque benchmark di regressione e sei di classificazione, inclusi dataset ad alta dimensionalità, eterogenei e severamente sbilanciati.

Prestazioni: CTRE ha ottenuto risultati allo stato dell'arte o competitivi su dataset ad alta dimensionalità ed eterogenei.
- Regressione: Ha ottenuto il RMSE più basso su CT Slice Localization, BlogFeedback e Ames Housing, superando solidi baseline come XGBoost e TabM.
- Classificazione: Ha ottenuto la migliore accuratezza bilanciata su ISOLET e HAR.
Dati Sbilanciati: CTRE ha dimostrato vantaggi significativi su dataset severamente sbilanciati (KDDCup09 Churn e APS Failure). Mentre molti baseline sono collassati nel predire la classe maggioritaria (accuratezza bilanciata $\approx 0.50$ ), CTRE ha raggiunto un'accuratezza bilanciata significativamente più alta (0.6258 e 0.9643, rispettivamente), indicando una capacità di apprendere pattern dalle classi rare.
Limitazioni: Su dataset a bassa dimensionalità o omogenei (ad es. California Housing, Superconductivity), CTRE è stato meno performante rispetto a baseline più semplici. Gli autori attribuiscono ciò al fatto che l'encoder potrebbe causare overfitting o introdurre rumore di rappresentazione quando la struttura delle caratteristiche è insufficiente rispetto alla capacità del modello.

Studi di Ablazione:
Gli esperimenti hanno confermato che l'intera pipeline CTRE (tokenizzazione, raggruppamento guidato dall'interazione, re-encoding e ensemble) offre le prestazioni migliori. Rimuovere il re-encoding per gruppo o utilizzare singoli learner ha degradato significativamente le prestazioni, validando la necessità dei componenti proposti.

6. Significato e Rivendicazioni

Il documento posiziona CTRE non come un sostituto universale per tutti i metodi tabulari, ma come un framework specializzato per problemi con interazioni tra caratteristiche sufficientemente ricche, alta dimensionalità ed eterogeneità.

Cambio di Paradigma: Il lavoro sposta il ruolo dei Transformer nell'apprendimento tabulare da predittore finale a modulo di apprendimento della struttura che informa la costruzione di ensemble basati sulla rotazione.
Compromesso Bilanciato: Il metodo affronta esplicitamente il trade-off forza-diversità utilizzando le affinità apprese per rafforzare i base-learner, pur utilizzando la stocasticità e il re-encoding per preservare la diversità dell'ensemble.
Ambito Modesto: Gli autori rivendicano con modestia che CTRE è particolarmente efficace per problemi ad alta dimensionalità, eterogenei e sbilanciati, ma potrebbe non essere adatto per contesti a bassa dimensionalità o omogenei dove il costo dell'apprendimento della rappresentazione supera i benefici della rotazione.

Il lavoro futuro suggerito si concentra su criteri dipendenti dai dati per la selezione del metodo, l'adattamento dei parametri e il miglioramento dell'efficienza computazionale per il re-encoding per gruppo.