🤖 AI

Entangled by Design: Spurious Intra-Variable Signal Routing in Tabular In-Context Learners

Questo articolo rivela che gli apprendenti in-context per i dati tabulari indirizzano inevitabilmente le predizioni attraverso segnali spuri incorporati nelle feature composite piuttosto che attraverso veri segnali causali, un fallimento che peggiora con contesti più ampi e maggiore espressività del modello, ma che può essere efficacemente mitigato dalla costruzione del contesto stratificata per ambiente e dall'aumento S-swap.

Autori originali: Athanasios Vlontzos, Giorgos Papanastasiou, Bernhard Kainz, Sotirios Tsaftaris

Pubblicato 2026-07-29

📖 8 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Athanasios Vlontzos, Giorgos Papanastasiou, Bernhard Kainz, Sotirios Tsaftaris

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di insegnare a un robot come prevedere il tempo. Gli mostri mille foto di giornate soleggiate e, in ogni singola foto, il cielo è blu. Il robot impara una regola semplice: "Cielo blu significa sole". Ma ecco il trucco: nelle tue foto di addestramento, il cielo è sempre blu perché hai scattato le foto solo durante il giorno. Non hai mai mostrato al robot una singola foto di una notte nuvolosa. Il robot non ha imparato che il "sole" causa il "cielo blu"; ha solo imparato che "blu" e "sole" appaiono insieme per caso. Se in seguito mostrassi al robot una foto di un cielo blu di notte (il che è impossibile, ma diciamo che il robot vede uno schermo blu), potrebbe confondersi. Questo è il mondo dell'Apprendimento Automatico (Machine Learning), specificamente un trucco astuto chiamato In-Context Learning (Apprendimento nel Contesto). Invece di riaddestrare il robot da zero ogni volta, gli fornisci solo alcuni esempi subito prima che faccia una previsione, e lui capisce il pattern sul momento. È come consegnare a un detective alcuni indizi e dirgli: "Risolvi questo caso", senza mai cambiare il cervello del detective. Ma cosa succede se quegli indizi sono fuorvianti? Cosa succede se gli indizi puntano a un sospettato che è innocente, solo perché si trovava sulla scena del crimine in ogni foto che hai mostrato al detective?

Questo articolo investiga una trappola subdola che può ingannare questi robot intelligenti e flessibili quando vengono utilizzati per compiti come prevedere il recupero dei pazienti negli ospedali. I ricercatori hanno scoperto che quando un robot vede un mix di informazioni "reali" (come la salute effettiva di un paziente) e informazioni "false" (come un guasto nell'attrezzatura specifica di un ospedale), spesso viene ingannato. Impara a fare affidamento sul guasto perché, nei dati di addestramento, il guasto è risultato coincidere perfettamente con l'esito. Il documento prova che dare semplicemente al robot più esempi non risolve il problema; anzi, potrebbe rendere il robot ancora più testardamente errato. Tuttavia, gli autori hanno anche scoperto un trucco intelligente e leggero per spezzare questo incantesimo, permettendo al robot di ignorare il guasto e concentrarsi sui segnali di salute reali, anche senza sapere esattamente quale sia il guasto.

Il Detective e il Termometro Rotto

Approfondiamo la storia. Immagina un ospedale dove un nuovo sistema di IA è stato assunto per prevedere la velocità di recupero dei pazienti. Al sistema vengono mostrati i dati di un ospedale specifico. In questo ospedale, c'è un problema nascosto: i termometri sono leggermente guasti. Leggono sempre 2 gradi in più rispetto a quanto dovrebbero. Ma ecco il colpo di scena: i pazienti che ricevono la lettura di "febbre alta" su questi termometri guasti sono anche quelli che si riprendono rapidamente. Perché? Perché i termometri guasti sono usati solo nel reparto VIP, e i pazienti VIP ricevono cure migliori e si riprendono più velocemente.

L'IA, essendo un super-intelligente cercatore di pattern, osserva i dati e dice: "Aha! Le letture di temperatura alta significano recupero rapido!". Non sa nulla del reparto VIP o del termometro guasto. Vede solo che Temperatura (S) e Recupero (Y) sono migliori amici nei dati che le sono stati forniti. Così, quando fa una previsione, instrada la sua decisione attraverso la lettura della temperatura. Pensa: "Punterò sulla temperatura!".

Ora, immagina che questa IA venga inviata in un nuovo ospedale. Questo nuovo ospedale ha termometri nuovi di zecca e perfetti. Il reparto VIP è sparito. Il legame tra "temperatura alta" e "recupero rapido" è interrotto. Ma l'IA sta ancora usando la sua vecchia regola: "Temperatura alta = recupero rapido". Poiché i nuovi termometri sono accurati, l'IA vede temperature normali per pazienti malati e prevede che si riprenderanno lentamente, o vede temperature alte per pazienti sani e prevede che si riprenderanno velocemente. Fallisce completamente, e fallisce silenziosamente, perché non ha modo di sapere di essere stata ingannata dal termometro guasto in primo luogo.

Il documento chiama questo fenomeno "Spurious Routing" (Instradamento Spurio). L'IA sta "instradando" la sua decisione attraverso un segnale falso (il termometro guasto) invece che attraverso il segnale reale (la salute effettiva del paziente).

La Trappola dei Segnali Composti

I ricercatori si sono resi conto che questo non riguarda solo i termometri rotti. Accade ogni volta che un singolo pezzo di dato è un "pacchetto" di due cose: il Segnale Reale (la vera salute del paziente) e il Segnale Spurio (il guasto dell'attrezzatura). Nel mondo della matematica, lo chiamano una "rappresentazione composita".

L'articolo pone una grande domanda: possiamo insegnare all'IA a ignorare il guasto? Gli autori hanno testato due tipi di detective IA:

Il Detective Lineare: Un'IA semplice, basata su regole, che esegue calcoli matematici di base (come un foglio di calcolo molto intelligente).
TabPFN: Un'IA super complessa e "all'avanguardia", che è come un detective geniale che ha letto tutti i libri di medicina del mondo.

Hanno eseguito migliaia di simulazioni in cui controllavano esattamente quanto il "guasto" (S) fosse mescolato con la "salute reale" (C). Hanno scoperto qualcosa di sorprendente e un po' spaventoso: l'IA non può risolvere il problema da sola.

Anche se date all'IA sempre più esempi dall'ospedale originale, non diventa più intelligente riguardo al guasto. In realtà, il documento mostra che dare all'IA più contesto (più esempi) la rende in realtà ancora più convinta della risposta sbagliata. Se il guasto è stato leggermente utile nei dati di addestramento, l'IA si ostinerà su di esso. Più esempi le mostrate, più essa crederà che il guasto sia la verità.

Gli autori hanno dimostrato matematicamente che finché il guasto e l'esito sono collegati nei dati di addestramento, l'IA deve usare il guasto. Non è un bug; è una caratteristica del modo in cui funzionano questi modelli. Lo chiamano "unavoidable spurious routing" (instradamento spurio inevitabile).

Il Trucco Magico: Lo "S-Swap"

Quindi, se l'IA è destinata a essere ingannata, c'è speranza? Gli autori dicono di sì, e hanno trovato una soluzione sorprendentemente semplice. Lo chiamano "S-swap augmentation".

Immaginate di essere di nuovo il detective. Avete un mucchio di fascicoli di casi. In ogni fascicolo, c'è una lettura della temperatura e un tempo di recupero. I fascicoli provengono tutti dal reparto VIP con i termometri guasti.
Il trucco "S-swap" è questo: prendete la lettura della temperatura dal Fascicolo A e scambiatela con la lettura della temperatura dal Fascile B, ma mantenete invariato il tempo di recupero.

Fascicolo A: "Termometro guasto dice 104°F, il paziente è guarito rapidamente."
Fascicolo B: "Termometro guasto dice 98°F, il paziente è guarito lentamente."

Scambiate le temperature:

Fascicolo A (Modificato): "Termometro guasto dice 98°F, il paziente è guarito rapidamente."
Fascicolo B (Modificato): "Termometro guasto dice 104°F, il paziente è guarito lentamente."

Ora, guardate il pattern. La temperatura non predice più il recupero! La temperatura alta è ora accoppiata con un recupero lento, e la temperatura bassa è accoppiata con un recupero rapido. Il legame è interrotto. L'IA guarda questi nuovi dati scambiati e realizza: "Aspetta un attimo. La temperatura non conta affatto! È solo rumore".

Il documento mostra che questo trucco funziona incredibilmente bene.

Per il semplice Detective Lineare, ha ridotto la dipendenza dal guasto del 74%.
Per il super-intelligente TabPFN, ha ridotto la dipendenza di un massiccio 98,8%.

Ancora meglio, l'IA non è diventata solo "confusa" o "ha rinunciato". Ha iniziato effettivamente a prestare attenzione al vero segnale di salute. Il documento ha scoperto che la sensibilità dell'IA alla causa reale è aumentata di 8,4 volte. Non ha smesso di imparare; ha solo imparato la cosa giusta.

Perché Questo è Importante

I ricercatori hanno testato questo approccio anche su dati reali, utilizzando un dataset di cellule del pancreas umano provenienti da diversi laboratori. Anche se non sapevano esattamente quali parti dei dati fossero il "guasto" e quali la "biologia reale", potevano stimare il guasto osservando come i dati variavano tra i laboratori. Quando hanno applicato il trucco S-swap, la dipendenza dell'IA dai guasti specifici del laboratorio è scesa di quasi l'89%.

L'articolo conclude che non abbiamo bisogno di ricostruire questi potenti modelli di IA o di insegnare loro nuove regole complesse. Dobbiamo solo essere più intelligenti con gli esempi che mostriamo loro. Scambiando le parti "difettose" dei dati prima che l'IA faccia una previsione, possiamo ingannare l'IA affinché ignori i segnali falsi e si concentri sulla verità.

È un promemoria del fatto che, nel mondo dell'IA, a volte la cosa più intelligente che puoi fare non è dare al robot più dati, ma riorganizzare i dati che già possiedi in modo che il robot non possa fare a meno di vedere la verità. Il documento dimostra che, sebbene questi modelli siano potenti, sono anche vulnerabili allo "spurious routing", ma con un po' di astuto rimescolamento dei dati, possiamo guidarli verso il percorso corretto.

Sintesi Tecnica: Entangled by Design: Spurious Intra-Variable Signal Routing in Tabular In-Context Learners

Problematica

Il documento affronta una modalità di fallimento critica nell'Apprendimento In-Context (ICL) per dati tabulari, specificamente quando i modelli vengono implementati in ambienti eterogenei (ad esempio, diversi ospedali o lotti sperimentali). Il problema centrale è il routing spurio del segnale intra-variabile (spurious intra-variable signal routing).

In molti scenari reali, un vettore di caratteristiche osservato $X$ è un composito di un segnale causale vero $C$ (ad esempio, la salute del paziente) e un segnale spurio $S$ (ad esempio, artefatti delle apparecchiature o effetti di lotto), spesso intrecciati all'interno dello stesso spazio delle caratteristiche o in sottospazi distinti: $X = [C; \alpha S; \eta]$ . All'interno di un singolo ambiente, un confonditore non osservato $U$ (ad esempio, la demografia del paziente) può guidare sia il segnale spurio $S$ che l'esito $Y$ , creando una correlazione in-context non nulla $\text{Corr}(S, Y) \neq 0$ .

I modelli ICL standard, come TabPFN o gli stimatori lineari di regressione ridge, osservano solo gli esempi di contesto. Essi imparano razionalmente a instradare le predizioni attraverso $S$ perché $S$ è predittivo all'interno del contesto, sebbene $S$ sia non causale. Quando vengono implementati in un nuovo ambiente in cui la relazione tra $S$ e $Y$ cambia (a causa di diverse apparecchiature o fattori specifici del sito), il modello fallisce silenziosamente. Ciò differisce dai tradizionali problemi di correlazione spuria cross-variabile poiché i segnali causali e spuri sono spesso intrecciati all'interno di un singolo vettore di caratteristiche osservato o in sottospazi distinti di una rappresentazione composita, rendendoli indistinguibili tramite le sole statistiche in-context standard.

Metodologia

Framework Teorico

Gli autori formalizzano il setting utilizzando un Modello Causale Strutturale (SCM) dove:

Segnale Causale ( $C$ ): Invariante tra gli ambienti.
Segnale Spurio ( $S$ ): Correlato con $Y$ solo tramite un confonditore condiviso $U$ all'interno di un ambiente.
Osservazione Composita: $X = [C; \alpha S; \eta]$ , dove $\alpha$ controlla la forza dell'intreccio (entanglement).

Il documento introduce il Causal Sensitivity Ratio (CSR) come metrica diagnostica per quantificare il comportamento di routing:
$\text{CSR}(w) := \frac{\mathbb{E}[|w_S \alpha \Delta S|]}{\mathbb{E}[|w_C \Delta C|]}$
dove $\Delta S$ e $\Delta C$ rappresentano perturbazioni (scambi) dei componenti spuri e causali, rispettivamente.

$\text{CSR} \approx 0$ : Il modello instrada attraverso il segnale causale.
$\text{CSR} > 1$ : Il modello è più sensibile al segnale spurio che a quello causale (regime di fallimento).

Analisi Teorica

Gli autori derivano una caratterizzazione in forma chiusa per il CSR di popolazione sotto ICL ridge (apprendimento in-context lineare):
$\text{CSR}_{\text{pop}} = \underbrace{\frac{\alpha^2}{\alpha^2 + \lambda}}_{\text{entanglement}} \cdot \underbrace{\frac{\rho_S}{\rho_C}}_{\text{rapporto di segnale}} \cdot \underbrace{(1 + \lambda)\kappa(\delta)}_{\text{costante di protocollo}}$
I principali risultati teorici includono:

Ineluttabilità: Sotto confondimento in-context ( $\rho_S \neq 0$ ), il routing spurio è inevitabile per qualsiasi forza di regolarizzazione $\lambda > 0$ .
Dimensione del Contesto: Dimensioni del contesto più grandi non risolvono il problema; in regimi ad alta euristica spuria, possono amplificare l'impegno verso il segnale spurio fino a $1.74\times$ .
Identificabilità: Il routing è non identificabile se $C$ e $S$ condividono una singola coordinata scalare ( $D=1$ ); sono necessari sottospazi distinti per la diagnosi.

Strategie di Mitigazione

Il documento propone due interventi leggeri e agnostici rispetto al modello che operano a livello di costruzione del contesto, richiedendo solo deboli etichette di ambiente (ad esempio, ID del lotto) e nessuna conoscenza della partizione causale:

Costruzione del Contesto Stratificata per Ambiente: Campionamento di esempi di contesto da diversi ambienti per mescolare le distribuzioni di $S$ mantenendo costanti i livelli di $Y$ , riducendo la $\text{Corr}(S, Y)$ in-context.
Augmentation S-swap: Per ogni punto di contesto $(X_i, Y_i)$ , viene aggiunta una copia accoppiata $(\tilde{X}_i, Y_i)$ in cui le dimensioni spurie di $X_i$ sono sostituite con quelle di un ambiente diverso. Ciò segnala al modello, a livello di punto, che $S$ non predice $Y$ .

Risultati Chiave

Validazione Empirica

Gli autori hanno validato la loro teoria sia su ICL lineare (regressione ridge) che su TabPFN (un trasformatore tabulare pre-addestrato allo stato dell'arte) utilizzando un modello causale strutturale controllato.

Correlazione con la Teoria: Il CSR empirico correla fortemente con il predittore teorico $\hat{\rho}_S / \hat{\rho}_C$ ( $r=0.997$ per l'ICL lineare, $r=0.979$ per TabPFN).
Effetti di Amplificazione:
- Aumentare la dimensione del contesto ( $n$ ) da 16 a 512 ha amplificato il routing spurio di $1.74\times$ nei regimi ad alta euristica spuria.
- Modelli più espressivi (TabPFN) hanno mostrato una maggiore vulnerabilità rispetto all'ICL lineare negli angoli ad alto entanglement (un gap di $+2.22$ nel CSR), sebbene siano stati più responsivi alle mitigazioni.
Robustezza: Le predizioni teoriche sono rimaste valide anche con sovrapposizione di sottospazi (rotazione di $40^\circ$ ), con una correlazione che è scesa solo leggermente ( $r \geq 0.93$ ).

Performance della Mitigazione

ICL Lineare: L'S-swap ha ridotto il CSR del 74% e ha migliorato l'RMSE Out-of-Distribution (OOD) del 34.2%.
TabPFN: L'S-swap ha ridotto il CSR del 98.8% (da 5.777 a 0.067). Fondamentalmente, il modello non è diventato agnostico; si è ri-instradato attraverso il segnale causale, aumentando la sensibilità causale dell'8.4 $\times$ .
Validazione nel Mondo Reale: Sul dataset scIB pancreas (genomica a singola cellula), l'S-swap ha ridotto il CSR dell'88.9% utilizzando solo sottospazi spuri stimati derivati dalla struttura del lotto, confermando l'applicabilità senza etichette causali di verità fondamentale (ground-truth).

Significato e Rivendicazioni

Il documento sostiene di aver identificato e formalizzato una specifica modalità di fallimento dell'apprendimento in-context che è distinta dalle correlazioni spurie cross-variabile. I suoi contributi primari sono:

Dimostrazione Teorica di Impossibilità: Dimostrare che la regolarizzazione standard non può eliminare il routing spurio in rappresentazioni composite quando esiste un confondimento in-context.
Metrica Diagnostica: Introdurre il CSR come un robusto diagnostico basato su perturbazioni che quantifica il comportamento di routing anche quando le partizioni causali sono latenti.
Soluzione Agnostica rispetto al Modello: Proporre l'augmentation S-swap, un intervento a livello di contesto che costringe efficacemente i modelli ICL a ignorare i segnali spuri e a fare affidamento su quelli causali senza richiedere il riaddestramento del modello, modifiche architettoniche o l'accesso alla partizione causale.
Paradosso dell'Espressività: Evidenziare come, sebbene i modelli più espressivi (come TabPFN) siano più vulnerabili al routing spurio nei regimi ad alta euristica spuria, la loro capacità permette loro di rispondere in modo più drammatico ai segnali di invarianza (come l'S-swap), portando a un recupero superiore rispetto ai baseline lineari.

Gli autori posizionano questo lavoro come una necessaria correzione per l'implementazione dell'ICL in domini scientifici e biomedici, dove l'eterogeneità dei dati è la norma e i fallimenti silenziosi dovuti allo spostamento del dataset (dataset shift) rappresentano rischi critici.