Bounded Context Management for Tabular Foundation Models on Stream Learning

Riepilogo Tecnico: Gestione del Contesto Limitato per Modelli Fondazionali Tabulari su Apprendimento in Flusso (Stream Learning)

1. Definizione del Problema

Il documento affronta l'apprendimento in flusso tabulare (tabular stream learning), un contesto in cui un modello deve effettuare previsioni supervisionate su esempi che arrivano sequenzialmente sotto vincoli di memoria limitata, risposta in tempo reale e potenziali cambiamenti nella distribuzione dei dati (distribution shifts).

Mentre i classici algoritmi di apprendimento in flusso (ad es. Hoeffding Trees, Adaptive Random Forests) si adattano aggiornando i propri stati interni del modello (ad es. statistiche degli alberi o membri dell'ensemble), i Modelli Fondazionali Tabulari (TFM) operano in modo differente. I TFM sono modelli pre-addestrati che effettuano previsioni tramite apprendimento in contesto (in-context learning): dato un query $x_t$ e un contesto etichettato $D_t$, essi restituiscono una distribuzione predittiva posteriore $q_\theta(\cdot | x_t, D_t)$ senza aggiornare i parametri del modello $\theta$.

Di conseguenza, il meccanismo di adattamento per i TFM applicati a flussi di dati si sposta dall'aggiornamento dei pesi del modello alla gestione del contesto limitato $D_t$. La sfida centrale è definita come gestione del contesto limitato: progettare una policy online $U$ per selezionare quali esempi etichettati mantenere in un contesto di budget fisso $B$ man mano che nuovi dati arrivano, affinché il contesto rimanga massimamente utile per le query future.

2. Metodologia: La Prospettiva dell'Informazione Futura e CURE

Gli autori propongono un framework teorico chiamato Prospettiva dell'Informazione Futura (Future-Information View) per determinare quali esempi debbano essere mantenuti o scartati. Definiscono l' "utilità futura" di un contesto $D_t$ come l'informazione mutua che esso fornisce riguardo alle etichette delle query nel prossimo futuro. Poiché la distribuzione futura esatta è ignota, scompongono questo obiettivo in tre segnali pratici:

1. Recenza (Recency): Gli esempi recenti fungono da proxy per la distribuzione dei dati nel prossimo futuro.
2. Incertezza (Uncertainty): Gli esempi che erano incerti al momento della previsione (alta entropia) hanno maggiori probabilità di fornire un elevato guadagno di informazione una volta rivelate le loro etichette.
3. Ridondanza (Redundancy): Gli esempi che sono vicini nello spazio di rappresentazione e condividono la stessa etichetta forniscono prove sovrapponibili; rimuoverne uno comporta una perdita di informazione minima.

Sulla base di questi segnali, gli autori introducono CURE (Context management via Uncertainty-aware admission and Redundancy-aware Eviction). CURE implementa un'architettura a doppio banco (dual-bank architecture):

• Banco Breve ($S_t$): Un buffer FIFO (First-In-First-Out) che memorizza gli esempi etichettati più recenti. Ciò garantisce che il contesto copra sempre il regime di dati attuale.
• Banco Lungo ($L_t$): Un buffer per gli esempi più vecchi selezionati per la ritenzione a lungo termine.

Policy di Aggiornamento di CURE:

1. Ammissione (Admission): I nuovi esempi etichettati entrano nel Banco Breve. Quando il Banco Breve eccede la capacità, l'elemento più vecchio ($z^+$) diventa un candidato per il Banco Lungo.
   • Ammissione con Filtro di Entropia: Il candidato viene ammesso al Banco Lungo solo se la sua entropia al momento della predizione supera una soglia $\tau$. Ciò assicura che il Banco Lungo conservi esempi che erano informativi (incerti) al momento dell'osservazione.
2. Espulsione (Eviction): Quando il Banco Lungo supera il proprio budget, un esempio deve essere rimosso.
   • Espulsione Consapevole della Ridondanza: La policy identifica la classe più rappresentata nel Banco Lungo. All'interno di questa classe, individua la coppia di esempi più vicini nello spazio delle feature grezze normalizzate. Successivamente, rimuove l'esempio di questa coppia che è più lontano dal centroide del Banco Breve attuale (che funge da riferimento per il regime corrente). Questo rimuove l'evidenza ridondante preservando al contempo gli esempi che sono distinti rispetto alla distribuzione attuale dei dati.

3. Contributi Chiave

• Cambio di Paradigma: Il documento inquadra l'apprendimento in flusso per i TFM non come adattamento dello stato del modello, ma come gestione del contesto, identificando che l'utilità di un TFM in un flusso dipende interamente dalla qualità del suo contesto trattenuto.
• Framework Teorico: Formalizza la "Prospettiva dell'Informazione Futura", fornendo una giustificazione teorica per l'uso di recenza, incertezza e ridondanza come proxy per massimizzare l'informazione sulle query future.
• Policy CURE: Propone una policy concreta ed efficiente (CURE) che combina l'ammissione basata sull'entropia e l'espulsione consapevole della ridondanza all'interno di una struttura a doppio banco.
• Validazione Empirica: Gli autori dimostrano che CURE supera significativamente i classici apprenditori in flusso e i precedenti baseline di gestione del contesto (come DualFIFO) attraverso molteplici dataset e backbone TFM.

4. Risultati Sperimentali

Gli autori hanno valutato CURE su sette flussi di dati (sei reali, uno sintetico) utilizzando quattro backbone TFM (TabICL-v2, LimiX-v1, TabPFN-v2.5, TabDPT-v1).

• Performance rispetto ai Baseline Classici: CURE ha ottenuto la migliore accuratezza prequenziale su tutti i sette flussi utilizzando TabICL-v2. Ha mostrato miglioramenti relativi fino al 27,0% rispetto ai classici apprenditori in flusso (ad es. ARF, BOLE, EFDT). Guadagni assoluti degni di nota includono +19,59 punti su RIALTO e +19,31 su METER.
• Robustezza del Backbone: CURE ha superato il baseline DualFIFO in 17 casi su 18 tra i diversi backbone TFM, indicando che la strategia di gestione del contesto è trasferibile e non specifica per un singolo modello.
• Studi di Ablazione: I confronti con varianti controllate (ad es. usando solo l'entropia o solo la ridondanza) hanno mostrato che la combinazione di segnali di CURE produce il miglior rango medio, suggerendo che i componenti sono complementari.
• Efficienza: L'overhead computazionale aggiuntivo della logica di espulsione di CURE è minimo (circa 0,0024 secondi per step), con la maggior parte del tempo di esecuzione ancora dominata dalla predizione del TFM e dal fitting del contesto.

5. Significato e Rivendicazioni

Il documento sostiene che la gestione del contesto è un meccanismo centrale per rendere efficaci i Modelli Fondazionali Tabulari sui flussi di dati in evoluzione. A differenza dei metodi classici che richiedono complessi addestramenti online o aggiornamenti di stato, CURE permette a un TFM congelato di adattarsi semplicemente curando il proprio contesto.

Gli autori posizionano CURE come una soluzione pratica che colma il divario tra la natura statica dei modelli fondazionali e i requisiti dinamici dell'apprendimento in flusso. Sfruttando la "prospettiva dell'informazione futura", dimostrano che una semplice policy che combina recenza, incertezza e ridondanza può produrre sostanziali guadagni di performance, rendendo i TFM competitivi con, e spesso superiori a, gli algoritmi di apprendimento in flusso allo stato dell'arte. Il lavoro suggerisce che, per i TFM, il "modello" è effettivamente il contesto, e la gestione di questo contesto è il problema di ottimizzazione primario negli scenari di streaming.