🤖 machine learning

Bootstrap-Conditioned Action Selection with Tabular Foundation Models

Questo articolo propone BC-ICL, una nuova policy di bandit contestuale che sfrutta modelli fondazionali tabulari pre-addestrati con in-context learning e bootstrap resampling per ottenere un processo decisionale online efficiente in termini di campionamento e robusto, superando i baseline consolidati in scenari di scarsità di dati e cold-start.

Autori originali: Devansh Gupta, Shiv Tavker, Dmitry Efimov, Suchitra Sathyanarayana, Gitanjali Bhutani, Boris N. Oreshkin

Pubblicato 2026-08-10

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Devansh Gupta, Shiv Tavker, Dmitry Efimov, Suchitra Sathyanarayana, Gitanjali Bhutani, Boris N. Oreshkin

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere il capitano di un'astronave che cerca di trovare la rotta migliore attraverso una vasta galassia nebbiosa. Ogni volta che scegli un percorso, ricevi un piccolo indizio — forse un lampo di luce o un sussulto di statica — che ti dice se eri vicino al tesoro o se stavi solo volando verso un vicolo cieco. Questo è il cuore di un problema che gli scienziati chiamano "contextual bandits" (banditi contestuali). È la matematica dietro il modo in cui i computer imparano a fare scelte personalizzate, come suggerire un film che adorerai o una canzone che ti farà ballare, in base a chi sei e a ciò che ti è piaciuto in passato. La parte complicata è il "cold start" (partenza a freddo): quando il computer non sa quasi nulla di te, deve indovinare selvaggiamente per imparare. I metodi tradizionali spesso rimangono bloccati a indovinare la stessa cosa sbagliata ripetutamente, o diventano così nervosi all'idea di sbagliare da smettere di provare cose nuove. Hanno bisogno di un modo per essere coraggiosi ma intelligenti, esplorando l'ignoto senza far schiantare la nave.

Fai spazio a un nuovo membro della tua equipaggio: un "foundation model" (modello di base). Immagina questo come un detective super intelligente, pre-addestrato, che ha già letto milioni di romanzi gialli e sa riconoscere i pattern nei dati meglio di chiunque altro. Di solito, questi detective si limitano a stare lì seduti e dare risposte. Ma cosa succederebbe se potessimo trasformare questo detective in un esploratore? È esattamente ciò che i ricercatori di questo articolo, Devansh Gupta e il suo team, hanno voluto fare. Si sono chiesti: possiamo prendere questo detective pre-addestrato, che è congelato e non può imparare nuovi trucchi al volo, e farlo giocare a un gioco di "indovina la mossa migliore" scuotendo gli indizi che vede?

Hanno costruito un metodo chiamato BC-ICL (Bootstrap-conditioned action selection using ICL). Ecco come funziona in parole semplici: immagina che il detective stia guardando la cronologia di tutti i viaggi passati dell'astronave. Invece di guardare l'intera cronologia in una volta sola, il computer prende un campione "bootstrap". Questo è come fare una fotocopia del registro storico, ma con un tocco particolare: sceglie casualmente alcuni inserimenti per includerli due volte e lascia fuori altri interamente, creando una versione leggermente diversa, un "cosa succederebbe se" del passato. Il detective congelato guarda quindi questa versione della cronologia leggermente distorta e fa una ipotesi sul percorso migliore. Poiché il registro storico è cambiato leggermente, anche l'ipotesi del detective cambia. Ripetendo questo processo — scuotere gli indizi, chiedere al detective e scegliere l'ipotesi migliore — il computer crea una strategia che esplora naturalmente nuovi percorsi senza dover riaddestrare il detective da zero.

Per rendere tutto questo ancora migliore, il team ha aggiunto una speciale caratteristica di "arm-context" (contesto dell'azione). Immagina che l'astronave abbia molti diversi motori (azioni) che può utilizzare. Di solito, un computer potrebbe trattare ogni motore come una macchina separata e isolata. Ma questo nuovo metodo tratta i motori come una squadra. Utilizza una mappa "moltiplicativa" che permette al detective di vedere come la situazione attuale (il contesto) interagisce con ogni motore contemporaneamente. Ciò significa che se il detective impara qualcosa su come funziona il motore della "velocità" durante una tempesta, può applicare istantaneamente quella saggezza al motore dello "sterzo" nella stessa tempesta. È come uno chef che, dopo aver imparato come il sale influisce su un pomodoro, sa immediatamente come il sale influirà su un fungo, invece di dover assaggiare ogni singolo ortaggio separatamente.

I ricercatori hanno testato questa idea su una varietà di puzzle impegnativi, dal prevedere se un fungo è velenoso al classificare cifre scritte a mano. Hanno scoperto che BC-ICL è un giocatore stella. In molti casi, ha commesso meno errori (una metrica chiamata "regret", ovvero rammarico) rispetto ai vecchi metodi che si affidano alla matematica lineare o a complesse reti neurali addestrate da zero. Ad esempio, su un dataset chiamato "Mushroom", il nuovo metodo ha commesso l'85% in meno di errori rispetto a un popolare approccio basato su reti neurali. Ancora più impressionante, ha fatto questo essendo sorprendentemente efficiente; usando un modo intelligente per scegliere quali registri storici osservare (come ricordare solo i viaggi più recenti o quelli più simili), poteva girare quasi velocemente quanto i metodi più vecchi, nonostante il suo pensiero più complesso.

Tuttavia, l'articolo traccia anche una linea netta nel terreno. Hanno testato cosa succede se lasci semplicemente al detective il compito di indovinare il percorso "migliore" ogni volta senza scuotere la cronologia (un approccio "greedy", o avido). I risultati hanno mostato che questa strategia avida spesso fallisce, rimanendo bloccata su percorsi sbagliati all'inizio e non riuscendo mai a recuperare. Allo stesso modo, lasciare semplicemente che l'incertezza naturale del detective guidasse le scelte non era sufficiente per battere il nuovo metodo. L'articolo suggerisce che la magia non risiede solo nel cervello del detective, ma nell'atto di scuotere gli indizi prima di chiedere un parere. I ricercatori sono fiduciosi in questi risultati basandosi sulle loro simulazioni attraverso otto diversi dataset, ma notano anche che questo approccio dipende fortemente dal fatto che il detective abbia il tipo giusto di pre-addestramento. Se l'addestramento passato del detective non corrisponde alla galassia attuale, il metodo potrebbe avere difficoltà. Tuttavia, per il tipo giusto di dati, questa strategia di "scuoti e indovina" offre un modo potente e pratico per trasformare un modello statico e pre-addestrato in un decisore dinamico ed esplorativo.

Sintesi Tecnica: Selezione delle Azioni Condizionata da Bootstrap con Modelli Fondazione Tabulari

Definizione del Problema

I bandit contestuali forniscono un framework per la personalizzazione efficiente in termini di campionamento, tuttavia l'implementazione pratica è ostacolata da dati di interazione sparsi e distorti, stime di incertezza inaffidabili e scenari critici di "cold-start". Mentre gli approcci di policy globale sono lo standard nei sistemi su larga scala per evitare l'inefficienza dei dati tipica dei bandit per singolo utente, raggiungere un'esplorazione fondata senza sacrificare l'espressività del modello di ricompensa rimane difficile.

I metodi classici si affidano spesso a modelli di ricompensa lineari con ottimismo o campionamento posteriore, limitando il potere rappresentativo. Al contrario, i metodi di bandit contestuali neurali possono modellare ricompense complesse ma richiedono l'addestramento di reti specifiche per il task partendo da zero utilizzando solo il feedback del bandit. Le loro stime di incertezza (spesso basate su linearizzazione o dropout) sono sensibili agli iperparametri e fragili in regimi con pochi dati. Nel frattempo, i recenti progressi nell'In-Context Learning (ICL) per dati tabulari hanno prodotto predittori potenti (ad esempio, TabPFN, TabICL) che si adattano a nuovi task tramite un singolo passaggio in avanti (forward pass), ammortizzando efficacemente l'inferenza bayesiana. Tuttavia, rimane una questione aperta se questi predittori ICL pre-addestrati possano essere direttamente utilizzati per la selezione delle azioni nei bandit contestuali.

Metodologia: BC-ICL

Gli autori propongono BC-ICL (selezione delle azioni condizionata da Bootstrap utilizzando l'ICL), un metodo che trasforma un predittore ICL tabulare pre-addestrato e congelato in una policy randomizzata per il processo decisionale online.

Meccanismo Core

Inve combinare l'aggiornamento dei parametri del modello online, BC-ICL induce l'esplorazione randomizzando la cronologia di condizionamento vista dal modello di base (backbone) fisso. L'algoritmo opera come segue in ogni round $t$ :

Ricampionamento Bootstrap: Un campione bootstrap $\tilde{D}_t$ viene estratto dalla cronologia delle interazioni osservate $D_t$ (campionando $|D_t|$ osservazioni con reinserimento).
Condizionamento: Il predittore ICL congelato $M$ è condizionato su questo dataset ricampionato $\tilde{D}_t$ .
Scoring: Il modello assegna punteggi a tutte le azioni candidate $a \in \mathcal{A}$ dato l'attuale contesto $x_t$ .
Selezione: L'azione con il punteggio campionato più alto viene selezionata: $a_t \in \arg\max_a \hat{\mu}_{\tilde{D}_t}(x_t, a)$ .
Aggiornamento: La ricompensa osservata viene aggiunta alla cronologia e il processo si ripete.

Architettura di Condizionamento Braccio-Contesto

Per affrontare i fallimenti dei bandit con bracci isolati e promuovere una forza statistica condivisa, gli autori introducono una specifica mappatura di feature $\Phi_{mult}(x, a)$ :
$\Phi_{mult}(x, a) = [x; e_a; (x^\top P) \odot e_a]$
Dove:

$x$ è il contesto grezzo.
$e_a$ è un embedding del braccio fisso.
$P$ è una matrice di proiezione condivisa.
$\odot$ denota il prodotto elemento per elemento.

Questa rappresentazione preserva il contesto grezzo, codifica l'identità del braccio e modella esplicitamente le interazioni braccio-contesto tramite il contesto proiettato condiviso. Crucialmente, le perturbazioni nella cronologia di condizionamento si propagano attraverso questa rappresentazione comune, influenzando i punteggi di più bracci simultaneamente, abilitando così un'esplorazione condivisa.

Contributi Chiave

Proposta di Algoritmo: L'introduzione di BC-ICL, che accoppia il ricampionamento bootstrap con un predittore ICL congelato per convertire un modello supervisionato in una regola decisionale capace di esplorazione senza ri-addestramento online.
Innovazione Architetturale: Il design di una mappa di feature moltiplicativa braccio-contesto che facilita l'esplorazione condivisa tra le azioni attraverso una rappresentazione del contesto proiettato comune.
Validazione Empirica: Valutazione completa che dimostra come BC-ICL (istanziato con TabPFN o TabICL) superi i baselines di bandit contestuali lineari, kernelizzati e neurali sotto rigorosi protocolli online.

Risultati Sperimentali

Gli autori hanno valutato BC-ICL su otto dataset (inclusi i repository UCI come Covertype, ISOLET, Letter e MNIST) convertiti in problemi di bandit contestuali.

Performance: BC-ICL ha ottenuto il regret cumulativo più basso nella maggior parte dei dataset, superando sostanzialmente i baselines stabiliti come Linear TS, LinUCB, Kernel UCB/TS, NeuralUCB, NeuralTS e BootstrapNN.
- Esempio: Sul dataset Mushroom, BC-ICL-TabICL ha ottenuto un regret di 37.7 rispetto a 252.3 di NeuralTS (una riduzione dell'85%).
- Esempio: Su ISOLET, BC-ICL ha mantenuto un regret costantemente inferiore durante l'intero processo di apprendimento rispetto ai baselines neurali.
Meccanismo di Esplorazione: Gli studi di ablazione hanno rivelato che l'incertezza predittiva interna del modello ICL (tramite selezione greedy o campionamento dalla distribuzione predittiva) da sola è insufficiente per un efficace processo decisionale sequenziale. Il meccanismo di ricampionamento bootstrap ha dimostrato di ridurre il regret del 5–19% rispetto alle baseline greedy e di sampling su dataset impegnativi, provando che il bootstrapping dei dati è necessario per un'esplorazione efficace.
Codifica delle Feature: La mappa di feature moltiplicativa ( $\Phi_{mult}$ ) ha superato significativamente la codifica one-hot semplice ( $\Phi_{one-hot}$ ), riducendo il regret finale del 30–40% su ISOLET, confermando l'importanza di modellare esplicitamente le interazioni braccio-contesto.
Efficienza Computazionale: Sebbene l'uso dell'intera cronologia delle interazioni renda BC-ICL più lento dei baselines neurali (ad esempio, 7 volte più lento per TabPFN), gli autori hanno dimostrato che le strategie di selezione del contesto come KNN (k-nearest neighbors) o FIFO (finestra scorrevole) riducono significativamente il tempo di esecuzione mantenendo prestazioni di regret comparabili all'uso della cronologia completa.

Significato e Claim

Il paper sostiene che BC-ICL offra un approccio pratico ed efficace per i bandit contestuali sfruttando i bias induttivi di modelli fondazione tabulari pre-addestrati. Evitando la necessità di addestrare reti specifiche per il task da zero, il metodo raggiunge una forte efficienza di campionamento, in particolare nei regimi di cold-start e con pochi dati.

Gli autori notano che il metodo assume l'accesso a un modello pre-addestrato i cui bias induttivi si allineano con il task target; le prestazioni possono degradare se esiste un significativo mismatch tra il task precedente e quello attuale. Inoltre, sebbene la procedura di bootstrap introduca un overhead computazionale, l'uso di strategie di selezione del contesto (KNN/FIFO) rende l'approccio scalabile. Teoricamente, gli autori suggeriscono che, sotto deboli assunzioni di stabilità, il regret di BC-ICL può essere decomposto in un termine di stabilità e un termine di rappresentazione, sebbene la formalizzazione di ciò rimanga una direzione futura.

Il lavoro supporta l'intuizione secondo cui le rappresentazioni moltiplicative braccio-contesto consentono una utile condivisione statistica tra le azioni e che i modelli ICL pre-addestrati, quando combinati con il condizionamento bootstrap, possono fungere da policy robuste e capaci di esplorazione per il decision-making online.