🤖 machine learning

Bootstrap-Conditioned Action Selection with Tabular Foundation Models

Dit artikel stelt BC-ICL voor, een nieuw contextual bandit-beleid dat gebruikmaakt van vooraf getrainde tabulaire foundation-modellen met in-context leren en bootstrap-resampling om efficiënte, robuuste online besluitvorming te bereiken die de gevestigde baselines overtreft in schaarse en cold-start scenario's.

Oorspronkelijke auteurs: Devansh Gupta, Shiv Tavker, Dmitry Efimov, Suchitra Sathyanarayana, Gitanjali Bhutani, Boris N. Oreshkin

Gepubliceerd 2026-08-10

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Devansh Gupta, Shiv Tavker, Dmitry Efimov, Suchitra Sathyanarayana, Gitanjali Bhutani, Boris N. Oreshkin

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat jij de kapitein bent van een ruimteschip dat probeert de beste route te vinden door een uitgestrekte, mistige sterrenstelsel. Elke keer dat je een pad kiest, krijg je een kleine hint—misschien een flits van licht of een uitbarsting van statische elektriciteit—die je vertelt of je dicht bij de schat was of dat je net in een doodlopende weg vloog. Dit is de kern van een probleem dat wetenschappers "contextuele bandits" noemen. Dit is de wiskunde achter hoe computers leren om gepersonaliseerde keuzes te maken, zoals het suggereren van een film die jij geweldig zult vinden of een liedje waar je op kunt dansen, gebaseerd op wie jij bent en waar je eerder van hebt gehouden. Het lastige deel is de "cold start": wanneer de computer bijna niets over jou weet, moet hij wilde gissingen doen om te leren. Traditionele methoden raken vaak gestrand in het steeds opnieuw maken van dezelfde fout, of ze worden zo nerveus om het fout te hebben dat ze stoppen met het proberen van nieuwe dingen. Ze hebben een manier nodig om zowel dapper als slim te zijn: het verkennen van het onbekende zonder het schip te laten crashen.

Maak kennis met een nieuwe bemanning voor jouw ruimteschip: een "foundation model". Denk aan dit als een superintelligente, vooraf getrainde detective die al miljoenen mysteries heeft gelezen en patronen in data beter kan herkennen dan wie dan ook. Normaal gesproken zitten deze detectives gewoon daar en geven ze antwoorden. Maar wat als we deze detective een ontdekkingsreiziger kunnen maken? Dat is precies wat de onderzoekers in dit artikel, Devansh Gupta en zijn team, wilden doen. Ze vroegen zich af: Kunnen we deze vooraf getrainde detective, die bevroren is en geen nieuwe trucjes on the fly kan leren, en hem een spelletje laten spelen van "raad het beste zet" door de aanwijzingen die hij ziet op te schudden?

Ze ontwikkelden een methode genaamd BC-ICL (Bootstrap-conditioned action selection using ICL). Zo werkt het in begrijpelijke taal: Stel je voor dat de detective kijkt naar een geschiedenis van alle eerdere reizen van het ruimteschip. In plaats van naar de hele geschiedenis in één keer te kijken, neemt de computer een "bootstrap"-steekproef. Dit is als het maken van een fotokopie van het logboek van de geschiedenis, maar dan met een twist: het kiest willekeurig enkele vermeldingen om twee keer op te nemen en laat sommige volledig weg, waardoor er een iets andere, "wat als"-versie van het verleden ontstaat. De bevroren detective kijkt vervolgens naar deze nieuwe, licht vervormde versie van de geschiedenis en doet een gok over het beste pad. Omdat het geschiedenislogboek lichtelijk is veranderd, verandert de gok van de detective ook mee. Door dit proces te herhalen—het schudden van de aanwijzingen, de detective om een mening vragen, en de beste gok kiezen—creëert de computer een strategie die van nature nieuwe paden verkent zonder de detective vanaf nul opnieuw te hoeven trainen.

Om dit nog beter te maken, voegde het team een speciale "arm-context"-functie toe. Stel je voor dat het ruimteschip veel verschillende motoren (acties) heeft die het kan gebruiken. Normaal gesproken behandelt een computer elke motor als een aparte, geïsoleerde machine. Maar deze nieuwe methode behandelt de motoren als een team. Het gebruikt een "multiplicatieve" kaart die de detective in staat stelt om te zien hoe de huidige situatie (de context) interactie heeft met elke motor tegelijkertijd. Dit betekent dat als de detective leert hoe de "snelheid"-motor werkt in een storm, hij deze wijsheid onmiddellijk kan toepassen op de "stuur"-motor in diezelfde storm. Het is als een chef die, nadat hij heeft geleerd hoe zout een tomaat beïnvloedt, onmiddellijk weet hoe zout een paddenstoel zal beïnvloeden, in plaats van elke groente apart te moeten proeven.

De onderzoekers testten dit idee op een verscheidenheid aan uitdagende puzzels, van het voorspellen of een paddenstoel giftig is tot het sorteren van handgeschreven cijfers. Ze ontdekten dat BC-ICL een sterrenspeler was. In veel gevallen maakte het minder fouten (een metriek genaamd "regret") dan de ouderwetse methoden die vertrouwen op lineaire wiskunde of complexe neurale netwerken die vanaf het begin worden getraind. Bijvoorbeeld, op een dataset genaamd "Mushroom", maakte de nieuwe methode 85% minder fouten dan een populaire neurale netwerkbenadering. Nog indrukwekkender was dat het dit deed terwijl het verrassend efficiënt was; door een slimme manier te gebruiken om te kiezen welke geschiedenislogs er bekeken moeten worden (zoals alleen de meest recente reizen of de meest vergelijkbare te onthouden), kon het bijna net zo snel draaien als de oudere methoden, ondanks het feit dat het complexere denkprocessen uitvoert.

Echter, het artikel trekt ook een duidelijke lijn in het zand. Ze testten wat er gebeurt als je de detective gewoon het "beste" pad laat raden elke keer zonder de geschiedenis te schudden (een "greedy" benadering). De resultaten lieten zien dat deze hebzuchtige strategie vaak faalt, omdat het zich vroegtijdig vastzet op slechte paden en nooit meer herstelt. Ook was het simpelweg laten leiden van de keuzes door de natuurlijke onzekerheid van de detective niet genoeg om de nieuwe methode te verslaan. Het artikel suggereert dat de magie niet alleen in het brein van de detective zit, maar in de daad van het opschudden van de aanwijzingen voordat er om een mening wordt gevraagd. De onderzoekers zijn zelfverzekerd over deze resultaten op basis van hun simulaties over acht verschillende datasets, maar ze merken ook op dat deze aanpak sterk afhankelijk is van de juiste soort vooropleiding van de detective. Als de eerdere training van de detective niet overeenkomt met het huidige sterrenstelsel, kan de methode moeite hebben. Toch biedt deze "schud-en-raad"-strategie, voor de juiste soort data, een krachtige, praktische manier om een statisch, vooraf getraind model te veranderen in een dynamische, verkennende besluitvormer.

Technische Samenvatting: Bootstrap-geconditioneerde Actiekeuze met Tabulaire Fundamentele Modellen

Probleemstelling

Contextuele bandits bieden een raamwerk voor steekproefefficiënte personalisatie, maar praktische implementatie wordt gehinderd door schaarse en vertekende interactiedata, onbetrouwbare onzekerheidsschattingen en ernstige cold-start scenario's. Hoewel globale beleidsbenaderingen standaard zijn in grootschalige systemen om de data-inefficiëntie van per-gebruiker bandits te vermijden, blijft het bereiken van principiële exploratie zonder het opofferingsvermogen van het beloningsmodel te verliezen, moeilijk.

Klassieke methoden vertrouwen vaak op lineaire beloningsmodellen met optimisme of posterior sampling, wat de representatieve kracht beperkt. Omgekeerd kunnen neurale contextuele bandit-methoden complexe beloningen modelleren, maar vereisen ze het trainen van taakspecifieke netwerken vanaf nul met behulp van enkel bandit-feedback. Hun onzekerheidsschattingen (vaak gebaseerd op linearisatie of dropout) zijn gevoelig voor hyperparameters en broos in regimes met weinig data. Ondertussen hebben recente vooruitgang in In-Context Learning (ICL) voor tabulaire data krachtige voorspellers voortgebracht (bijv. TabPFN, TabICL) die zich aanpassen aan nieuwe taken via een enkele forward pass, waardoor Bayesiaanse inferentie effectief wordt geamortiseerd. Het blijft echter een open vraag of deze voorgetrainde ICL-voorspellers direct kunnen worden gebruikt voor actiekeuze in contextuele bandits.

Methodologie: BC-ICL

De auteurs stellen BC-ICL voor (Bootstrap-geconditioneerde actiekeuze met behulp van ICL), een methode die een bevroren, voorgetrainde tabulaire ICL-voorspeller transformeert in een gerandomiseerd beleid voor online besluitvorming.

Kernmechanisme

In plaats van de modelparameters online bij te werken, induceert BC-ICL exploratie door de geconditioneerde geschiedenis te randomiseren die het vaste backbone-model ziet. Het algoritme werkt als volgt in elke ronde $t$ :

Bootstrap Resampling: Een bootstrap resample $\tilde{D}_t$ wordt getrokken uit de geobserveerde interactiegeschiedenis $D_t$ (het trekken van $|D_t|$ observaties met vervanging).
Conditionering: De bevroren ICL-voorspeller $M$ wordt geconditioneerd op dit geresamplede dataset $\tilde{D}_t$ .
Scoring: Het model scoort alle kandidaatacties $a \in \mathcal{A}$ gegeven de huidige context $x_t$ .
Selectie: De actie met de hoogst gesamplede score wordt gekozen: $a_t \in \arg\max_a \hat{\mu}_{\tilde{D}_t}(x_t, a)$ .
Update: De geobserveerde beloning wordt toegevoegd aan de geschiedenis, en het proces herhaalt zich.

Arm-Context Conditionering Architectuur

Om de faalmodi van geïsoleerde-arm bandits aan te pakken en gedeelde statistische kracht te bevorderen, introduceren de auteurs een specifieke feature mapping $\Phi_{mult}(x, a)$ :
$\Phi_{mult}(x, a) = [x; e_a; (x^\top P) \odot e_a]$
Waar:

$x$ de ruwe context is.
$e_a$ een vaste arm-embedding is.
$P$ een gedeelde projectiematrix is.
$\odot$ elementgewijze vermenigvuldiging betekent.

Deze representatie behoudt de ruwe context, codeert de identiteit van de arm, en modelleert expliciet arm-context interacties via de gedeelde geprojecteerde context. Cruciaal is dat perturbaties in de conditionerende geschiedenis door deze gemeenschappelijke representatie voortplanten, waardoor scores voor meerdere armen gelijktijdig worden beïnvloed, wat gedeelde exploratie mogelijk maakt.

Belangrijkste Bijdragen

Algoritme Voorstel: De introductie van BC-ICL, die bootstrap resampling koppelt aan een bevroren ICL-voorspeller om een gesuperviseerd model om te zetten in een exploratie-bekwame beslisregel zonder online hertraining.
Architecturale Innovatie: Het ontwerp van een multiplicatieve arm-context feature map die gedeelde exploratie over acties faciliteert via een gemeenschappelijke geprojecteerde contextrepresentatie.
Empirische Validatie: Uitgebreide evaluatie die aantoont dat BC-ICL (geïnstantieerd met TabPFN of TabICL) lineaire, kernelized en neurale contextuele bandit-baselines overtreft onder strikte online protocollen.

Experimentele Resultaten

De auteurs evalueerden BC-ICL op acht datasets (inclusief UCI-repositories zoals Covertype, ISOLET, Letter en MNIST) die zijn omgezet in contextuele banditproblemen.

Prestaties: BC-ICL behaalde de laagste cumulatieve regret over de meeste datasets en presteerde aanzienlijk beter dan gevestigde baselines zoals Linear TS, LinUCB, Kernel UCB/TS, NeuralUCB, NeuralTS en BootstrapNN.
- Voorbeeld: Op de Mushroom-dataset bereikte BC-ICL-TabICL een regret van 37.7 vergeleken met 252.3 voor NeuralTS (een reductie van 85%).
- Voorbeeld: Op ISOLET behield BC-ICL consequent lagere regret gedurende het leerproces vergeleken met neurale baselines.
Exploratiemechanisme: Ablatiestudies toonden aan dat de interne voorspellende onzekerheid van het ICL-model alleen (via greedy selectie of sampling uit de voorspellende distributie) onvoldoende is voor effectieve sequentiële besluitvorming. Het bootstrap resampling mechanisme bleek de regret met 5–19% te verminderen ten opzichte van greedy en sampling baselines op uitdagende datasets, wat bewijst dat data-level bootstrapping noodzakelijk is voor effectieve exploratie.
Feature Encoding: De multiplicatieve feature map ( $\Phi_{mult}$ ) presteerde aanzienlijk beter dan eenvoudige one-hot encoding ( $\Phi_{one-hot}$ ), waarbij de uiteindelijke regret met 30–40% werd verminderd op ISOLET, wat het belang bevestigt van het expliciet modelleren van arm-context interacties.
Computationele Efficiëntie: Hoewel het gebruik van de volledige interactiegeschiedenis BC-ICL trager maakt dan neurale baselines (bijv. 7x trager voor TabPFN), hebben de auteurs aangetoond dat contextselectiestrategieën zoals KNN (nearest neighbors) of FIFO (sliding window) de runtime aanzienlijk verminderen terwijl de regret-prestaties vergelijkbaar blijven met het gebruik van de volledige geschiedenis.

Betekenis en Claims

Het artikel claimt dat BC-ICL een praktische en effectieve aanpak biedt voor contextuele bandits door gebruik te maken van de inductieve biases van voorgetrainde tabulaire fundamentele modellen. Door het vermijden van de noodzaak om taakspecifieke netwerken vanaf nul te trainen, bereikt de methode een sterke steekproefefficiëntie, met name in cold-start en low-data regimes.

De auteurs merken op dat de methode ervan uitgaat dat er toegang is tot een voorgetraind model waarvan de inductieve biases overeenkomen met de doeltaak; de prestaties kunnen verslechteren als er een aanzienlijke mismatch is met de voorheen uitgevoerde taken. Bovendien, hoewel de bootstrap procedure computationele overhead introduceert, maakt het gebruik van contextselectiestrategieën (KNN/FIFO) de aanpak schaalbaar. Theoretisch suggereren de auteurs dat onder milde stabiliteitsaannames, de regret van BC-ICL kan worden ontleed in een stabiliteitsterm en een representatieterm, hoewel het formaliseren hiervan een richting voor toekomstig werk blijft.

Het werk ondersteunt de intuïtie dat multiplicatieve arm-context representaties nuttige statistische sharing tussen acties mogelijk maken en dat voorgetrainde ICL-modellen, wanneer gecombineerd met bootstrap conditioning, robuuste, exploratie-bekwame beleidsregels kunnen dienen voor online besluitvorming.