Technische Samenvatting: PFN-TS

Probleemstelling

Contextuele bandieten behandelen sequentiële besluitvorming onder onzekerheid, waarbij een leerling een context observeert, een actie selecteert en een stochastische beloning ontvangt. Het doel is de cumulatieve regret in de loop van de tijd te minimaliseren. Thompson Sampling (TS) is een standaardstrategie die een Bayesiaanse posterior over beloningsfuncties onderhoudt en acties gretig bemonsterd vanuit deze posterior. De effectiviteit van TS is echter afhankelijk van de kwaliteit van het onderliggende beloningsmodel.

In tabulaire toepassingen (bijvoorbeeld mobiele gezondheid, aanbevelingen) zijn lineaire beloningsmodellen vaak verkeerd gespecificeerd omdat ze complexe menselijke gedragingen zoals interacties, drempeleffecten en heterogeniteit niet kunnen vangen. Hoewel rijkere alternatieven bestaan (kernmethoden, neurale netwerken, boom-ensembles), lijden ze aan schaalbaarheidsproblemen, hoge computerkosten of rigide structurele aannames. Bovendien vereisen deze modellen doorgaans moeilijk af te stellen hyperparameters in online omgevingen.

Prior-Data Fitted Networks (PFN's), zoals TabPFN en TabICL, bieden een veelbelovend alternatief. Dit zijn transformer-gebaseerde modellen die zijn getraind om Bayesiaanse posterior voorspellende verdelingen (PPD's) te benaderen over een brede prior van datagenererende processen. Ze werken via in-context learning (ICL), vereisen geen parameterupdates en geen afstelling van hyperparameters. Er bestaat echter een kritieke kloof: PFN's geven PPD's uit (onzekerheid over ruisachtige toekomstige beloningen), terwijl TS onzekerheid vereist over de latente gemiddelde beloningsfunctie. Rechtstreeks bemonsteren uit de PPD komt niet overeen met bemonsteren uit de posterior van de gemiddelde functie, wat leidt tot suboptimale exploratie.

Methodologie: PFN-TS

De auteurs stellen PFN-TS voor, een Thompson Sampling-algoritme dat deze kloof overbrugt door PFN-posterior voorspellingen om te zetten in steekproeven van de latente gemiddelde beloningsfunctie. De methodologie bestaat uit drie kerncomponenten:

1. Gesubsampleerde Voorspellende Centrale Limietstelling (SubCLT)

Om de posteriorverdeling van de latente mean $f_0(x)$ te herstellen uit de voorspellende reeks van de PFN, maken de auteurs gebruik van een voorspellende Centrale Limietstelling (CLT).

• Theoretische Basis: Onder specifieke aannames (asymptotische variantie, quasi-martingaalcondities en begrensde momenten) convergeert de staart van de reeks van voorspellende gemiddelden naar een Gaussische verdeling gecentreerd op de latente mean.
• Efficiëntie-innovatie: Traditionele benaderingen voor het schatten van de posteriorvariantie vereisen het berekenen van het voorspellende gemiddelde over alle $n$ voorvoegsels van de dataset, wat computergewijs onhaalbaar is voor online bandieten ($O(n)$ forward passes). PFN-TS introduceert een gesubsampleerde schatter die de variantie berekent met slechts $O(\log n)$ geometrisch gespreide voorvoegsels ($t_0, t_1, \dots, t_J$).
• Variantieschatting: De variantie wordt geschat met behulp van bloktoenames $D_j = m_{t_j}(x) - m_{t_{j-1}}(x)$ die harmonisch worden gewogen ($w_j$). De auteurs bewijzen dat deze gesubsampleerde schatter consistent is ($\hat{V}_{s_n} \xrightarrow{p} V(x)$) en voldoet aan de CLT, wat een hanteerbare Gaussische benadering $N(m_{s_n}(x), \hat{V}_{s_n}(x)/s_n)$ mogelijk maakt voor Thompson sampling.

2. Caching en Computeroptimalisatie

Om de kosten per ronde verder te verlagen, exploiteert PFN-TS de architectuur van TabICL (de specifieke PFN die wordt gebruikt):

• Hergebruik van KV-Cache: TabICL cacheert key-value-attentie-matrices voor een vaste trainingsset. PFN-TS hergebruikt deze gecachete representaties over ronden heen.
• Verversingspunten: Het algoritme voert alleen nieuwe forward passes uit bij de geometrische "verversingspunten" ($t_j$) die zijn gedefinieerd door het SubCLT-rooster. Tussen verversingspunten gebruikt het de snapshot-Gaussische benadering die is afgeleid van de laatste gecachete staat. Dit verlaagt de complexiteit van $O(n)$ naar $O(\log n)$ forward passes per arm per ronde.

3. Adaptieve Encoderingsstrategie

Het artikel behandelt de ontwerpkies van hoe armidentiteit in de invoer wordt weergegeven:

• Disjuncte Encoderings: Onderhoudt onafhankelijke modellen per arm.
• Gecombineerde Encoderings: Voegt armidentiteit toe als een one-hot vector aan de context, waardoor informatie-uitwisseling tussen armen mogelijk is.
• Adaptieve Selectie: Omdat geen van beide encoderings universeel domineert, voert PFN-TS beide parallel uit tijdens een "dual-encoding"-fase. Het selecteert de actieve encodering op basis van de Continuous Ranked Probability Score (CRPS), een strikt proper scorende regel die kalibratie meet. De encodering met de lagere cumulatieve CRPS wordt behouden, en de uitdager wordt verworpen na een vooraf bepaalde schakeltijd.

Belangrijkste Bijdragen

1. Algoritmische Brug: PFN-TS is de eerste methode die PFN's (die PPD's uitvoeren) succesvol aanpast voor Thompson Sampling door een consistente schatter voor de posteriorvariantie van de latente mean af te leiden via een gesubsampleerde CLT.
2. Theoretische Waarborgen:
   • Consistentie: Bewijst de consistentie van de gesubsampleerde variantieschatter onder milde aannames.
   • Regret-grens: Leidt een Bayesiaanse regret-grens af voor PFN-TS. De grens decomposeert in de regret van exacte Thompson Sampling onder de prior van de PFN plus een foutterm die afhankelijk is van de benaderingskwaliteit van de PFN en het subsampling-proces.
3. Efficiëntie: Laat zien dat $O(\log n)$ forward passes voldoende zijn voor consistente variantieschatting, waardoor PFN-gebaseerde bandieten haalbaar worden voor online implementatie.
4. Empirische Prestaties:
   • Synthetische Benchmarks: PFN-TS behaalt de beste gemiddelde rangorde over niet-lineaire synthetische taken (Friedman-varianten) en blijft concurrerend op lineaire taken.
   • OpenML Benchmarks: Presteert beter dan baselines (LinTS, NeuralTS, BFTS, XGBoostTS) op zes van acht classificatie-naar-bandiet datasets.
   • Real-world Toepassing: In een offline evaluatie van de Drink Less mobiele gezondheidstrial behaalt PFN-TS de hoogste geschatte beleidswaarde (SNIPS) op het finale horizon, en presteert beter dan BFTS en andere baselines.

Betekenis en Beweringen

Het artikel beweert dat PFN-TS aantoont dat tabulaire in-context learning kan dienen als een effectief beloningsmodel voor sequentiële besluitvorming zodra efficiënte onzekerheidsextractie en adaptieve encodering zijn geïmplementeerd.

• Modelflexibiliteit: In tegenstelling tot traditionele modellen vereist PFN-TS geen afstelling van hyperparameters en past het zich automatisch aan aan de datastructuur (sparsiteit, gladheid, niet-lineariteit) die inherent is aan de brede prior van de PFN.
• Praktische Haalbaarheid: Door de computereengte van onzekerheidsschatting te reduceren van lineair naar logaritmisch in de datasetgrootte, maakt de methode de implementatie van foundation-modellen in online bandietomgevingen praktisch.
• Robuustheid: De methode blijkt robuust te zijn over diverse datagenererende processen, en presteert goed op zowel synthetische niet-lineaire taken als real-world mobiele gezondheidsdata.

De auteurs blijven bescheiden wat betreft beperkingen, en merken op dat de runtime nog steeds een beperking is door herhaalde modelbeoordelingen, en dat kalibratie bij eindige steekproeven slecht kan zijn wanneer armgeschiedenissen kort of zwak informatief zijn. Zij suggereren toekomstig werk op het gebied van geregulariseerde variantieschatting en scherpere regret-grenzen voor de specifieke TabPFN/TabICL-priors.