Technische Samenvatting: POETS (Policy Ensembles for Thompson Sampling)

Probleemstelling

Het in evenwicht brengen van exploratie en exploitatie blijft een kernuitdaging in sequentiële besluitvorming en black-box optimalisatie, vooral bij toepassing op Large Language Models (LLMs). Effectieve exploratie vereist een gestructureerde kwantificering van onzekerheid. Hoewel het ensemble van onafhankelijk getrainde modellen een bewezen, modelonafhankelijke methode is voor het schatten van epistemische onzekerheid, is het rechtstreeks toepassen van naïef ensemble-leren op LLMs computationeel onhaalbaar vanwege geheugen- en rekenbeperkingen. Bovendien vertrouwen bestaande exploratiemethoden voor LLMs vaak op expliciete beloningsmodellen (die geneste optimalisatiecomplexiteiten introduceren) of zijn ze sterk afhankelijk van de instructie-opvolgingscapaciteiten van het model.

Methodologie

Het artikel introduceert POETS (Policy Ensembles for Thompson Sampling), een raamwerk dat onzekerheidskwantificering en beleidsoptimalisatie met elkaar verbindt zonder een expliciet probabilistisch beloningsmodel te vereisen.

Kerninzicht: Impliciete Beloningscodering

POETS is gebaseerd op de dualiteit tussen beloningsfuncties en optimale beleidslijnen onder geregulariseerde doelstellingen. Specifiek coderen beleidslijnen die zijn getraind met Kullback-Leibler (KL)-regularisatie impliciet een onderliggende beloningsfunctie. In plaats van een beloningsmodel te leren en vervolgens een beleidslijn daarop aan te passen (een tweestapsproces), matcht POETS direct de impliciete beloningsfuncties die worden gecodeerd door een beleidsensemble met waargenomen online data.

Het Algorithm

1. Beleidsensemble: POETS onderhoudt een ensemble van $n$ onafhankelijke beleidslijnen, $\Pi = \{\pi_1, \dots, \pi_n\}$.
2. Poisson-bootstrapping: Om epistemische onzekerheid te vangen, worden de ensembleleden gediversifieerd via Poisson-bootstrapping. Voor elke binnenkomende batch data krijgt elk ensemblelid een onafhankelijk geheel getal toegewezen, getrokken uit een Poisson(1)-verdeling. Hierdoor kan het ensemble een benaderende Bayesiaanse posterior over beloningsfuncties leren zonder een statische dataset te vereisen.
3. Verliesfunctie: De methode optimaliseert een verliesfunctie die de impliciete beloning van een enkele beleidslijn aligneert met de ware beloning. Een theoretische afleiding toont aan dat het optimaliseren van dit verlies wiskundig equivalent is aan een beleidsgradiënt-update (specifiek, een variant van GRPO) geschaald met de Poisson-gewichten.
4. Thompson Sampling: Door een impliciet beloningsensemble aan ware beloningen te fiten met behulp van onafhankelijke bootstraps, leert POETS een posterior over beloningsfuncties. Het uitvoeren van KL-geregulariseerd Thompson sampling wordt bereikt door eenvoudigweg uniform een beleidslijn te stalen uit het ensemble $\Pi$ en overeenkomstig te handelen.

Efficiënte Architectuur: "Trunk & Branch"

Om de onhaalbare kosten van het onderhouden van $n$ volledige LLM-kopieën te overwinnen, maakt POETS gebruik van een parameter-efficiënte architectuur:

• Gedeelde Trunk: Een vooringestelde backbone (het grootste deel van de gewichten) wordt gedeeld door alle ensembleleden en slechts één keer geëvalueerd per forward/backward-pass.
• Onafhankelijke Branches: De ensemble-diversiteit wordt volledig ingekapseld in onafhankelijke, low-rank adaptation (LoRA)-modules die fungeren als de laatste readout-lagen.
• Efficiëntie: Dit ontwerp zorgt ervoor dat het genereren van antwoorden en het accumuleren van gradiënten voor $n$ beleidslijnen vrijwel dezelfde wandkloktijd kost als voor een enkele beleidslijn, waarbij de geheugenhoeveelheid alleen schaalt met de grootte van de LoRA-branches.

Belangrijkste Bijdragen

1. Nieuw Raamwerk: Introductie van POETS, dat epistemische onzekerheid vastlegt via beleidsensembles en impliciet KL-geregulariseerd Thompson sampling uitvoert zonder een expliciet beloningsmodel.
2. Theoretische Garanties: Bewijs dat POETS de sterke cumulatieve zachte regret-grenzen van $O(\sqrt{T\gamma_T})$ erft die geassocieerd zijn met KL-geregulariseerd Thompson sampling, waarbij $\gamma_T$ de maximale informatiewinst is.
3. Computationele Efficiëntie: Aantonen dat een "Trunk & Branch" LoRA-architectuur diep ensemble-leren mogelijk maakt met minimale overhead (bijvoorbeeld ~7,7% toename in runtime voor $n=16$ op een H200 GPU).
4. Empirische Prestaties: State-of-the-art sample-efficiëntie over diverse combinatorische black-box optimalisatiedomeinen (FAQ-verfijning, proteïnezoektocht, ontwerp van quantumcircuits) en verbeterde robuustheid in versterkingsleersituaties, met name in off-policy scenario's met ervaringherhaling.

Experimentele Resultaten

De auteurs hebben POETS geëvalueerd tegenover baselines zoals GRPO, TOSFIT (dat een expliciet beloningsmodel gebruikt), FIBO (contextueel Thompson sampling) en EVOSEARCH (evolutionaire zoektocht).

• Black-Box Optimalisatie: POETS behaalde state-of-the-art sample-efficiëntie bij proteïnezoektocht, ontwerp van quantumcircuits en FAQ-verfijning. Opmerkelijk is dat het baselines overtrof, zelfs zonder replay-buffer, terwijl standaard GRPO faalde om diversiteit te behouden en overpastte op vroege kandidaten.
• Versterkingsleer (RL): In de AIME-datasetsetting (contextuele bandiet met verifieerbare beloningen) verbeterde POETS optimalisatietrajecten voor zowel on-policy als off-policy (ervaringherhaling) settings. Het slaagde erin de overpassingsproblemen die bij GRPO werden waargenomen bij blootstelling aan herhaalde contexten te mitigeren.
• Diversiteit: Het ensemble behield de generatiediversiteit (gemeten door Jensen-Shannon-divergentie) gedurende de training, waardoor entropie-inzakking voorkwam die gebruikelijk is bij standaard beleidsgradiëntmethoden.
• Ablatiestudies: Experimenten bevestigden dat Poisson-bootstrapping essentieel is voor diversiteit, dat kleine ensembles ($n=8$) volstaan voor hoge prestaties, en dat de "Trunk & Branch"-architectuur onzekerheid effectief vastlegt met minimale computationele kosten.

Betekenis en Claims

Het artikel beweert dat POETS een significante vooruitgang vertegenwoordigt door gestructureerde, onzekerheidsbewuste exploratie voor LLMs in wetenschappelijke ontdekking en RL mogelijk te maken zonder de computationele last van expliciete beloningsmodellering of de broosheid van instructie-opvolging in context.

• Theoretisch: Het stelt vast dat beleidsensembles met bootstrapping voldoende zijn om KL-geregulariseerd Thompson sampling te implementeren, waarbij optimale regret-grenzen worden geërfd.
• Praktisch: Het biedt een schaalbare oplossing die diep ensemble-leren haalbaar maakt voor LLMs, waardoor effectief gebruik van ervaringherhaling en robuuste exploratie in regimes met hoge onzekerheid mogelijk wordt.
• Reikwijdte: Het werk wordt gepositioneerd als een fundamentele algoritmische bijdrage voor post-training van LLMs en wetenschappelijke ontdekking, specifiek gericht op combinatorische optimalisatieproblemen waar evaluaties kostbaar zijn.

De auteurs merken op dat hoewel POETS de sample-efficiëntie en robuustheid verbetert, het geen antwoord biedt op verkeerde specificatie van beloningen, eerlijkheid of uitlijning, die verantwoordelijkheden blijven van systeemontwerpers. Er wordt voorgesteld om het raamwerk in toekomstig werk uit te breiden van contextuele bandieten naar multi-stap settings met fijnmazige credit assignment.