Technische Samenvatting: Amortisering van Bayesiaans Experimenteel Ontwerp voor Sequentiële Informatieverzameling in LLM's

Probleemstelling

Large Language Models (LLM's) bezitten uitgebreide wereldkennis en redeneervermogen, maar worstelen vaak met effectieve informatieverzameling in sequentiële, multi-turn besluitvormingsomgevingen. Hoewel LLM's kunnen redeneren, falen ze vaak in het herkennen wanneer aanvullende informatie vereist is of in het efficiënt verwerven van die informatie tijdens interacties. Deze beperking is cruciaal in domeinen zoals de gezondheidszorg en wetenschappelijk experimenteel ontwerp, waar het behouden van coherente overtuigingen over uitgebreide interacties heen essentieel is.

Bestaande benaderingen om de informatieverzameling van LLM's te verbeteren vallen uiteen in twee categorieën:

1. Optimalisatie tijdens de inferentie: Methoden zoals Bayesiaans Experimenteel Ontwerp (BED) maximaliseren expliciet de Verwachte Informatiewinst (EIG) tijdens de generatie. Hoewel deze methoden principieel zijn, lijden ze onder hoge computationele kosten door herhaalde sampling en het onderhouden van overtuigingen (beliefs), zijn ze vaak myopisch (kortzichtig) en vereisen ze taalspecifieke afstemming.
2. Optimalisatie in de gewichtsruimte: Fine-tuning methoden die modelparameters aanpassen. Hoewel deze snelle inferentie bieden, hebben eerdere benaderingen moeite gehad met het generaliseren buiten specifieke trainingstaken of vertrouwden ze op externe retrievers om de status van de overtuiging te behouden, wat de zelfgeconteneerde toepasbaarheid beperkt.

De kernuitdaging is het ontwikkelen van een methode die de computationele kosten van Bayesiaans Experimenteel Ontwerp amorteert in de gewichten van het model, wat efficiënte, generaliseerbare sequentiële informatieverzameling mogelijk maakt zonder de zware overhead van expliciete BED tijdens de inferentie.

Methodologie: Amortisering van Sequentiële Informatieverzameling (ASIG)

De auteurs introduceren ASIG, een fine-tuning framework dat Bayesiaans Experimenteel Ontwerp (BED) direct in de policy van een LLM implementeert. De aanpak behandelt de LLM als een sequentiële BED-agent die iteratief experimenten selecteert (bijv. vragen) om de onzekerheid over een latente doelvariabele te verminderen.

Kerncomponenten

1. Trainingsomgeving: De methode wordt geïnstantieerd met het 20 Vragen spel. Hierbij stelt de LLM (de Proposer) vragen (experimentele ontwerpen, $\xi_t$) aan een Oracle LLM (met toegang tot de verborgen doelvariabele $\hat{\theta}$) om de doelvariabele binnen een budget van 20 beurten te identificeren. De binaire aard van de uitkomsten ("Ja"/"Nee") maakt efficiënte EIG-schatting mogelijk.
2. Beloningssignaal: De training maakt gebruik van een multi-component beloningssignaal binnen een Group Relative Policy Optimisation (GRPO) framework:
   • Verwachte Informatiewinst (EIG): Berekend met een Rao-Blackwellised estimator. De Proposer LLM samplet een set plausibele doelvariabele-overtuigingen ($\Theta_t$) die consistent zijn met de historie, berekent de likelihoods $p(y|\theta, \xi)$ voor elk van hen, en schat de reductie in entropie. Dit zorgt voor dichte, turn-level feedback over de kwaliteit van de vragen.
   • Uitkomstbeloning: Een ijle (sparse) beloning gebaseerd op taaksucces (het correct raden van de doelvariabele) en straffen voor niet-terminale staten. Dit stuurt doelgericht gedrag aan.
3. Multi-Turn GRPO Uitbreiding: De auteurs breiden standaard GRPO uit om meerdere beloningsstromen met verschillende temporele horizonten te kunnen afhandelen.
   • De totale beloning $R_t$ voor een rollout combineert de EIG-beloning (gewogen met $\alpha$, horizon $E=1$) en de uitkomstbeloning (gewogen met $\beta$, horizon $O=3$).
   • Deze structuur stimuleert het maximaliseren van informatieverzameling in de onmiddellijke beurt, terwijl tegelijkertijd wordt geoptimaliseerd voor de waarschijnlijkheid van een correcte gok binnen een korte horizon (3 beurten).
4. Leercurriculum: Om te voorkomen dat het model specifieke gokken vermijdt, wordt een curriculum toegepast waarbij het model eerst wordt getraind zonder de EIG-beloning ($\alpha=0$) om hypothese-zoekend gedrag te stimuleren, gevolgd door de introductie van het EIG-signaal.

Belangrijkste Bijdragen

1. ASIG Framework: Een nieuwe fine-tuning methode die BED amorteert in LLM-gewichten, wat sequentiële informatieverzameling mogelijk maakt zonder extra optimalisatie tijdens de inferentie.
2. Uitgebreide GRPO: Een aanpassing van GRPO om gezamenlijke optimalisatie van turn-level EIG en multi-horizon taaksucces te ondersteunen, waarbij onderscheid wordt gemaakt tussen beloningsstromen met verschillende temporele reikwijdten.
3. Prestaties en Efficiëntie: Demonstratie dat ASIG de prestaties op de 20 Vragen taak aanzienlijk verbetert (verdubbeling van de succesratio voor 7B-modellen) en de inferentiekosten met meer dan 25× vermindert vergeleken met concurrerende inferentie-tijd baselines (BED-LLM).
4. Out-of-Distribution (OOD) Generalisatie: Bewijs dat de geleerde informatiezoekende strategieën overdragen naar de MediQ medische diagnose benchmark op de 7B-schaal, zonder in-domain fine-tuning, wat de klinische redeneernauwkeurigheid verbetert en overmoed vermindert.

Resultaten

20 Vragen Taak

• Succesratio: Op het 7B model (Qwen2.5-7B-Instruct) verdubbelt ASIG de succesratio van de baseline meer dan en presteert het beter dan BED-LLM in de categorie "Dieren". Op het 14B model verbetert het de baseline met respectievelijk 4,2 en 1,8 procentpunt op "Dieren" en "Planten".
• Gedragsverandering: ASIG-getrainde modellen vertonen een hogere frequentie van "hypothese-zoekende" vragen (specifieke gokken) in een eerder stadium van de interactie vergeleken met baselines, met name in het 7B model.
• Efficiëntie: ASIG komt overeen met de inferentietijd van het basis-LLM, terwijl BED-LLM 25× tot 36× langzamer is vanwege de noodzaak voor herhaalde sampling van overtuigingen en EIG-maximalisatie bij elke beurt.

Generalisatie naar MediQ

• Toegepast op de MediQ benchmark (medische diagnose), verbeterde het 7B ASIG-model de nauwkeurigheid met 0,9% en de vrijwillige nauwkeurigheid met 1,7%, terwijl het de overmoed-ratio van 36,1% naar 33,4% verminderde.
• Het 14B model liet gemengde resultaten zien, met minimale veranderingen in nauwkeurigheid en een lichte daling in vrijwillige nauwkeurigheid, wat suggereert dat grotere modellen met sterkere priors minder behoefte hebben aan gedragsaanpassing via fine-tuning.

Behoud van Capaciteiten

• Evaluatie op standaard benchmarks (ARC-Challenge, HellaSwag, MMLU) bevestigde dat de gefinetunede modellen hun algemene taalvaardigheden behielden en nagenoeg identieke scores behaalden als de basismodellen.

Betekenis en Claims

Het artikel claimt dat het amorteren van Bayesiaans Experimenteel Ontwerp in LLM-policies een praktische en schaalbare aanpak biedt voor informatieverwerving tijdens de testtijd. Door de computationele last van informatieverzameling te verschuiven van optimalisatie tijdens de inferentie naar de modelgewichten, bereikt ASIG:

1. Computationele Efficiëntie: Een drastische vermindering van de inferentielatentie en -kosten, waardoor sequentiële informatieverzameling haalbaar wordt voor real-world applicaties waar latentie een beperkende factor is.
2. Generaliseerbaarheid: Het vermogen om geleerde informatiezoekende strategieën over te dragen naar onbekende domeinen (bijv. van 20 Vragen naar medische diagnose) zonder hertraining of taalspecifieke optimalisatie tijdens de inferentie.
3. Robuustheid: De methode verbetert de prestaties over verschillende modelmaten en behoudt algemene taalvaardigheden, waarmee het de trade-off tussen gespecialiseerde informatieverzameling en algemeen redeneren aanpakt.

De auteurs positioneren ASIG als een stap richting het effectiever maken van LLM's als agenten in sequentiële besluitvormingsomgevingen, waarbij ze verder gaan dan het "lost in conversation" fenomeen door modellen uit te rusten met geleerde strategieën voor efficiënte belief-updating en informatieverwerving.