📊 statistics

Generator-Mediated Bandits: Thompson Sampling for GenAI-Powered Adaptive Interventions

Dit artikel introduceert Generator-Mediated Bandits with Thompson Sampling (GAMBITTS), een nieuw algoritme dat standaard bandit-methoden voor door GenAI aangedreven adaptieve interventies verbetert door de splitsing tussen actie-selectie en stochastische behandelinggeneratie expliciet te modelleren om beleersleren te versnellen en sterkere regret-bounds te bereiken.

Oorspronkelijke auteurs: Marc Brooks, Gabriel Durham, Kihyuk Hong, Ambuj Tewari

Gepubliceerd 2026-06-05

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Marc Brooks, Gabriel Durham, Kihyuk Hong, Ambuj Tewari

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een manager bent die probeert een team van werknemers tevreden en productief te houden. Je hebt een grote, krachtige AI-assistent (zoals een zeer creatieve maar onvoorspelbare robot) die gepersonaliseerde motiverende berichten voor elke werknemer kan schrijven.

In de oude manier van werken zou je een bericht kiezen uit een vaste lijst met vooraf geschreven opties (zoals "Goed gedaan!" of "Ga zo door!"). Je stuurt er een, kijkt hoe de werknemer reageert, en kiest dan het volgende. Dit is als een standaard "Bandit"-probleem in de informatica: je probeert verschillende opties uit om te zien welke het beste resultaat oplevert.

Maar in deze nieuwe wereld van Generatieve AI werkt het anders. Je kiest niet een specifiek bericht. In plaats daarvan geef je de AI een prompt (een vraag of een opdracht), en de AI genereert ter plekke een uniek bericht. Het probleem is dat de AI een beetje onvoorspelbaar is. Zelfs als je exact dezelfde prompt twee keer geeft, kan de AI twee licht verschillende berichten schrijven.

De auteurs van dit artikel noemen dit een "Generator-Mediated Bandit." Hier is de uitsplitsing van hun idee met behulp van eenvoudige analogieën:

Het Kernprobleem: De "Vertaler"-kloof

Denk aan dit proces als volgt:

Jij (de Agent): Je kiest een prompt (bijv. "Schrijf een bemoedigend bericht over hardlopen").
De AI (de Generator): Deze neemt jouw prompt en spuugt een specifiek tekstbericht uit. Dit is de Behandeling (Treatment). Omdat de AI stochastisch (toevallig) is, kan dezelfde prompt tot veel verschillende berichten leiden.
De Werknemer (de Omgeving): Deze leest het bericht en reageert (bijv. ze gaan hardlopen of doen dat niet). Deze reactie is de Beloning (Reward).

De Haken en ogen: Jij hebt geen controle over het exacte bericht dat de werknemer leest; je controleert alleen de prompt. Standaard computeralgoritmen zijn hier slecht in omdat ze ervan uitgaan dat als je "Optie A" kiest, je altijd "Optie A" krijgt. Maar hier kan het zijn dat het kiezen van "Optie A" je 50% van de tijd een geweldig bericht oplevert en de andere 50% een saai bericht. Als je de daadwerkelijke tekst die de AI schreef negeert, verspil je waardevolle aanwijzingen over wat wel werkt.

De Oplossing: GAMBITTS

De auteurs hebben een nieuwe methode ontwikkeld genaamd GAMBITTS (Generator-Mediated Bandit – Thompson Sampling). Denk aan dit als een tweetraps detectivegame:

Stap 1: Het "Berichtvertaler"-model. Het systeem leert te voorspellen wat voor soort berichten de AI zal genereren voor een bepaalde prompt. Het realiseert zich: "Oh, wanneer ik om 'aanmoediging' vraag, schrijft de AI meestal korte, krachtige zinnen, maar soms schrijft hij lange, bloemrijke zinnen."
Stap 2: Het "Belonings"-model. Het systeem leert welke soorten berichten werknemers er daadwerkelijk toe aanzetten om te gaan hardlopen.

De Magische Truk: In plaats van alleen te raden welke prompt het beste is, simuleert GAMBITTS het hele proces. Het vraelt: "Als ik deze prompt stuur, welke berichten zal de AI waarschijnlijk genereren? En op basis van wat we hebben geleerd, welke van die berichten leiden meestal tot een tevreden werknemer?"

Door naar de daadwerkelijke tekst te kijken die de AI heeft gegenereerd (de "Behandeling"), leert het systeem veel sneller dan wanneer het alleen naar het eindresultaat zou kijken. Het is als een chef die de saus proeft terwijl hij kookt om de kruiden aan te passen, in plaats van te wachten tot de klant de maaltijd eet om te zien of deze goed was.

Twee Manieren om het Spel te Spelen

Het paper beschrijft twee versies van deze methode:

De "Volledig Online" Chef (foGAMBITTS): Deze versie leert alles terwijl hij met echte werknemers communiceert. Hij observeert de AI die berichten genereert en de reacties van de werknemers, en werkt zijn brein direct bij. Het is flexibel, maar het duurt langer om te leren omdat het tegelijkertijd moet uitzoeken hoe de AI schrijft én hoe mensen reageren.
De "Gedeeltelijk Online" Chef (poGAMBITTS): Deze versie is slimmer als je een extra keuken tot je beschikking hebt. Voordat de chef met echte werknemers praat, kan hij oefenen in een simulatie. Hij kan de AI vragen om 1.000 berichten te genereren voor een specifieke prompt, alleen maar om te zien wat hij gewoonlijk schrijft. Zodra hij precies weet hoe de AI zich gedraagt, hoeft hij alleen nog maar te leren hoe werknemers reageren. Dit is veel sneller en efficiënter.

Waarom het Er Toe Doet (Volgens het Paper)

De auteurs hebben computer-simulaties uitgevoerd (met een fictief scenario over medische stagiairs en mentale gezondheid) om hun idee te testen. Ze kwamen tot de volgende conclusies:

Snelheid: GAMBITTS leerde de beste strategie veel sneller dan standaardmethoden.
Efficiëntie: Het verspilde geen tijd aan het proberen van slechte prompts omdat het de "tussenstap" (de berichtgeneratie door de AI) begreep.
Robuustheid: Zelfs als het systeem de tekst van de AI niet perfect kon samenvatten, presteerde het nog steeds goed, vooral wanneer de "beloning" (de reactie van de werknemer) ruis bevat of moeilijk te voorspellen was.

De Kernboodschap

Het paper betoogt dat wanneer je Generatieve AI gebruikt om beslissingen te nemen, je de AI niet kunt behandelen als een simpele knop. Je moet rekening houden met het feit dat de AI een creatieve, willekeurige generator is in het midden van het proces. Door een model te bouwen dat zowel begrijpt hoe de AI schrijft als hoe mensen reageren, kun je betere en snellere beslissingen nemen.

Wat het paper NIET beweert:

Het beweert niet dat dit momenteel in ziekenhuizen of scholen wordt gebruikt.
Het beweert niet dat dit depressie zal genezen of mentale gezondheidsresultaten in de echte wereld zal verbeteren.
Het is strikt een theoretische en op simulaties gebaseerde studie die aantoont dat deze specifieke wiskundige benadering beter werkt dan bestaande methoden in een gecontroleerde, door computers gegenereerde omgeving.

Technische Samenvatting: Generator-Mediated Bandits (GAMBITTS)

Probleemformulering

Dit artikel behandelt een specifieke klasse van sequentiële beslissingsproblemen waarbij de actie van de agent niet direct de beloning van de omgeving bepaalt. In plaats daarvan selecteert de agent een actie (bijv. een query of prompt), die een stochastische generator (zoals een Large Language Model) activeert om een behandeling (bijv. een tekstuele respons) te produceren. De omgeving reageert vervolgens op deze gegenereerde behandeling, wat een beloning oplevert.

De auteurs formaliseren dit als het Generator-Mediated Bandit (GAMBIT) probleem. In dit kader:

Splitsing Actie/Behandeling: De agent kiest een actie $A_t$ (query), maar de omgeving ontvangt een stochastische behandeling $G_t$ (gegenereerde output).
Hoog-dimensionaliteit: De behandelingsruimte $G$ (bijv. natuurlijke taaltekst) is hoog-dimensionaal, wat directe modellering onuitvoerbaar maakt.
Latente Embedding: Het effect van de behandeling op de beloning $Y_t$ vindt naar verhouding plaats via een lager-dimensionale voldoende embedding $Z^*$ . Omdat $Z^*$ niet geobserveerd kan worden, moet de agent vertrouwen op een werkende embedding $Z = h(G)$ .
Stochastische Mediatie: In tegenstelling tot standaard contextuele bandits, waarbij acties direct naar beloningen mappen, beïnvloedt de actie hier de beloning alleen indirect via de stochastische behandelingsdistributie. Standaard bandit-algoritmen slagen er niet in de structuur van de behandelingsdistributie te exploiteren, wat leidt tot inefficiënt leren.

Methodologie: GAMBITTS

De auteurs stellen Generator-Mediated Bandit–Thompson Sampling (GAMBITTS) voor, een framework dat expliciet zowel het proces van behandelingsgeneratie als het proces van beloningsgeneratie modelleert. De aanpak maakt gebruik van een twee-fasen sampling-procedure om onzekerheid over het interventieproces te vangen.

Kerncomponenten

Het framework modelleert twee conditionele distributies:

Behandelingsmodel: $Z_t \sim f_1(z; A_t, X_t, \theta_1)$ , de distributie van de behandelingsembedding gegeven de actie en context.
Beloningsmodel: $E[Y_t | Z_t, X_t] = m_2(Z_t, X_t; \theta_2)$ , de verwachte beloning gegeven de behandelingsembedding en context.

Algoritmische Varianten

Het artikel introduceert twee primaire instanties van GAMBITTS:

Fully Online GAMBITTS (foGAMBITTS):
- Update zowel het behandelingsmodel ( $\theta_1$ ) als het beloningsmodel ( $\theta_2$ ) sequentieel met behulp van geobserveerde data.
- Geschikt wanneer de agent geen toegang heeft tot een simulator of offline data voor de generator.
- Selecteert acties door te integreren over de posterior distributies van beide parameters: $E[Y | a, x] = \int m_2(z, x; \theta_2) f_1(z; a, x, \theta_1) dz$ .
Partially Online GAMBITTS (poGAMBITTS):
- Maakt gebruik van toegang tot een generator-simulator of offline data om de behandelingsdistributie ( $f_1$ ) onafhankelijk van gebruikersinteracties te leren.
- Het behandelingsmodel wordt vooraf getraind (of empirisch geschat) en is vaststaand, terwijl alleen het beloningsmodel ( $\theta_2$ ) online wordt bijgewerkt.
- Deze decompositie maakt meer efficiënte online adaptatie mogelijk door het leren van de complexe behandelingsdistributie te verschuiven.

Ensemble-gebaseerde Extensies

Om niet-lineaire beloningsrelaties te hanteren en restrictieve parametrische aannames te vermijden, breiden de auteurs beide varianten uit met ensemble sampling (volgens Lu en Van Roy, 2017). Deze varianten (ens-foGAMBITTS en ens-poGAMBITTS) onderhouden een ensemble van beloningsmodellen om de posterior te benaderen, wat het gebruik van flexibele modellen zoals Multilayer Perceptrons (MLP's) mogelijk maakt.

Belangrijkste Bijdragen

Framework Definitie: De formalisering van het GAMBIT-probleem, waarbij onderscheid wordt gemaakt van standaard bandits en causale bandits door te focussen op de specifieke mediatiestructuur waarbij acties stochastische, hoog-dimensionale behandelingen opleveren.
Algoritmische Instanties: De ontwikkeling van GAMBITTS-algoritmen (fully online, partially online en ensemble-gebaseerd) die de splitsing tussen behandeling en beloning expliciet modelleren.
Theoretische Garanties:
- Afleiding van Bayesiaanse regret-bounds voor zowel foGAMBITTS als poGAMBITTS.
- Decompositie van bronnen van regret in behandelingsonzekerheid en beloningsonzekerheid.
- Bewijs dat GAMBITTS scherpere regret-bounds bereikt dan standaard Thompson sampling wanneer de dimensie van de behandelingsembedding $d$ aanzienlijk kleiner is dan het product van de context- en actieruimte-groottes ( $d \ll \sqrt{CK}$ ).
- Demonstratie dat poGAMBITTS met lineaire beloningen een regret-schaal bereikt van $\tilde{O}(\sigma_2 d \sqrt{T})$ , onafhankelijk van het aantal armen $K$ in de lineaire setting, mits het behandelingsmodel voldoende accuraat is.
Empirische Validatie: Simulatiestudies die aantonen dat GAMBITTS standaard contextuele en niet-contextuele Thompson sampling overtreft, vooral in settings met grote actieruimtes en wanneer geobserveerde behandelingen worden gebruikt om verwachte beloningen te schatten.

Resultaten

De auteurs evalueerden GAMBITTS middels een simulatiestudie gebaseerd op de 2023 Intern Health Study (IHS), waarbij een agent prompts selecteert voor een LLM om mentale gezondheidssteunberichten te genereren.

Prestaties: GAMBITTS behaalde consistent lagere cumulatieve regret vergeleken met standaard Thompson sampling (zowel contextueel als niet-contextueel).
Schaalbaarheid: In experimenten waarbij het aantal actie-armen ( $K$ ) varieerde, bleef de regret van het lineaire poGAMBITTS-algoritme stabiel, terwijl standaard methoden verslechterden naarmate $K$ toenam.
Gevoeligheid voor Misspecificatie: De studie benadrukte dat de prestaties van GAMBITTS gevoelig zijn voor de kwaliteit van de werkende behandelingsembedding ( $Z$ ). Wanneer de embedding slecht gecorreleerd is met de werkelijke beloningsrelevante dimensie, degradeert de prestatie en kan deze onder die van standaard methoden zakken. Echter, flexibele beloningsmodellen (ensemble-gebaseerd) hielpen deze problemen te mitigeren.
Impact van Ruis: Het voordeel van GAMBITTS ten opzien van standaard methoden nam toe bij hogere beloningsruis ( $\sigma_2$ ), aangezien het vermogen om over armen te generaliseren via het behandelingsmodel kritischer wordt.

Betekenis en Claims

De auteurs beweren dat GAMBITTS een noodzakelijke theoretische en algoritmische brug vormt tussen klassiek bandit-leren en moderne generatieve AI-toepassingen. Door de stochastische aard van generator-gemedieerde interventies expliciet te modelleren, stelt het framework agenten in staat om:

Behandelingsinformatie te Benutten: Geobserveerde behandelingen (bijv. de gegenereerde tekst) te gebruiken om beleidsleren te versnellen, in plaats van deze informatie als ruis te verwerpen.
Te Generaliseren over Acties: De gedeelde structuur in de behandelingsruimte te exploiteren om efficiënt te leren, zelfs wanneer het aantal mogelijke prompts (acties) groot is.
Adaptieve mHealth te Ondersteunen: Een levensvatbaar framework te bieden voor Just-in-Time Adaptive Interventions (pJTAIs) die LLM's gebruiken voor real-time contentgeneratie, een setting waar vaste interventielibraries ontoereikend zijn.

De auteurs stellen dat hoewel het framework een vaste generator en specifieke embedding-structuren veronderstelt, het nieuwe wegen opent voor personalisatie in domeinen zoals marketing, onderwijs en gezondheidszorg waar behandelingen dynamisch worden gegenereerd in plaats van uit een statische bibliotheek worden gekozen. Zij merken op dat toekomstig werk online embedding-leren, generator fine-tuning en veiligheidsrestricties kan adresseren, maar dat het huidige werk de fundamentele regret-bounds en empirische effectiviteit van de voorgestelde aanpak vaststelt.