🤖 machine learning

Benchmarking In-context Experiential Learning Through Repeated Product Recommendations

Dit artikel introduceert BELA, een benchmark voor ervaringsgericht leren in scenario's van herhaalde productaanbevelingen met behulp van echte producten en synthetische klantpersona's, wat onthult dat hoewel huidige op LLM gebaseerde agenten kunnen adapteren binnen individuele interacties, zij moeite hebben om hun strategieën over meerdere episodes te verbeteren door het afleiden van gedeelde latente structuren.

Oorspronkelijke auteurs: Gilbert Yang, Yaqin Chen, Thomson Yen, Hongseok Namkoong

Gepubliceerd 2026-08-11

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Gilbert Yang, Yaqin Chen, Thomson Yen, Hongseok Namkoong

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die een mysterie probeert op te lossen, maar de aanwijzingen zijn verborgen in een gesprek. In de wereld van kunstmatige intelligentie is er een groot verschil tussen het oplossen van één enkele puzzel en het leren hoe je puzzels over tijd heen beter kunt oplossen. De meeste AI-tests van vandaag zijn als het geven van een enkele wiskundige opgave aan een student waarbij alle getallen al zijn uitgeschreven; het doel is alleen om nú het juiste antwoord te krijgen. Maar het echte leven is rommeliger. Het is meer als een detective die met een getuige praat, een paar vragen stelt, een antwoord krijgt, en vervolgens die ervaring moet gebruiken om het volgende interview met de volgende getuige effectiever te voeren. Dit artikel duikt in een specifieke hoek van AI-onderzoek genaamd "ervaringsgericht leren" (experiential learning). Het stelt een eenvoudige maar lastige vraag: Kan een AI slimmer worden in het achterhalen van wat mensen willen, simpelweg door herhaaldelijk met hen te praten? De onderzoekers testen of deze digitale agenten kunnen leren van hun eerdere gesprekken om in de toekomst betere detectives te worden, in plaats van alleen goed te zijn in het oplossen van één geïsoleerde zaak.

De auteurs van dit artikel, een team van de Columbia Business School en Sun Yat-sen University, besloten dit idee te testen met een scenario dat we allemaal kennen: winkelen voor producten. Ze bouwden een enorme, virtuele speeltuin genaamd BELA (Benchmark for Experiential Learning and Active Exploration). Denk aan BELA als een enorme, oneindige winkelstraat waar de AI de rol van een verkoper speelt. In deze winkelstraat moet de AI met duizenden verschillende "klanten" praten (die eigenlijk computersimulaties zijn van mensen met specifieke smaken) om te ontdekken welk product zij moeten kopen. De twist is dat de AI niet slechts één kans krijgt. De AI praat met een klant, doet een aanbeveling, krijgt feedback, en gaat vervolgens door naar een nieuwe klant. De grote test is of de AI zich herinnert wat hij heeft geleerd van de eerste klant en die kennis gebruikt om de tweede, derde en tiende klant betere vragen te stellen.

Om deze test eerlijk en grootschalig te maken, hebben de onderzoekers niet zomaar een paar nepmensen bedacht. Ze creëerden een systeem met 71.000 echte producten van Amazon en 2.000 verschillende productgroepen (zoals een groep haargels of een groep rijstgerechten). Ze koppelden deze vervolgens aan 1 miljoen verschillende klantpersoonlijkheden (gesimuleerd door andere AI's) die zeer specifieke, consistente voorkeuren en afkeurigheden hebben. Dit creëert een verbijsterende 2 miljard mogelijke combinaties van "klant + productgroep". Het is alsof je een bibliotheek hebt van elke mogelijke winkelervaring die je je kunt voorstellen, waardoor de onderzoekers kunnen zien of de AI patronen in de menigte kan herkennen.

De onderzoekers voerden hun experimenten uit met de slimste AI-modellen van dit moment, waaronder reuzen zoals GPT-5.4, Gemini-3.1 en Claude-Opus. Ze observeerden hoe deze modellen probeerden producten te verkopen over een reeks van 10 winkelbezoeken (episoden). Ze wilden twee dingen weten: Ten eerste, kon de AI leren tijdens een enkel gesprek (de juiste vervolgvragen stellen)? Ten tweede, kon de AI leren over gesprekken heen (beter worden in de baan naarmate hij meer ervaring opdoet)?

Hier is het verrassende resultaat: De AI-modellen waren eigenlijk best goed in het eerste deel. Wanneer ze met een enkele klant praatten, konden ze leren van het gesprek en tijdens de chat betere vragen stellen. Echter, ze faalden volledig bij het tweede deel. Nadat ze met negen verschillende klanten hadden gepraat, was de AI niet beter geworden in het raden van wat de tiende klant wilde dan bij de eerste klant. Het was als een verkoper die heel goed is in het uitzoeken wat één persoon leuk vindt, maar telkens wanneer er een nieuwe persoon binnenloopt, weer vanaf nul begint en alles vergeet wat hij van de vorige negen mensen heeft geleerd.

Het artikel suggereert dat deze huidige "frontier"-modellen een cruciale vaardigheid missen: ze kunnen niet terugkijken op hun eerdere ervaringen en zeggen: "Oh, ik zie een patroon; ik zou de volgende keer dit soort vragen moeten stellen." In plaats daarvan lijken ze elke nieuwe klant als een volledig nieuw mysterie te behandelen, zelfs als ze vijf minuten geleden net iemand met een zeer vergelijkbare smaak hebben ontmoet. De onderzoekers ontdekten ook dat de AI niet beter werd in het inschatten van hoe zelfverzekerd hij moest zijn; de AI bleef hetzelfde aantal vragen stellen, zelfs toen hij had moeten leren om minder vragen te stellen.

Om te bewijzen dat de taak niet simpelweg te moeilijk was, creëerden de onderzoekers een "ideaal pad". Ze begeleidden de AI handmatig door de best mogelijke vragen en lieten zien dat als de AI zijn eerdere ervaringen correct had gebruikt, hij de aanbevelingen drastisch had kunnen verbeteren en minder vragen had kunnen stellen. Dit bewees dat de informatie aanwezig was om van te leren, maar dat de huidige modellen het simpelweg niet oppikten.

Kortom, dit artikel suggereert dat hoewel onze huidige AI erg goed wordt in het voeren van een enkel, slim gesprek, het nog niet heeft begrepen hoe het een "lerende machine" kan zijn die slimmer wordt gedurende haar gehele carrière. Het is een beetje als een student die een toets kan halen als hij de avond ervoor heeft gestudeerd, maar alles vergeet zodra de bel gaat, en niet in staat is om te gebruiken wat hij op maandag heeft geleerd om hem op dinsdag te helpen. De auteurs concluderen dat voor AI om echt de rommelige, veranderlijke echte wereld te kunnen hanteren, het de vaardigheid moet ontwikkelen om te leren van ervaringen over meerdere episoden heen—een vaardigheid waar de meest geavanceerde modellen van vandaag nog steeds moeite mee hebben.

Technische Samenvatting: Het benchmarken van in-context ervaringsgericht leren door herhaalde productaanbevelingen

Probleemstelling

Huidige evaluaties van Large Language Model (LLM) agenten negeren grotendeels de capaciteit van ervaringsgericht leren (experiential learning) over meerdere episodes heen. Hoewel recente benchmarks hebben gefocust op het oplossen van onzekerheid binnen een enkele taak (episode), meten ze niet het vermogen van een agent om zijn strategie te verfijnen door gedeelde latente structuren te af te leiden uit vergelijkbare, opeenvolgende taken.

In realistische scenario's, zoals een verkoopagent die producten aanbeveelt aan een stroom onbekende klanten, zou een intelligente agent niet alleen onzekerheid binnen een specifieke interactie moeten oplossen, maar ook zijn informatievergarend strategie moeten aanpassen op basis van de distributie van voorkeuren die in eerdere interacties zijn waargenomen. Zonder deze capaciteit kunnen agenten hun vragenstelling niet afstemmen op de specifieke taakdistributie die tijdens de testfase wordt onthuld. Het artikel betoogt dat huidige modellen moeite hebben met het extraheren en benutten van hoogwaardige informatie uit eerdere ervaringen om toekomstige prestaties te verbeteren, een gat dat dit werk probeert bloot te leggen en te meten.

Methodologie: De BELA Benchmark

Om in-context ervaringsgericht leren te isoleren en te meten, introduceren de auteurs BELA (Benchmark for Experiential Learning and Active exploration), een schaalbaar raamwerk voor productaanbevelingen. De benchmark is ontworpen om leerbaarheid en schaalbaarheid te prioriteren boven strikt realisme, waardoor een gecontroleerde omgeving ontstaat waarin latente voorkeurstructuren consistent en leerbaar zijn.

Kerncomponenten

Keuzesets Module (Choice Sets Module):
- Afgeleid van 100K producten gesampled uit de Amazon Reviews dataset.
- Gefilterd en toegewezen aan een vooraf gedefinieerde categorische hiërarchie (ASINSpotlight), resulterend in 71K producten georganiseerd in 2K verschillende keuzesets.
- Categorieën zijn geselecteerd om ervoor te zorgen dat ze functioneren als redelijke keuzesets (bijv. het uitsluiten van te brede categorieën zoals "Home & Kitchen").
Klant Module (Persona Simulatie):
- Maakt gebruik van 1 miljoen synthetische klant-persona's van Li et al. [11] om diversiteit en schaalbaarheid te garanderen.
- Voorkeursgeneratie: Productscores ( $y_a$ ) voor elk persona-product paar worden gegenereerd door de gemiddelde output van GPT-4o en Gemini-1.5-Pro te nemen. Het scoringsproces is geverifieerd op consistentie, waarbij een lage variatie tussen de zaden (seeds) werd aangetoond vergeleken met de standaarddeviatie binnen categorieën.
- Interactie Simulatie: Een LLM (GPT-4o) fungeert als de klant en reageert op vragen van de agent op basis van het persona-profiel.
- Feedbackmechanismen: Het systeem ondersteunt drie soorten feedback:
  - Regret (Spijt): Het verschil tussen de optimale score en de aanbevolen score.
  - Stars (Sterren): Een 1–5 sterrenbeoordeling afgeleid van de regret-ratio.
  - Free-form Text (Vrije tekst): Natuurlijke taalfeedback gegenereerd door de klant-LLM, die de stem van de persona en specifieke voorkeuren reflecteert.

Experimentele Opstelling

De benchmark evalueert agenten over een stroom van episodes, waarbij elke episode $e$ wordt gedefinieerd door een klant $c_e$ en een keuzeset $S_e$ . Het doel van de agent is om regret ( $y^* - y_r$ ) te minimaliseren terwijl er een balans wordt gezocht met interactie-efficiëntie (aantal gestelde vragen).

Drie opeenvolgende instellingen worden getest:

Dezelfde klant, verschillende keuzesets per episode.
Dezelfde categorie, verschillende klanten per episode.
Verschillende klanten en verschillende keuzesets per episode.

Baselines zijn onder meer RANDOM (uniforme selectie), POPULARITY (hoogste oorspronkelijke score) en ORACLE (een agent met volledige toegang tot de persona-beschrijving, die dient als een ondergrens voor regret).

Belangrijkste Resultaten

De auteurs evalueerden een reeks frontier-modellen (waaronder GPT-5.4, Gemini-3.1-Pro-Preview en Claude-Opus-4.6) tegen de BELA-benchmark.

Falen in Cross-Episode Leren:
- Hoewel modellen beter presteren dan random baselines, falen ze om significante verbetering te tonen over de episodes heen. Regret-scores blijven stagneren of fluctueren zonder een neerwaartse trend naarmate het aantal episodes toeneemt.
- In contrast hiermee laten "ideale trajecten", geconstrueerd door handmatig gecureerde hoogwaardige vragen en het hergebruik van informatie over episodes heen, zien dat een significante reductie van regret mogelijk is als de agent succesvol informatie over episodes heen benut.
Gebrek aan Proactieve Informatieverzameling:
- Modellen passen hun vraagstrategie niet aan op basis van ervaring. Het aantal gestelde vragen blijft constant of neemt zelfs af over de episodes heen, wat duidt op een onvermogen om te herkennen dat er meer informatie nodig is wanneer de onzekerheid hoog is.
- Modellen slagen er niet in hun onzekerheidsschattingen te kalibreren. Zelfs wanneer hun vertrouwen in voorspellingen toeneemt over de episodes, correleert dit vertrouwen niet met daadwerkelijke prestatieverbeteringen.
Binnen-Episode versus Over-Episode:
- Modellen vertonen binnen-episode leren (het verbeteren van hun aanbevelingen naarmate ze meer beurten aan informatie verzamelen binnen een enkele sessie).
- Echter, ze missen over-episode leren (het verfijnen van hun initiële vraagstrategie of het latente model van de gebruikersbasis op basis van vorige sessies).

Betekenis en Claims

Het artikel stelt dat in-context ervaringsgericht leren—het vermogen om strategieën te verfijnen door gedeelde onzekerheidsstructuren uit eerdere episodes af te leiden—een kenmerk van intelligentie is dat huidige frontier-modellen missen.

Bijdrage van de Benchmark: BELA biedt een uniek schaalbaar testbed (ondersteuning voor tot wel 2 miljard unieke persona-keuzeset paren) dat specifelijk is ontworpen om te evalueren of agenten consistente latente voorkeuren over episodes heen kunnen exploiteren.
Diagnostische Waarde: De resultaten benadrukken een kritiek tekort in huidige state-of-the-art modellen: ze kunnen geen hoogwaardige informatie uit het verleden extraheren om hun informatievergaring af te stemmen op de geobserveerde taakdistributie.
Toekomstige Richting: De auteurs concluderen dat het bevorderen van ervaringsgerichte leercapaciteiten essentieel is voor het bouwen van agenten die in staat zijn tot betrouwbare besluitvorming in verschuivende real-world omgevingen. Ze merken expliciet op dat hun werk zich richt op evaluatie in plaats van trainingsmethoden, waardoor de ontwikkeling van modellen die in staat zijn tot dergelijk leren een richting is voor toekomstig onderzoek.

Het artikel benadrukt dat hoewel de gesimuleerde klanten niet bedoeld zijn om menselijk gedrag perfect te repliceren, de gecontroleerde consistentie van de latente structuren in BELA noodzakelijk is om specifiek de capaciteit van leren uit ervaring te testen, wat in de echte wereld vaak wordt bemoeilijkt door ruis in de data.