Build, Judge, Optimize: A Blueprint for Continuous Improvement of Multi-Agent Consumer Assistants

Dit paper presenteert een praktisch blauwdruk voor het evalueren en optimaliseren van productie-schaal conversatie-assistenten voor boodschappen, waarbij een gecalibreerde LLM-beoordelaar en twee GEPA-gebaseerde prompt-optimalisatiestrategieën worden ingezet om de kwaliteit van multi-agent interacties te verbeteren.

De kern

Stel je voor dat je een supermarktbediende hebt die niet alleen naar de schappen loopt, maar ook met je praat, je favoriete merken kent, rekening houdt met je budget en zelfs weet dat je gisteren al melk hebt gekocht. Dat is een Conversational Shopping Assistant (een slimme boodschappenassistent).

Dit artikel beschrijft hoe een team van onderzoekers (van WithMetis.ai en DoorDash) zo'n assistent heeft gebouwd, getest en verbeterd. Ze noemen hun systeem MAGIC. Hier is de uitleg in simpele taal, met een paar leuke vergelijkingen.

1. Het Probleem: Een Orkest zonder Dirigent

In het begin probeerden ze dit met één grote, slimme "robot" (een monolithische agent). Maar boodschappen doen is lastig. Je zegt: "Doe maar mijn gebruikelijke boodschappen, maar dan onder de 25 euro en met een fles wijn erbij."

• De robot moet weten wat "gebruikelijk" is.
• Hij moet kijken of de producten op voorraad zijn.
• Hij moet de wijn vinden die bij de rest past.
• Hij moet het budget bewaken.

Met één grote robot raakte de boodschappenlijst snel in de war. Het was alsof je één muzikant vraagt om viool, drum, zang en piano tegelijk te spelen; het wordt rommelig en foutjes worden niet opgemerkt.

De oplossing: Ze maakten een team van specialisten (multi-agent systeem).

• De Dirigent (Orchestrator): Luistert naar jou en verdeelt het werk.
• De Zoeker: Vindt de producten.
• De Rekenaar: Houdt het budget in de gaten.
• De Persoonlijke Assistent: Onthoudt wat je lekker vindt.

2. De Uitdaging: Hoe meet je of het goed gaat?

Hoe weet je of zo'n team goed werkt? Je kunt niet gewoon kijken of de producten in de winkelwagen zitten. Je moet ook kijken of de conversatie logisch was, of de dirigent de juiste instructies gaf, en of niemand iets verzonnen heeft (hallucinaties).

Ze bedachten een Scorekaart (Rubric) met vier categorieën:

1. Boodschappen doen: Kregen we de juiste spullen?
2. Persoonlijkheid: Hielden ze rekening met jouw voorkeuren?
3. Gesprek: Was het gesprek natuurlijk en logisch?
4. Veiligheid: Zeiden ze niets gevaarlijks of onzin?

Om dit te testen, lieten ze een Super-Slimme Rekenmachine (LLM-as-a-Judge) de gesprekken beoordelen. Maar eerst moesten ze deze rekenmachine "kalibreren".

• Vergelijking: Stel je voor dat je een nieuwe leraar aanstelt om proefwerken te nakijken. Eerst kijkt de leraar samen met een ervaren meester naar 100 oude proefwerken. Als ze het niet eens zijn, bespreekt de leraar de regels. Uiteindelijk nakijkt de nieuwe leraar net zo goed als de meester (91% overeenstemming). Zo maakten ze hun beoordeling betrouwbaar.

3. De Oplossing: Twee Manieren om te Verbeteren

Nu ze een betrouwbare scorekaart hadden, wilden ze het systeem verbeteren. Ze probeerden twee strategieën:

Strategie A: De "Solo-Oefening" (Sub-agent GEPA)

Hierbij oefende ze elke specialist apart.

• Vergelijking: De dirigent oefent alleen zijn baton-zwaaien. De drummer oefent alleen zijn ritme.
• Resultaat: Dit hielp om kleine foutjes op te lossen (bijv. "oh, ik heb de verkeerde melk gekozen"). Maar het loste geen grote problemen op. Soms gaf de dirigent de drummer de verkeerde instructie, of werd de drummer te luid en verstoorde hij de dirigent. Omdat ze apart oefenden, zagen ze deze samenwerking-problemen niet.

Strategie B: De "Hele Band" (MAMUT GEPA)

Hierbij oefenden ze het hele team tegelijk, alsof ze een concert repeteren.

• Vergelijking: In plaats van individuen te trainen, laten ze de hele band spelen. Als de dirigent te lang praat, krijgt de drummer minder tijd. Als de drummer te hard speelt, kan de zanger niet gehoord worden. Ze leren samen om de beste balans te vinden.
• Resultaat: Dit was veel beter! Het systeem leerde dat de dirigent soms korter moet zijn zodat de zoekmachine meer tijd heeft om goede producten te vinden. Het leerde dat ze samen moeten zorgen dat de veiligheidsgrenzen niet worden overschreden.

4. De Simulatie: Een Proefpubliek

Om dit te testen zonder echte klanten te storen, bouwden ze een virtueel publiek.

• Als de robot iets anders deed dan in het originele gesprek, liet de simulator een "virtuele klant" reageren die precies deed alsof het de echte klant was. Zo konden ze duizenden scenario's testen in een handomdraai.

Conclusie: Wat hebben we geleerd?

De onderzoekers concluderen dat bij slimme teams van AI-agenten:

1. Losse training werkt niet genoeg. Het verbeteren van één onderdeel maakt het hele systeem niet per se beter.
2. Samenwerking is alles. Je moet het hele team samen laten "repetitie" maken om echte verbetering te zien.
3. Eerst meten, dan verbeteren. Door een heel duidelijke scorekaart te hebben, weten ze precies waar ze moeten schaven.

Kortom: Om een perfecte digitale boodschappenassistent te bouwen, moet je niet alleen slimme individuen hebben, maar vooral een team dat perfect op elkaar ingespeeld is. En om dat te bereiken, moet je ze samen laten repeteren, niet alleen apart.

Technische samenvatting

Probleemstelling

Conversational Shopping Assistants (CSA's) vertegenwoordigen een veelbelovende toepassing van agentische AI, maar de overgang van prototype naar productie onthult twee onderbelichte uitdagingen:

1. Evaluatie van multi-turn interacties: Traditionele zoek- en rangschikkingsmetrieken zijn ontoereikend voor systemen waar kwaliteit multidimensionaal is en afhankelijk van de volledige interactietrajecten.
2. Optimalisatie van sterk gekoppelde multi-agent systemen: Het verbeteren van individuele sub-agenten vertaalt zich niet noodzakelijk tot betere eindresultaten vanwege vertraagde effecten en kruisbestuiving tussen agenten.

Deze problemen worden versterkt in de sector van boodschappen doen, waar gebruikersverzoeken vaak onvolledig zijn, sterk afhankelijk van persoonlijke voorkeuren, en beperkt worden door factoren zoals budget en voorraad. Het artikel introduceert MAGIC (Multi-Agent Grocery Intelligent Concierge), een productieschaal boodschappenassistent, als casestudy om deze uitdagingen aan te pakken.

Methodologie

Het auteurs stellen een blauwdruk voor die bestaat uit drie hoofdfasen: Bouwen, Beoordelen en Optimaliseren.

1. Architectuur: Modulaire Multi-Agent Systemen

In plaats van een monolithische agent, gebruikt MAGIC een modulaire architectuur met een Orchestrator die de intentie van de gebruiker ontleedt en coördineert met gespecialiseerde sub-agenten. Deze sub-agenten werken samen met programmatische API's en fijngefineerde ML-modellen. Hoewel dit de controle en uitbreidbaarheid verbetert, introduceert het strakkere koppelingen, waarbij fouten pas na meerdere beurten zichtbaar kunnen worden (cascaderende fouten).

2. Evaluatie: Rubric-gebaseerde Judge met LLM

Om de kwaliteit te meten, introduceren de auteurs een gestructureerde rubric (beoordelingskader) die de end-to-end kwaliteit decomposeert in vier orthogonale domeinen:

• Shopping Execution (50%): Uitvoering van de boodschappen (compleetheid, juistheid, geen extraartikelen).
• Personalization & Context (20%): Respect voor dieetvoorkeuren, merken en eerdere context.
• Conversational Quality (10%): Duidelijkheid, coherentie en toon.
• Safety & Compliance (20%): Veiligheid en naleving van beleid.

Om schaalbaarheid te garanderen, wordt een LLM-as-a-Judge pipeline geïmplementeerd. In plaats van vage ordinaire scores, gebruikt de judge gestructureerde booleaanse checks (Pass/Fail) gebaseerd op waarneembare sporen in de interactie (bijv. daadwerkelijk geselecteerde items in de winkelwagen).

3. Calibratie en Optimalisatie

• Calibratie: De LLM-judge wordt gekalibreerd tegen menselijke annotaties. Met behulp van GEPA (een state-of-the-art prompt-optimizer) wordt de prompt van de judge verfijnd, waardoor de overeenstemming met menselijke beoordelaars stijgt van 84,1% naar 91,4%.
• Optimalisatiestrategieën: Er worden twee strategieën vergeleken:
  1. Sub-agent GEPA: Optimaliseert elke sub-agent onafhankelijk tegen lokale rubrics. Dit lost lokale tool-fouten op, maar mist systemische problemen.
  2. MAMUT GEPA (Multi-Agent Multi-Turn): Een systeemniveau-benadering die promptbundels voor alle agenten gezamenlijk optimaliseert. Dit gebruikt een simulator die historische intenties re-playt (met een "User Persona Agent" voor synthetische reacties bij afwijkingen) en scoren op trajectniveau.

Belangrijkste Resultaten

De vergelijking tussen Sub-agent GEPA en MAMUT GEPA op een testset van 238 trajecten toont aan dat systeemniveau-optimalisatie cruciaal is:

• Totale Rubric Score: MAMUT verbeterde de totale score van 77,1% naar 84,7%.
• Veiligheid & Compliance: De grootste winst (+12,0%) werd hier geboekt, wat aantoont dat geïsoleerde optimalisatie vaak leidt tot beleidsovertredingen die alleen bij gezamenlijke optimalisatie worden opgelost.
• Conversatie Kwaliteit: +8,0% verbetering, wat wijst op betere coördinatie en minder hallucinaties.
• Personalisatie: +6,8% verbetering, voornamelijk omdat MAMUT de Orchestrator leert om voorkeuren correct door te geven aan downstream agenten, iets wat node-level optimalisatie niet kon stimuleren.

Sub-agent GEPA was effectief voor atomische fouten (zoals uitvoeringsfouten), maar faalde bij interactieproblemen zoals contextverlies of te lange antwoorden die het contextvenster vullen.

Bijdragen

1. Praktische Blauwdruk: Een bewezen framework voor het evalueren en optimaliseren van productieschaal conversational shopping assistants.
2. Gekalibreerde Judge: Een robuuste, booleaanse LLM-judge die menselijke beoordelingen benadert en dient als stabiel beloningssignaal.
3. MAMUT GEPA: Een nieuwe, systeemniveau optimalisatiemethode die gezamenlijke prompt-evolutie mogelijk maakt voor multi-agent systemen, wat essentieel is voor het oplossen van coördinatiestress.
4. Openbare Resources: Het vrijgeven van rubric-sjablonen en evaluatierichtlijnen voor de gemeenschap.

Betekenis

Dit artikel onderstreept dat voor complexe, sterk gekoppelde multi-agent systemen lokale optimalisatie onvoldoende is. De "Build, Judge, Optimize" cyclus, waarbij evaluatie voorop staat en wordt vertaald naar een betrouwbaar engineering-signaal, biedt een systematische aanpak voor het ontwikkelen van robuuste AI-systemen in domeinen met hoge ambiguïteit en sterke voorkeursafhankelijkheid (zoals e-commerce). Het bewijst dat trajectbewuste, systeemniveau-optimalisatie noodzakelijk is om de beperkingen van losse agenten te overwinnen en echte, betrouwbare conversational commerce mogelijk te maken.