🤖 machine learning

CatalogAgent: A Supervisor-mediated Self-Learning System Enabling Context Engineering for GenAI Models

Het artikel introduceert CatalogAgent, een door een supervisor bemiddeld zelflerend systeem dat conflicten tussen generator- en evaluator-LLM's voor e-commerce catalogusverrijking oplost door gebruik te maken van een geheugenbasis om supervisorbeslissingen te aggregeren tot context-geëngineerde inzichten, waardoor de modelnauwkeurigheid autonoom met meer dan 13% wordt verbeterd.

Oorspronkelijke auteurs: Zhu Cheng (Xuan), Zhenming Wang (Xuan), Yu (Xuan), Tang, Dan Liu, Bryan Zhang, Athanasios N. Nikolakopoulos, Pranav Souri Itabada, Jing Zhang, Chih-Chi Chou, Peng Gao, Fatemeh Mansoori, Bharat Bojja

Gepubliceerd 2026-07-17

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Zhu Cheng (Xuan), Zhenming Wang (Xuan), Yu (Xuan), Tang, Dan Liu, Bryan Zhang, Athanasios N. Nikolakopoulos, Pranav Souri Itabada, Jing Zhang, Chih-Chi Chou, Peng Gao, Fatemeh Mansoori, Bharat Bojja, Sarath Chander, Sameer Thombare, Umit Batur, Tarik Arici

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin je favoriete online winkel wordt gerund door een team van zeer slimme, maar ietwat chaotische robotassistenten. Deze robots hebben de taak om miljoenen producten, van T-shirts tot broodroosters, te organiseren in nette digitale schappen. Om dit te doen, moeten ze specifieke details invullen zoals "kleur", "materiaal" of "maat". Dit is de taak van Generatieve AI (of GenAI), een type computerprogramma dat tekst en afbeeldingen kan lezen om nieuwe informatie te creëren. Maar hier is de crux: deze robots zijn niet perfect. Soms raden ze het fout, en soms discussiëren ze met elkaar over wat het juiste antwoord is. Als de winkel deze fouten laat staan, raken klanten in de war en worden verkopers gefrustreerd. De grote vraag voor wetenschappers in dit vakgebied is: Hoe leren we deze AI-robots om hun eigen fouten te herkennen en beter te worden in hun werk, zonder dat er elke keer een mens aan hun hand hoeft te lopen?

Maak kennis met CatalogAgent, een nieuw systeem ontworpen door onderzoekers van Amazon dat fungeert als een super-slimme "baas-robot" om precies dit probleem op te lossen. Denk aan het systeem als een driepersonsteam dat werkt in een druk magazijn. Ten eerste heb je de Generator, een robot die naar de titel en beschrijving van een product kijkt en raadt wat de kenmerken zijn (zoals raden dat een shirt van "katoen" is). Ten tweede is er de Evaluator, een sceptische robot die de gok van de Generator dubbelcheckt om te zien of het wel logisch is. Meestal zijn ze het eens en is de klus geklaard. Maar wanneer ze van mening verschillen, of wanneer een menselijke verkoper zegt: "Hé, dat is fout!", stapt er een derde robot in: de Supervisor.

De Supervisor is de ster van de show. Het is als een detective met een vergrootglas en een bibliotheek vol hulpmiddelen. Wanneer de Generator en de Evaluator ruzie maken, of wanneer een verkoper klaagt, onderzoekt de Supervisor de zaak. Hij kiest niet zoma van een winnaar; hij ontdekt waarom de fout is gemaakt. Verzon de Generator een nepmerknaam? Was de Evaluator te streng? Verwarde de verkoper "pasvorm" met "broeklengte"? De Supervisor schrijft de les die uit elke strijd is geleerd op.

Maar hier zit de magische truc: het systeem slaat deze lessen niet alleen op in een archief. Het heeft een Memory Summarizer, een slimme bibliothecaris die duizenden van deze detective-rapporten leest en patronen vindt. Misschien merkt het op dat de robots bij "telefoonhoesjes" steeds modelnamen verzinnen, of dat ze bij "handtassen" altijd naar de tweede foto moeten kijken om de binnenkant te zien. De Summarizer zet deze patronen om in nieuwe instructies, of "context engineering", en voert deze terug aan de Generator en de Evaluator. Het is also wordt de robots een studiegids voorgelezen die door hun eigen baas is geschreven, wat hen helpt om te leren van hun eerdere fouten zodat ze deze niet opnieuw maken.

Het onderzoek laat zien dat deze zelflerende lus ongelooflijk goed werkt. Door deze methode te gebruiken, verbeterde het systeem de nauwkeurigheid van de Generator met 15,24% en die van de Evaluator met 13,98%. De onderzoekers waren echter voorzichtig om de robots niet te zelfverzekerd te laten worden. Ze bouwden een vangnet genaamd Regression Constraints. Dit is als een kwaliteitscontrole die ervoor zorgt dat de robots niet zo gefocust raken op het oplossen van hun nieuwe fouten dat ze de makkelijke dingen die ze al wisten, gaan verpesten. Ze testten dit op 4,89 miljoen productparen en ontdekten dat, terwijl het systeem agressief de moeilijke gevallen oploste, de prestaties op de algemene populatie stabiel bleven.

Kortom, CatalogAgent bewijst dat AI-systemen zichzelf kunnen controleren. Door een slimme supervisor te hebben die conflicten bemiddelt en deze conflicten omzet in leerzame momenten, creëert het systeem een cyclus waarin de robots elke dag slimmer worden, zonder dat een mens hun code hoeft te herschrijven. Het is een verschuiving van "de robot repareren" naar "de robot leren hoe hij zichzelf kan repareren."

Technische Samenvatting: CatalogAgent

Probleemstelling

Productcatalogi zijn fundamenteel voor e-commerce, maar lijden vaak aan ontbrekende gestructureerde attributen (Structured Attributes, SA's) zoals materiaal, kleur en vorm. Hoewel Large Language Models (LLMs) zijn geadoperd om deze waarden te voorspellen vanuit ongestructureerde productgegevens (titels, beschrijvingen, afbeeldingen), kampen bestaande generator-evaluator-frameworks met aanzienlijke beperkingen. Specifiek wanneer de Generator (voorspeller) en de Evaluator (verifieerder) tegenstrijdige outputs produceren, is het onduidelijk welke component de fout in gaat. Bovendien worstelen standaard LLM-as-a-judge paradigma's ermee om hoogwaardige foutpatronen te identificeren over diverse producttypen (PT's) en attribuutgroepen zonder menselijke tussenkomst. Huidige eisen op productieschaal vereisen ook lichtgewicht, kosteneffectieve modellen, waardoor systematische context engineering essentieel is om prestaties te maximaliseren zonder de schaalbaarheid op te offeren.

Methodologie: CatalogAgent Systeem

De auteurs stellen CatalogAgent voor, een nieuw door een supervisor gemedieerd zelflerend systeem dat is ontworpen om Generator- en Evaluatormodellen continu te verbeteren door middel van systematische context engineering. Het systeem werkt als een gesloten lus bestaande uit vier kerncomponenten:

1. Worker Modellen (Generator en Evaluator)

Het systeem gebruikt lichtgewicht LLM's (specifiek Mistral-NeMo) voor batchverwerking met een hoog volume:

Generator: Concludeert specifieke SA-waarden uit producttitels, beschrijvingen en gestructureerde gegevens.
Evaluator: Verifieert de nauwkeurigheid van gegenereerde waarden op basis van beschikbare bewijslast.
Conflictdetectie: Het systeem markeert gevallen waarin de Generator en de Evaluator van mening verschillen, of waar de feedback van verkopers in strijd is met de door het model goedgekeurde waarden.

2. Supervisor Agent (Investigator en Arbitrator)

Een hoogwaardige reasoning agent (aangedreven door Claude Sonnet) grijpt in wanneer er conflicten ontstaan. Het fungeert als arbiter en onderzoeker met behulp van de ReAct-methodologie (Reasoning + Acting) en een uitgebreide toolbox:

Arbitrage: Het analyseert redeneerketens van zowel de Generator als de Evaluator om de juiste attribuutwaarde te bepalen.
Conflictresolutie: Het lost Generator-Evaluator onenigheid op en Model-Verkoper onenigheid.
Toolgebruik: Het maakt gebruik van data-toegangstools (catalogusmetadata, attribuut-schema's), domeinspecifieke validators (bijv. maattabellen) en beeldanalyse-tools om visuele attributen te verifiëren.
Output: Het genereert gedetailleerde inzichten, inclusل oorzaak-diagnoses en specifieke aanbevelingen voor de verfijning van prompts of metadata.

3. Memory Base en Memory Summarizer

Om zelfverbetering zonder menselijke tussenkomst mogelijk te maken, aggregeert het systeem individuele leerprocessen uit casussen:

Memory Base: Een gestructureerd depot dat de activiteiten van de Supervisor Agent voor individuele gevallen opslaat, inclusief casusidentificatie, arbitrage-resultaten en specifieke engineering-inzichten (Prompt Verbeteringen, Metadata Verfijning, Beeld Nuttigheid Analyse).
Memory Summarizer: Verwerkt records uit de Memory Base om fijnmazige inzichten te aggregeren tot generaliseerbare leerpunten op Product-Type-Attribute (PT-A) niveau. Het synthetiseert veelvoorkomende foutpatronen tot geconsolideerde prompt-instructies, updates voor attribuutdefinities en configuraties voor beeldinput.

4. Context Engineering onder Regressiebeperkingen

Het systeem injecteert geleerde inzichten terug in de worker-modellen via drie soorten context engineering:

Prompt Optimalisatie: Het verfijnen van instructies om duidelijkheid te verbeteren en hallucinaties te verminderen (bijv. het instrueren van het model om "Niet verkrijgbaar" te retourneren in plaats van een modelnaam te fabriceren).
Metadata Verfijning: Het uitbreiden van waardensets en het verhelderen van ambigue definities (bijv. het toevoegen van "button down shirt" aan de geldige waarden voor de vorm van een overhemd).
Bepaling van Beeld Nuttigheid: Identificeren of hoofdafbeeldingen of secundaire afbeeldingen voorspellend zijn voor specifieke attributen, om zo de inputmodaliteiten te optimaliseren en de tokenkosten te verlagen.

Cruciaal is dat deze updates worden beheerd door een beperkt optimalisatieprobleem. Nieuwe configuraties ( $\theta$ ) moeten de onenigheidspercentages minimaliseren, terwijl de nauwkeurigheid op een "Golden Dataset" ( $G$ ) niet onder een baseline ( $\theta_0$ ) mag dalen met meer dan een tolerantiedrempel ( $\delta$ ). Dit voorkomt dat het systeem overfit op randgevallen ten koste van de algemene prestaties.

Belangrijkste Bijdragen

Het artikel schetst drie primaire bijdragen:

Een Nieuw Paradigma: Introductie van een door een supervisor-agent gemedieerd zelflerend systeem dat autonoom operaties monitort en de kwaliteit van attribuutvoorspelling verhoogt door systematische context engineering zonder menselijke tussenkomst.
Nieuwe Modules: Het ontwerp van de Memory Base en de Memory Summarizer, die een zelfverbeterende feedbackloop creëren door agent-interacties vast te leggen en te aggregeren tot actiegerichte inzichten voor worker-modellen.
Gerichte Verbeteringsstrategie: Een unieke benadering van modelverbetering die moeilijke onenigheidsgevallen (tussen Generator/Evaluator en Model/Verkoper) analyseert om specifieke gebieden te identificeren die context engineering vereisen, in plaats van brede, ongerichte optimalisaties toe te passen.

Experimentele Resultaten

Het systeem werd geëvalueerd op een dataset van 4,89 miljoen Product-Attribuut paren, waarbij 50k paren werden gebruikt voor de Supervisor-onderzoek en 50k voor het testen van de effectiviteit van de resulterende context engineering.

Supervisor Prestaties: In menselijke evaluaties behaalde de Supervisor Agent een nauwkeurigheid van 97,26% bij het genereren van SA-waarden (als Generator) en een nauwkeurigheid van 94,56% bij het beoordelen van juistheid (als Evaluator) bij Generator-Evaluator onenigheid. Voor Model-Verkoper onenigheid behaalde het een precisie van 85,65% en een recall van 94,28%.
Modelverbetering: Door middel van context engineering slaagde het systeem erin de capaciteiten van de Supervisor over te dragen aan de worker-modellen:
- Generator Prestaties: Verbeterd met 15,24%.
- Evaluator Prestaties: Verbeterd met 13,98%.
Specifieke Winsten:
- Metadata Updates: Het uitbreiden van waardensets (bijv. voor "shirt form type") leverde nauwkeurigheidsverbeteringen op van tot wel 5%.
- Prompt Updates: Het aanpakken van hallucinatieproblemen (bijv. voor "model name" bij telefoonhoesjes) leidde tot een verbetering van 15,01% in nauwkeurigheid voor specifieke attributen.
- Regressietesten: Het constrained optimization framework valideerde succesvol dat gerichte verbeteringen de prestaties op de algemene populatie niet verslechterden, waarbij de meeste PT-As de regressietests op de golden dataset doorstonden.

Betekenis en Claims

De auteurs beweren dat CatalogAgent een nieuw paradigma demonstreert voor het verbeteren van de nauwkeurigheid van generatieve AI-modellen in productieomgevingen. Door een supervisor-agent in te zetten om conflicten te bemiddelen en een geheugensysteem te gebruiken om geleerde inzichten te aggregeren, bereikt het systeem autonome zelfverbetering. De betekenis ligt in het vermogen om:

Systematisch de "black box"-aard van LLM-onenigheid aan te pakken door de grondoorzaken te diagnosticeren.
De hoogwaardige redeneercapaciteiten van een krachtige Supervisor over te dragen aan lichtgewicht, kosteneffectieve worker-modellen via context engineering.
De stabiliteit in productie te handhaven via regressiebeperkingen, waardoor wordt gewaarborgd dat optimalisaties voor moeilijke randgevallen de prestaties op goed begrepen gevallen niet in gevaar brengen.

Het paper concludeert dat deze aanpak een schaalbaar, kosteneffectief alternatief biedt voor menselijke evaluatie en handmatige afstemming, waardoor e-commerce catalogi continu kunnen evolueren en productgegevens kunnen verrijken met minimale menselijke tussenkomst. Toekomstig werk dat door de auteurs wordt gesuggereerd, omvat het gebruik van de door de Supervisor gegenereerde hoogwaardige labels om de worker LLM's direct te fine-tunen.