Technische Samenvatting: Zelfevoluerend Agentisch Klantensupportsysteem bij LinkedIn

Probleemstelling

Enterprise klantensupport opereert in een dynamische omgeving waar productmogelijkheden, beleid en kennisbases continu evolueren. Traditionele "set-and-forget" AI-assistenten, gebouwd op statische handmatige prompts en vaste retrieval-pipelines, worden fragiel en kostbaar in onderhoud onder deze omstandigheden. Kleine upstream-wijzigingen—zoals productlanceringen, het intrekken van content of API-updates—kunnen regressies veroorzaken, waaronder hallucinaties, verouderde instructies en inconsistente meertalige toon. Bestaande productiegeragents missen een principieel feedbackmechanisme om deze regressies te detecteren, fouten te lokaliseren tot specifieke componenten en zich aan te passen zonder zware menselijke interventie of kostbare hertraining van foundation modellen.

Methodologie

De auteurs presenteren een closed-loop, zelfevoluerend systeem dat prompts, retrieval en evaluatie behandelt als versioneerde artefacten binnen een modulair framework. Het systeem vermijdt het finetunen van foundation modellen en vertrouwt in plaats daarvan op retrieval-augmented generation (RAG) en de evolutionaire optimalisatie van prompts.

1. Systeemarchitectuur

Het systeem werkt via twee gekoppelde loops:

• Inner Inference Loop: De agent ontvangt gebruikersvragen en context, geconditioneerd door een systeemprompt van een Auto-Prompt Engine. Het behandelt RAG als een expliciete actie (reasoning-and-acting paradigma), waarbij beslist wordt wanneer er bewijs moet worden opgehaald uit een versioneerde content lake (help-artikelen, leercontent, documentatie) en hoe dit geïntegreerd moet worden.
• Outer Optimization Loop: Een modulair evaluatieframework scoort de outputs van de agent. Deze fitness-signalen voeden de Auto-Prompt Engine terug, die de systeemprompt verfijnt via evolutionaire zoektochten.

2. Auto-Prompt Engine

Om de bottleneck van handmatige promptontwikkeling te overwinnen, maakt het systeem gebruik van een Automatic Prompt Engineering Engine gebaseerd op genetische algoritmen.

• Proces: Een populatie van kandidaat-prompts wordt geïnitialiseerd met behulp van domeinspecifieke business rules. Over meerdere generaties evolueren prompts via selectie, crossover en mutatie.
• Constraints: Business rules (veiligheid, beleid, toon) worden behandeld als onveranderlijke harde restricties. Prompts die deze schenden, worden gefilterd of krijgen een fitness van nul voordat ze worden geselecteerd, wat ervoor zorgt dat evolutionaire winst gericht is op nauwkeurigheid zonder de compliance te ondermijnen.
• Evaluatie: Prompts worden geëvalueerd tegen taakspecifieke metrieken met een combinatie van regelgebaseerde diagnostiek en LLM-gebaseerde judges.

3. Retrieval Augmented Generation (RAG)

Het systeem fundeert antwoorden in propriëtaire kennis in plaats van in het parametrische geheugen van het model.

• Dynamische Retrieval: RAG wordt blootgesteld als een tool die de agent binnen zijn reasoning loop aanroept, waardoor het model kan beslissen wanneer en hoe het een query uitvoert.
• Versioned Content Lake: De kennisbase wordt samengesteld uit drie bronnen en ververst via een ETL-pipeline. Content wordt getagd met product-, locale- en snapshot-datumfacetten. Een snapshot-pointer zorgt ervoor dat retrieval wordt afgebakend tot de nieuwste versie, waarbij eerdere content wordt vervangen zonder deze te verwijderen, wat reproduceerbare retrieval mogelijk maakt.
• Techniek: Hybride dense-sparse retrieval gevolgd door semantische re-ranking levert gerangschikte documenten met provenance voor citatie op.

4. Modulair Evaluatieframework

Gezien de schaal (36+ talen) en kennisdrift, gebruikt het systeem een modulair, agent-bewust framework in plaats van statische gold sets.

• Dimensies: Kwaliteit wordt gedecomposeerd in interpreteerbare signalen: grounding, intent alignment, tool-execution correctness en meertalige getrouwheid.
• Mechanisme: Gespecialiseerde evaluator-agents combineren regelgebaseerde checks met LLM-oordelen. Voor meertalige kwaliteit detecteren modules onvertaalde segmenten, verifiëren terminologie en meten ze fluentie (bijv. via XGLM perplexity).
• Feedback: Signalen worden geaggregeerd via een consensuslaag die gekalibreerd is tegen menselijke annotaties en opgeslagen wordt in een versioneel en replayable formaat om optimalisatie aan te drijven.

5. Engineering en Deployment

De productiearchitectuur geeft prioriteit aan betrouwbaarheid en veilige iteratie:

• Orchestratie & Fallback: Een lichtgewicht laag medieert het verkeer met deterministische routing en gracieuze degradatie, waarbij wordt teruggevallen op menselijke support als AI-componenten degraderen.
• Configuratie boven Code: Prompts en policies worden dynamisch samengesteld. Evolutie wordt geleverd via configuratie en artifact-updates in plaats van code-deployments.
• Versioned Memory: Het systeem vermijdt onbeperkt long-horizon geheugen; kennis wordt alleen gepromoot via expliciet versioneerde en geëvalueerde artefacten om auditbaarheid en rollback-mogelijkheden te garanderen.
• Telemetry: Executie-telemetrie dient als substraat voor zowel monitoring als automatische evaluatie, wat het controleplan vormt voor gated deployment.

Belangrijkste Bijdragen

1. End-to-End Zelfevoluerende Agent: Een systeem dat betrouwbaarheid behoudt onder voortdurende upstream-veranderingen via closed-loop evaluatie en optimalisatie zonder de base modellen te hertrainen.
2. Automatic Prompt Evolution Engine: Een op genetische algoritmen gebaseerde engine die geschikt is voor enterprise-restricties, en die toon, beleid en meertalige capaciteiten optimaliseert.
3. Modulair Evaluatieframework: Een multi-signaal framework dat kwaliteit decomponeert in actiegerichte dimensies voor debugging op schaal.
4. Version-Controlled RAG-and-Tools Layer: Een infrastructuur die reproduceerbaarheid, veilige uitrol en rollback ondersteunt.

Experimentele Resultaten

Offline Simulaties en Ablaties

• RAG Prestaties: De volledige Support AI Agent behaalde een hallucinatiepercentage van <0,1% en een volledigheid van 87,8%, waarmee het Vanilla RAG (5,3% hallucinatie, 78,7% volledigheid) en andere agentic RAG-baselines aanzienlijk versloeg.
• Prompt Optimalisatie: Evolutionaire zoektocht met zowel crossover als mutatie verhoogde de gemiddelde prompt-nauwkeurigheid van 62,6% naar 68,0% over twee generaties, waarbij de beste prompt 73,3% bereikte. Het verwijderen van een van beide operatoren leidde tot vroege verzadiging.
• Evaluator Signalen: Groundedness werd geïdentificeerd als de dominante driver van evaluator-betrouwbaarheid; het verwijderen ervan veroorzaakte een daling van 11% in de alignment met menselijke labels. Het samenvoegen van alle signalen tot één enkele score presteerde het slechtst (67% alignment).
• Meertalige Evaluatie: Een modulaire multi-agent evaluator behaalde 84,8% nauwkeurigheid op Engelse-Chinese vertaalopdrachten, waarmee het COMET (49,7%) en single-agent LLM judges (76,5%) versloeg.

Online A/B Test

Een twee-weekse gerandomiseerde experiment op LinkedIn's productieverkeer vergeleek de oorspronkelijke productieagent met de geïntegreerde zelfevoluerende workflow:

• QA Self-Serve: Steeg met 9,0 procentpunt (van 33,7% naar 42,7%).
• Cancellation Self-Serve: Steeg met 4,8 procentpunt (van 61,9% naar 66,6%).
• Routing Nauwkeurigheid: Steeg met 30,6 procentpunt (van 38,2% naar 68,8%).
• Veiligheid: Er werden geen regressies waargenomen in escalatiescores, feedbackscores, latentie of moderatie-incidenten.

Betekenis en Beperkingen

Het paper demonstreert een praktisch pad naar schaalbare, zelfevoluerende AI-agents in real-world enterprise settings. Het stelt dat het behandelen van prompts, retrieval en evaluatie als versioneerde, optimaliseerbare artefacten systemen in staat stelt om zich aan te passen aan snelle kennis- en beleidswijzigingen zonder de latentie en kosten van het hertrainen van foundation modellen.

De auteurs erkennen verschillende beperkingen:

• Afhankelijkheid van Evaluators: Het systeem vertrouwt op LLM-as-judge evaluators, wat verdere kruiscontroles met open evaluators vereist om variantie te karakteriseren.
• Kosten en Latentie: Genetische zoektochten brengen inference-kosten met zich mee en duren uren tot dagen per cyclus.
• Scope: De online studie was beperkt tot een enkele enterprise-deployment over een periode van twee weken.
• Attributie: De online resultaten reflecteren de geïntegreerde workflow; factorial deployments zijn nodig om de marginale bijdrage van elk component te isoleren.
• Retrieval Ceiling: De prestaties van het systeem worden begrensd door de dekking van de onderliggende content lake; als autoritatieve documenten ontbreken, onderdrukt de agent correct hallucinaties maar kan hij geen correcte antwoorden synthetiseren.
• Afhankelijkheden: Het productiesysteem vertrouwt op closed-source modellen en search backends, hoewel de aanpak theoretisch haalbaar is met open-source equivalenten.