Experience as a Compass: Multi-agent RAG with Evolving Orchestration and Agent Prompts

Dit paper introduceert HERA, een hiërarchisch raamwerk dat de prestaties van multi-agent Retrieval-Augmented Generation verbetert door zowel de agent-orchestratie als de rol-specifieke prompts dynamisch te laten evolueren op basis van ervaring, wat leidt tot aanzienlijk betere resultaten op complexe kennisintensieve taken.

De kern

Stel je voor dat je een heel moeilijk raadsel moet oplossen, bijvoorbeeld: "Wie was de eerste president van het land waar de schrijver van 'De Oude Man en de Zee' vandaan kwam, en wat was zijn favoriete eten?"

Om dit te beantwoorden, moet je niet één ding doen. Je moet eerst de schrijver vinden, dan het land, dan de president, en tenslotte zijn favoriete eten zoeken. Als je dit aan één slimme computer (een AI) vraagt, kan die soms de draad kwijtraken of halverwege een fout maken.

De auteurs van dit paper, Sha Li en Naren Ramakrishnan, hebben een nieuwe manier bedacht om dit op te lossen. Ze noemen hun systeem HERA. Laten we uitleggen hoe dit werkt met een paar creatieve vergelijkingen.

1. Het Probleem: Een Starre Orkestleiding

Stel je een orkest voor. In de oude methoden (de "bestaande systemen") is er een dirigent die een vast script heeft. Hij zegt: "Eerst de fluit, dan de trompet, dan de viool." Het maakt niet uit of de muziek moeilijk is of makkelijk; het script is altijd hetzelfde.

• Als de muziek heel ingewikkeld is, mist het orkest soms noten (fouten in het zoeken).
• Als één muzikant een fout maakt, blijft het orkest doorgaan en wordt de fout groter (zoals een kettingreactie).
• Ze kunnen niet snel leren van hun fouten zonder dat ze maandenlang opnieuw moeten oefenen (hertrainen).

2. De Oplossing: HERA (De Slimme Dirigent met een Dagboek)

HERA is als een dirigent die niet alleen een script volgt, maar ook een dagboek bijhoudt en muzikanten heeft die hun eigen partituur kunnen aanpassen.

Het systeem werkt in drie lagen:

A. De Dirigent (De Orkestrator)

Deze dirigent kijkt naar de vraag en denkt: "Hm, dit is een lastige vraag. Laten we niet de standaard volgorde volgen. Laten we eerst de trompetten en de fluiten tegelijk laten spelen, en dan de viool erbij halen."

• Hoe leert hij? Hij probeert verschillende manieren om de vraag op te lossen. Soms lukt het, soms niet.
• Het Dagboek (Experience Library): Als hij een goede manier vindt, schrijft hij dit in een dagboek: "Voor dit soort vragen werkt het beste om X en Y tegelijk te doen." Als hij faalt, schrijft hij ook op: "Oeps, als we Z te vroeg doen, gaat het mis."
• De volgende keer dat hij een vergelijkbare vraag krijgt, kijkt hij eerst in zijn dagboek. Hij hoeft niet alles opnieuw uit te vinden; hij gebruikt zijn ervaring als een kompas.

B. De Muzikanten (De Agenten)

Elke muzikant heeft een specifieke rol (bijvoorbeeld: "Zoeker" of "Samenvatter").

• In oude systemen krijgen ze altijd dezelfde instructies.
• In HERA krijgen ze een slimme coach. Als een muzikant een fout maakt, kijkt de coach naar het dagboek en zegt: "Volgende keer, als je dit soort muziek hoort, moet je iets voorzichtigere noten spelen."
• Ze veranderen hun eigen "partituur" (hun instructies) op basis van wat ze hebben geleerd, zonder dat ze hun hele brein (de onderliggende AI) hoeven te herschrijven.

C. De Leerkracht (De Feedback)

Het systeem vergelijkt de goede en slechte pogingen. Het vraagt de dirigent: "Waarom lukte deze poging wel en die andere niet?" Het antwoord wordt omgezet in wijsheid die in het dagboek wordt opgeslagen. Dit is als een team dat na elke wedstrijd een bespreking houdt om de volgende keer beter te presteren.

3. Waarom is dit zo goed?

De paper laat zien dat HERA veel beter presteert dan de huidige beste systemen (gemiddeld 38% beter).

• Het is flexibel: Het past zich aan aan de moeilijkheid van de vraag.
• Het is efficiënt: Het verspillen geen tijd aan dingen die al eerder zijn geprobeerd en gefaald zijn. Het wordt "slimmer" en sneller naarmate het meer ervaring opdoet.
• Het leert van fouten: Als er een fout wordt gemaakt, wordt deze niet genegeerd. Het systeem analyseert waarom het misging en past de instructies van de specifieke agent aan die de fout maakte.

Samenvattend in één zin

HERA is als een team van slimme detectives die niet alleen samenwerken, maar ook een gezamenlijk dagboek bijhouden van hun successen en mislukkingen, zodat ze bij elke nieuwe zaak direct weten welke aanpak werkt en welke niet, zonder dat ze opnieuw naar de schoolbank hoeven.

Dit maakt het systeem niet alleen slimmer, maar ook robuuster: het geeft niet op als het even lastig wordt, maar zoekt een nieuwe, betere weg.

Technische samenvatting

Probleemstelling

Bestaande Multi-Agent Retrieval-Augmented Generation (RAG) systemen, die gespecialiseerde agenten gebruiken voor complexe redenering, kampen met twee fundamentele beperkingen:

1. Statische Orkestratie: De meeste huidige systemen maken gebruik van vaste of lineaire pijplijnen. Ze kunnen zich niet dynamisch aanpassen aan de complexiteit van een specifieke query, wat leidt tot onvoldoende bewijsverzameling of onnodige overhead.
2. Gebrek aan Adaptief Leren: Agenten vertonen statisch gedrag. Fouten in multi-turn interacties propageren zich vaak zonder dat er gerichte correcties plaatsvinden op het niveau van individuele agenten. Bestaande oplossingen vertrouwen vaak op dure training met grote datasets of globale supervisie, wat weinig inzicht geeft in de specifieke bron van fouten (credit assignment).

Het doel is een systeem te creëren dat zijn coördinatiestrategieën aanpast aan query-complexiteit, gerichte verbeteringen toepast op agent-gedrag, foutpropagatie minimaliseert en continu kan aanpassen zonder kostbare hertraining.

Methodologie: Het HERA Framework

De auteurs stellen HERA (Hierarchical Evolution RAG) voor, een hiërarchisch raamwerk dat de orkestratie van agenten en de prompts van individuele agenten gezamenlijk evolueert door ervaring en reflectie te gebruiken, zonder de onderliggende LLM-parameters aan te passen.

Het framework bestaat uit drie lagen:

1. Global Orchestrator (Strategisch Niveau)

• Functie: Genereert query-specifieke uitvoeringsplannen (topologieën) die bepalen welke agenten worden gebruikt, in welke volgorde (sequentieel of parallel) en met welke afhankelijkheden.
• Optimalisatie: Geïnspireerd op Group Relative Policy Optimization (GRPO). De orchestrator steekt een groep kandidaat-topologieën uit. Deze worden uitgevoerd en beoordeeld op taakprestatie (bijv. F1-score) en efficiëntie (token-verbruik).
• Semantische Voordelen: In plaats van numerieke gradients, gebruikt het systeem natuurlijke taal-insights. De orchestrator vergelijkt succesvolle en mislukte trajecten binnen een groep en genereert semantische redenen voor succes of falen. Deze insights vormen de basis voor de Experience Library.

2. Experience Library (Geheugen)

• Structuur: Een opgeslagen kennisbron met een Profile–Insight–Utility structuur:
  • c (Characteristics): Kenmerken van de query.
  • z (Insight): Natuurlijke taal-inzicht over wat wel/niet werkte.
  • u (Utility): Empirisch succespercentage van dit inzicht.
• Operaties: De library wordt online bijgewerkt via operaties zoals ADD (nieuwe inzichten), MERGE (samenvoegen van vergelijkbare inzichten), PRUNE (verwijderen van conflicterende of lage-waarde inzichten) en KEEP.
• Rol: Fungeert als een "kompas" dat de orchestrator voedt met bewezen strategieën, waardoor het systeem contextueel kan leren zonder de modelgewichten te wijzigen.

3. Role-aware Prompt Evolution (RoPE) (Lokaal Niveau)

• Functie: Richt zich op individuele agenten die als onderpresterend zijn geïdentificeerd door de orchestrator.
• Mechanisme:
  • Het systeem analyseert mislukte trajecten van een specifieke agent.
  • Het genereert varianten van de agent-prompt en voert de volledige trajecten opnieuw uit met deze varianten.
  • Contrastieve Analyse: Het trekt twee soorten verbeteringen:
    1. Operationele regels ($\Delta\rho_{op}$): Korte-termijn correcties voor directe fouten.
    2. Gedragsprincipes ($\Delta\rho_{bp}$): Lange-termijn strategieën afgeleid van patronen over meerdere trajecten.
• Consolidatie: De nieuwe instructies worden geïntegreerd in de prompt, waarbij redundantie wordt verwijderd om coherentie te behouden.

4. Topology Mutation

Als een traject consistent faalt (bijv. F1 = 0), onderneemt HERA structurele mutaties: het vervangt de mislukte agent door een alternatief of voegt extra agenten toe aan de topologie. Dit zorgt voor co-evolutie van de structuur en het gedrag.

Belangrijkste Bijdragen

1. HERA Framework: Een hiërarchisch systeem dat dual-level evolutie mogelijk maakt: ervaring-gestuurde orkestratie en rol-bewuste prompt-adaptatie. Dit verschuift optimalisatie van parameter-updates naar contextuele aanpassing.
2. Topologie-metrics: Ontwerp van nieuwe metrics om de evolutie van agent-interacties kwantitatief te karakteriseren (bijv. transitie-entropie, graf-metrics zoals diameter en cycli).
3. Efficiëntie en Generalisatie: Demonstratie dat het systeem hoge prestaties bereikt zonder gradient-based training, wat leidt tot robuustheid en token-efficiëntie.

Resultaten

Het systeem is getest op zes kennisintensieve benchmarks (o.a. HotpotQA, 2WikiMultiHopQA, AmbigQA, HoVer).

• Prestaties: HERA bereikte een gemiddelde verbetering van 38,69% ten opzichte van recente State-of-the-Art (SOTA) baselines (zoals IterDRAG, Plan-RAG, en andere Agentic RAG systemen).
• Generalisatie (OOD): Het systeem toonde sterke prestaties op Out-of-Distribution (OOD) taken (zoals Bamboogle en HoVer), wat aantoont dat de opgebouwde ervaring goed overdraagbaar is.
• Efficiëntie: In tegenstelling tot methoden die brute-force context-schaling gebruiken, bereikt HERA hoge prestaties met gecontroleerde token-begrotingen. De token-gebruikstrends tonen een overgang van exploratie naar exploitatie, waarbij het systeem leert om redundante stappen te elimineren.
• Ablatie-studies: Verwijdering van de Experience Library leidde tot gematigde dalingen, terwijl het verwijderen van Prompt Evolution leidde tot aanzienlijke prestatieverliezen (tot 30% op sommige datasets), wat aantoont dat adaptief gedrag cruciaal is voor complexe multi-hop redenering.

Betekenis en Conclusie

Het paper introduceert een paradigmaverschuiving in Multi-Agent RAG. In plaats van te vertrouwen op statische pijplijnen of dure retraining, gebruikt HERA ervaring als een kompas. Door ervaringen te distilleren in een library en agent-gedrag continu te verfijnen via prompt-evolutie, ontstaat er een systeem dat zelforganiserend is.

De analyse van de topologieën toont aan dat het systeem evolueert van diffuse, exploratieve interacties naar compacte, hoog-efficiënte netwerken. Dit biedt een schaalbare, robuuste en kostenefficiënte route voor het oplossen van complexe, multi-hop redeneertaken in dynamische kennisomgevingen.