EvolveRouter: Co-Evolving Routing and Prompt for Multi-Agent Question Answering

1. Probleemstelling

Grote Taalmodellen (LLM)-agenten vertonen vaak complementaire sterkten; sommige zijn beter in redeneren, anderen in feitelijke kennis of het volgen van instructies. Bestaande methoden voor Multi-Agent Question Answering (QA) proberen dit probleem op te lossen door een "router" te gebruiken die bepaalt welke agent of welke combinatie van agents een vraag moet beantwoorden.

De auteurs identificeren echter twee fundamentele beperkingen in huidige benaderingen:

1. Vaste Agent-pool: Bestaande routers optimaliseren alleen welke agent wordt aangeroepen, maar gaan uit van een statische set agents. Ze verbeteren de agents zelf niet. Onderzoek toont aan dat zelfs kleine variaties in prompts (instructies) grote prestatieverschillen kunnen veroorzaken, vooral bij kleinere modellen. Een suboptimale prompt beperkt de router, ongeacht hoe goed de selectie is.
2. Rigide Samenwerkingsschema's: Bestaande methoden gebruiken vaak een starre aanpak: ofwel wordt er één agent gekozen, ofwel wordt er een vaste groep agents samengevoegd (ensemble). Dit leidt tot inefficiëntie (onnodige berekening) of suboptimale prestaties (als irrelevante of zwakke agents worden meegenomen). Er ontbreekt een adaptieve strategie die dynamisch bepaalt hoeveel agents nodig zijn voor een specifieke vraag.

2. Methodologie: EvolveRouter

EvolveRouter is een trainbaar framework dat routing (het selecteren van agents) en prompt-optimalisatie (het verbeteren van de instructies van agents) combineert in een gesloten lus van co-evolutie. Het proces verloopt in drie fasen:

A. Router Training en Diagnostiek (Fase 1)

• Kennisgrafiek Constructie: Elke QA-instance (vraag + context) wordt omgezet in een gestructureerde kennisgrafiek (Knowledge Graph - KG). Deze grafiek bevat knopen voor de vraag, de agents en de entiteiten uit de context, met randen die relaties weergeven.
• RouterGNN: Een heterogene Graph Neural Network (GNN) wordt getraind om een score te geven voor elke agent op basis van de vraag en de grafiekstructuur. Dit levert een waarschijnlijkheidsverdeling $p(a|q)$ op.
• Diagnostiek: Tijdens het trainen worden niet alleen de router-parameters geoptimaliseerd, maar ook gedetailleerde diagnostische signalen verzameld. Dit omvat foutarchieven, prestaties per agent en de gewichten die de router toekent. Dit helpt om te identificeren welke agents consistent falen en waarom.

B. Gesloten-Lus Prompt Refinement (Fase 2)

Dit is het kerninnovatiepunt. In plaats van agents als statisch te beschouwen, worden hun prompts iteratief verbeterd:

1. Doelselectie: Agents worden geselecteerd voor optimalisatie op basis van een prioriteitscore. Deze score combineert de ernst van de fouten ($1 - F1$) met de mate waarin de router op die agent vertrouwt (router weight). Agents die slecht presteren maar toch vaak worden geselecteerd, krijgen de hoogste prioriteit.
2. Prompt Rewriting: Een "rewriter LLM" genereert nieuwe versies van de prompt voor de geselecteerde agents, gebaseerd op de verzamelde foutarchieven. De herschrijvingen zijn beperkt tot kleine aanpassingen (toevoegen, herschrijven, verwijderen van zinnen) om de kernstrategie van de agent intact te houden.
3. Validatie en Update: Nieuwe prompts worden getest op een valideringsset. Alleen prompts die een netto verbetering bieden zonder regressie, worden geaccepteerd.
4. Incrementele Router Update: Na het updaten van de prompts wordt de router niet vanaf nul getraind, maar doorgestart vanaf het vorige checkpoint. Dit behoudt de geleerde routingpatronen voor de onveranderde agents en maakt het proces efficiënt.

C. Adaptieve Inference via Akkoord (Fase 3)

Tijdens het toepassen (inference) wordt geen vaste groep agents gebruikt.

• Ranking: De router rangschikt de agents op basis van hun waarschijnlijkheid voor de specifieke vraag.
• Dynamische Stopconditie: Agents worden sequentieel opgeroepen in volgorde van rang. De methode berekent een gewichtend akkoord (weighted agreement) tussen de antwoorden van de opgeroepen agents.
• Stoppen: Zodra het gewichtend akkoord een drempelwaarde ($\tau$) overschrijdt (na een minimum aantal agents $k_{min}$), stopt het proces. Dit bepaalt dynamisch de effectieve samenwerkingsgrootte $K$ per vraag. Makkelijke vragen vereisen minder agents; moeilijke vragen roepen er meer aan.

3. Belangrijkste Bijdragen

1. Co-evolutie van Routing en Specialisatie: Het eerste framework dat routeren en prompt-optimalisatie in een gesloten lus koppelt. Router-diagnostiek stuurt de verbetering van agents aan, en betere agents leveren op hun beurt scherpere supervisie voor de router.
2. Adaptieve Samenwerking: In plaats van een vaste pool, bepaalt het systeem dynamisch het aantal benodigde agents per vraag via een gewichtend akkoordmechanisme, wat leidt tot aanzienlijke kostenbesparingen.
3. Uitgebreide Experimenten: De methode is getest op vijf verschillende QA-benchmarks (o.a. HotpotQA, TriviaQA, NewsQA) en overtreft consistent de state-of-the-art (SOTA) baselines.

4. Resultaten

De experimenten tonen aan dat EvolveRouter superieur presteert aan zowel heuristische methoden (zoals meerderheidsstemming) als bestaande leer-methoden voor routing (zoals LLM-Blender, GraphRouter, AgentRouter).

• Prestaties: Op alle vijf de benchmarks behaalt EvolveRouter de hoogste scores op zowel Exact Match (EM) als F1-score. De grootste verbeteringen zijn zichtbaar op TriviaQA (+7.08 F1 en +8.67 EM ten opzichte van de beste concurrent), wat suggereert dat de methode zeer gevoelig is voor de juiste afstemming tussen prompt en taak.
• Ablatiestudies:
  • Prompt Optimalisatie (PO): Draagt het meest bij aan de prestatieverbetering (tot +9.21% F1 op TriviaQA). Dit bevestigt dat het verbeteren van de agent-kwaliteit cruciaal is.
  • Adaptieve K: Draagt bij aan efficiëntie en prestaties (+1.52% F1 op 2Wiki), maar minder dan PO. Het toont aan dat dynamisch stoppen effectiever is dan een vaste groep.
• Efficiëntie: Door adaptief te stoppen, reduceert EvolveRouter het aantal agent-aanroepen met 69% tot 88% ten opzichte van het gebruik van de volledige pool (24 agents), terwijl de prestaties gelijk blijven of verbeteren.
• Stabiliteit: De methode vertoont lagere variantie in prestaties dan andere methoden, wat wijst op een robuuster systeem.

5. Significantie

EvolveRouter markeert een verschuiving in het onderzoek naar multi-agent systemen:

• Van Selectie naar Co-creatie: Het erkent dat het selecteren van de beste agent niet genoeg is als de agent zelf suboptimaal is geconfigureerd. Het combineert systeem-architectuur met agent-verbetering.
• Efficiëntie vs. Kwaliteit: Het lost het dilemma op tussen hoge kwaliteit (veel agents) en lage kosten (weinig agents) door een slimme, data-gedreven stopconditie.
• Generalisatie: Hoewel de routing kennis specifiek is voor een dataset (transfer learning is moeilijk), bewijst het framework dat prompt-optimalisatie gedeeltelijk overdraagbaar is en dat de combinatie van beide componenten essentieel is voor optimale prestaties.

Kortom, EvolveRouter biedt een robuust en efficiënt kader voor multi-agent QA dat niet alleen de juiste tools selecteert, maar de tools zelf ook continu verbetert en het gebruik ervan dynamisch aanpast aan de complexiteit van de vraag.