EvolveRouter: Co-Evolving Routing and Prompt for Multi-Agent Question Answering

1. Il Problema

L'ecosistema degli agenti basati su Large Language Models (LLM) offre un vasto spazio di design che combina diversi modelli di base (backbone), strategie di prompting (es. Chain-of-Thought, Debate) e protocolli di interazione. Tuttavia, l'ottimizzazione di questi sistemi presenta due limitazioni fondamentali nei metodi di routing esistenti:

1. Agenti Fissi e Configurazioni Subottimali: I metodi di routing attuali trattano il comportamento degli agenti come statico, ottimizzando solo quale agente invocare per una data query, senza migliorare la qualità intrinseca degli agenti stessi. Poiché le variazioni anche minime nel prompt possono alterare drasticamente le prestazioni (come dimostrato empiricamente nel paper), un routing efficace non può essere raggiunto se le configurazioni di base degli agenti rimangono subottimali.
2. Scheme di Collaborazione Rigidi: Le metodologie esistenti tendono a utilizzare schemi di collaborazione rigidi: o instradano ogni query a un singolo agente (rischiando di perdere competenze complementari) o aggregano risposte da un set fisso di agenti (spendendo risorse computazionali su partecipanti irrilevanti o deboli). Manca un meccanismo adattivo che determini dinamicamente quanti agenti dovrebbero collaborare per ogni specifica query.

2. Metodologia: EvolveRouter

Il paper propone EvolveRouter, un framework addestrabile che risolve queste limitazioni attraverso un processo di co-evoluzione in ciclo chiuso tra il routing e il raffinamento dei prompt, integrato con una strategia di inferenza adattiva.

A. Co-Evoluzione Chiusa (Closed-Loop Co-Evolution)

Il framework alterna due fasi principali per migliorare congiuntamente la qualità del routing e quella degli agenti:

1. Training del Router e Diagnostica:

   • Le istanze di QA (domanda, contesto) vengono convertite in Grafici della Conoscenza (KG) eterogenei, contenenti nodi per la query, gli agenti e le entità estratte dal contesto.
   • Viene addestrato un RouterGNN (una Graph Neural Network eterogenea) che apprende a prevedere la distribuzione di probabilità $p(a|q)$ su quali agenti siano più adatti per una data query, basandosi sulle relazioni strutturali nel grafo.
   • Durante l'addestramento, il sistema raccoglie segnali diagnostici dettagliati: archivi di fallimenti, statistiche sui pesi assegnati dal router e profili di prestazione per ogni coppia "backbone-ruolo".

2. Raffinamento dei Prompt (Prompt Refinement):

   • Utilizzando i segnali diagnostici, il sistema identifica gli agenti che performano male ma che il router continua a considerare rilevanti (alto peso di routing).
   • Un LLM "rewriter" genera candidati di riscrittura per i prompt di questi agenti specifici, basandosi sugli esempi di fallimento. Le riscritture sono vincolate a preservare la strategia di ragionamento originale, modificando solo istruzioni specifiche per correggere errori ricorrenti.
   • I candidati vengono validati su un subset mirato. Se un nuovo prompt migliora le prestazioni senza causare regressioni, viene accettato.
   • Il router viene poi fine-tuned (non ri-addestrato da zero) sul pool di agenti aggiornato, preservando la conoscenza di routing accumulata mentre si adatta ai nuovi agenti migliorati. Questo ciclo si ripete per più round.

B. Inferenza Adattiva (Adaptive Inference)

Per superare la rigidità dei set di agenti fissi, EvolveRouter introduce una strategia di arresto dinamica:

• Gli agenti vengono interrogati sequenzialmente secondo il ranking previsto dal router.
• Il sistema calcola un punteggio di accordo ponderato tra le risposte degli agenti consultati, utilizzando i pesi appresi dal router.
• L'inferenza si ferma non appena l'accordo ponderato supera una soglia $\tau$ (dopo un minimo di agenti $k_{min}$).
• Questo permette di determinare dinamicamente il numero efficace di agenti ($K$) necessari per ogni query: le query facili richiedono pochi agenti, mentre quelle complesse ne coinvolgono di più fino a raggiungere un consenso affidabile.

3. Contributi Chiave

1. Co-evoluzione Chiusa di Routing e Specializzazione: È il primo framework che collega l'ottimizzazione del routing con il raffinamento mirato dei prompt degli agenti. I segnali diagnostici del router guidano il miglioramento degli agenti, e gli agenti migliorati forniscono supervisione più pulita per il router.
2. Collaborazione Adattiva: Sostituisce gli schemi di aggregazione fissa con un meccanismo di selezione sequenziale basato sull'accordo delle risposte, ottimizzando il budget computazionale per query.
3. Validazione Sperimentale Completa: Dimostrazione empirica che l'ottimizzazione congiunta supera i metodi di routing statici e che la conoscenza di routing non è facilmente trasferibile tra domini diversi, rendendo necessaria l'ottimizzazione specifica per dataset.

4. Risultati Sperimentali

Il framework è stato valutato su cinque benchmark di Question Answering (QA) con diverse esigenze di ragionamento: 2WikiMultihopQA, HotpotQA, NewsQA, TriviaQA e NGQA.

• Prestazioni Superiori: EvolveRouter supera costantemente i migliori baseline di routing (inclusi metodi basati su grafici come GraphRouter e AgentRouter) sia in termini di F1 che di Exact Match (EM).
  • Il guadagno più significativo è stato osservato su TriviaQA, con un miglioramento di +7.08 punti F1 e +8.67 punti EM rispetto al baseline più forte (AgentRouter).
  • Su tutti i dataset, EvolveRouter supera anche il baseline "Best Agent" (il singolo agente migliore del pool), confermando che la collaborazione instradata aggiunge valore anche dopo l'ottimizzazione dei prompt.
• Stabilità: Il metodo mostra una varianza inferiore rispetto ai baseline, indicando una maggiore consistenza del sistema grazie al raffinamento dei prompt.
• Efficienza Computazionale: La strategia adattiva riduce il numero medio di chiamate agli agenti da 24 (pool completo) a un range di 2.9 - 7.4 per query, ottenendo un risparmio computazionale del 69-88% mantenendo o migliorando la qualità.
• Analisi Ablative:
  • Il raffinamento dei prompt (PO) contribuisce alla maggior parte dei guadagni di prestazioni.
  • L'adattamento di $K$ (numero di agenti) offre miglioramenti consistenti ma più modesti, agendo come componente complementare.
  • Il ri-addestramento del router da zero dopo il raffinamento dei prompt peggiora le prestazioni, confermando la necessità di aggiorni incrementali (fine-tuning) per preservare la conoscenza di routing.

5. Significato e Impatto

Il lavoro di EvolveRouter rappresenta un passo avanti significativo nella progettazione di sistemi multi-agente. Dimostra che:

• Routing e Qualità dell'Agente sono interdipendenti: Non basta scegliere l'agente giusto; bisogna anche assicurarsi che l'agente sia configurato correttamente per il compito.
• L'Adattività è Cruciale: Un approccio "one-size-fits-all" (aggregazione fissa) è inefficiente e subottimale. La capacità di adattare il numero di partecipanti in base alla difficoltà della query è essenziale per l'efficienza.
• Il Ruolo dei Grafici della Conoscenza: Modellare le relazioni tra query, entità e agenti tramite GNN fornisce vantaggi strutturali che i metodi di routing più semplici non possono replicare.

In sintesi, EvolveRouter introduce un paradigma di "co-evoluzione" che trasforma il sistema multi-agente da una collezione statica di modelli a un ecosistema dinamico e auto-migliorante, massimizzando sia l'accuratezza che l'efficienza nelle applicazioni di Question Answering complesse.