Sintesi Tecnica: GRADE – Gated Routing and Adaptive Depth for Efficient Multi-Agent Reasoning

Problematica

Il paper affronta il rendimento decrescente e i costi linearmente crescenti associati alla scalabilità dei Large Language Models (LLM). Sebbene il coordinamento multi-agente offra una via per superare i modelli monolitici con una frazione del budget di parametri attivi, gli approcci esistenti soffrono di tre criticità fondamentali:

1. Profondità Adattiva Limitata: La maggior parte dei sistemi instrada ogni query attraverso l'intero stack di agenti indipendentemente dalla difficoltà, fallendo nell'implementare un calcolo adattivo o un'uscita anticipata (early exit) attraverso pool multi-agente eterogenei.
2. Controllo Grossolano della Comunicazione: I sistemi tipicamente trasmettono tutti i messaggi o li aggregano senza filtraggio. Il controllo della comunicazione inter-agente appreso e selettivo (decidere quando e con chi comunicare) all'interno di un framework gerarchico addestrato congiuntamente rimane inesplorato.
3. Mancanza di Ricalibrazione: I sistemi precedenti mancano di meccanismi per ricalibrare le soglie di gating quando gli esperti vengono scambiati durante l'inferenza. Sostituire un esperto silenziosamente invalida le soglie tarate sulla distribuzione di output del modello originale, portando al collasso delle prestazioni.

Metodologia: Il Framework GRADE

Gli autori propongono GRADE (Gated Routing and Adaptive Depth for Efficient Reasoning), un sistema multi-agente gerarchico che alloca dinamicamente il calcolo, seleziona gli agenti e gestisce la comunicazione tramite quattro gate appresi congiuntamente.

Architettura

GRADE opera su una gerarchia a tre livelli:

• Livello 0 (Orchestratore): Un modello leggero ($M_0$) che consuma la rappresentazione codificata della query e può fornire una risposta diretta o instradare verso livelli più profondi.
• Livello 1 (Manager): Due moduli manager che proiettano la rappresentazione della query e forniscono segnali di raggruppamento per influenzare l'assegnazione dei sub-agenti. Non generano token, ma facilitano il reclutamento di specialisti correlati.
• Livello 2 (Sub-Agenti): Un pool di agenti esperti specializzati estratti da un Expert Registry. Ogni agente consiste in un backend LLM congelato, un adapter addestrabile leggero, una testa di risposta e una mappa di calibrazione.

Gate di Coordinamento

Quattro gate appresi (piccoli MLP) governano il comportamento del sistema in un singolo passaggio in avanti (forward pass):

1. Assignment Gate: Seleziona quali sub-agenti attivare in base all'affinità query-agente e ai segnali di raggruppamento dei manager. Supporta la topologia dinamica (campionamento di Bernoulli) o il top-$k$ fisso.
2. Depth Gate: Determina il livello gerarchico da attraversare (0: solo Orchestratore; 1: Manager; 2: Full pool di sub-agenti), abilitando il calcolo adattivo.
3. Cross-Read Gate: Un meccanismo di comunicazione selettiva che determina quali coppie di agenti scambiano informazioni tramite una maschera binaria prima della combinazione.
4. Prute Gate: Assegna una stima di utilità alle branche attive, scartando le branche a bassa utilità prima dello step di combinazione tramite cross-attention, che è più oneroso.

Addestramento: CoGRPO

Il sistema è addestrato end-to-end utilizzando CoGRPO (Collaborative Group-Relative Policy Optimization), un adattamento senza critic di Group-Relative Policy Optimization (GRPO).

• Policy Congiunta: Il sistema ottimizza una policy congiunta su profondità, assegnazione degli agenti, maschere di comunicazione e decisioni di pruning.
• Assegnazione del Credito: Invece di un critic appreso, CoGRPO calcola un vantaggio relativo al gruppo condiviso ($\hat{A}$) per ogni gate e agente che partecipa a un rollout. Questa "assegnazione collaborativa del credito" aggiorna tutti i partecipanti con lo stesso segnale di vantaggio scalare.
• Funzione di Reward: Il reward combina un segnale di correttezza terminale, un termine di margine per la log-probabilità, un termine di allineamento a livello di agente e una penalità di costo per scoraggiare il calcolo non necessario.

Esperti Scambiabili a Caldo (Hot-Swappable Experts)

Per consentire la sostituzione degli esperti a tempo di inferenza senza riaddestrare i gate, GRADE impiega mappe di calibrazione per agente ($\kappa_a$). Queste sono normalizzazioni affini addestrabili che allineano le distribuzioni di embedding dei nuovi esperti con la distribuzione di addestramento utilizzando solo 64 query ancora (anchor queries).

Contributi Chiave

1. Impalcatura di Coordinamento (Coordination Harness): Un framework unificato con quattro gate addestrati congiuntamente che consente l'allocazione del calcolo per query, la comunicazione selettiva e il pruning delle branche.
2. CoGRPO: Una nuova ricetta di addestramento senza critic per gerarchie multi-agente che assegna vantaggi condivisi a tutti i componenti partecipanti, stabilizzando l'addestramento senza una funzione di valore.
3. Expert Registry & Calibration: Un meccanismo per la sostituzione sicura e a runtime degli esperti che mantiene le prestazioni attraverso la calibrazione per agente, richiedendo nessun riaddestramento dei gate.

Risultati Sperimentali

GRADE è stato valutato su GSM8K, MMLUPro, GPQA e AIME-2025 utilizzando una media di ~17B di parametri attivi (che variano da 0.5B per query facili a ~32B per quelle difficili).

• Performance: GRADE supera tutti i baseline su GSM8K (94.8%), MMLUPro (78.2%) e GPQA (57.4%). Notevolmente, supera il baseline più forte (Puppeteer) di 4.8 punti su MMLUPro e 3.3 punti su GPQA pur utilizzando circa la metà del calcolo attivo.
• Efficienza: Su MMLUPro, GRADE raggiunge l'accuratezza più elevata con un intervallo di latenza di 3.1–11.4 secondi (a seconda della difficoltà della query) e 52GB di VRAM, rispetto alla latenza fissa di 13s e 56GB di VRAM di Puppeteer.
• AIME-2025: Su questo benchmark matematico di livello olimpico, Puppeteer mantiene un vantaggio di 1.9 punti (27.2% vs 25.3%). Gli autori attribuiscono ciò alla necessità di catene di ragionamento sequenziali più profonde, dove la capacità individuale dei sub-agenti più piccoli di GRADE (3B–7B) è insufficiente rispetto ai modelli più grandi di Puppeteer.
• Ablazioni:
  • Gerarchia: Rimuovendo il Depth Gate e il livello manager, l'accuratezza scende di 7.2 punti.
  • Comunicazione: Disabilitando il Cross-Read, l'accuratezza scende di 4.2 punti, evidenziando l'importanza della comunicazione inter-agente selettiva.
  • Calibrazione: Rimuovere la calibrazione causa un calo immediato di 18 punti di accuratezza al momento dello scambio degli esperti, richiedendo 20+ query per recuperare, mentre gli scambi calibrati recuperano entro 9 query.

Significato e Claim

Il paper sostiene che i guadagni nel ragionamento multi-agente derivano dalla "restrizione, non dall'aggiunta di capacità". Il sistema ottiene risultati allo stato dell'arte non aggiungendo più calcolo, ma imparando a trattenere il calcolo sulle query facili, eliminare le branche non informative e comunicare selettivamente.

Gli autori sottolineano che:

• Il routing dinamico è superiore agli ensemble a $k$ fisso; il sovradimensionamento degli agenti (ad esempio, usando $k=5$ invece di $k=3$) inietta rumore e degrada le prestazioni.
• La comunicazione selettiva (Cross-Read) è critica; forzare la comunicazione completa ($\rho=1.0$) danneggia le prestazioni introducendo rumore ridondante.
• La calibrazione è un meccanismo di sicurezza per l'adattabilità a runtime, permettendo al sistema di scambiare esperti senza riaddestrare la logica di coordinamento centrale.

Il lavoro stabilisce che i sistemi multi-agente gerarchici addestrati con RL collaborativo possono superare i modelli monolitici e gli ensemble piatti con un budget di parametri attivi significativamente inferiore, a condizione che il sistema possa adattare la sua profondità e la sua strategia di comunicazione alla difficoltà della query.