💻 computer science

QueenBee Planner: Skill-Evolving Communication Topologies for Token-Efficient LLM Multi-Agent Systems

Il framework QueenBee Planner potenzia i sistemi multi-agente LLM efficienti nei token trattando le topologie di comunicazione inter-agente come una capacità di progettazione auto-migliorabile, in cui un pianificatore apprendibile genera strutture di passaggio di messaggi ottimali che superano significativamente i baseline a struttura fissa o a partenza a freddo in termini di accuratezza e costi, distillando al contempo le tracce di esecuzione in regole di progettazione robuste e resistenti alla falsificazione.

Autori originali: Congjia Tian, Yuhang Yao, Jiaming Cui

Pubblicato 2026-06-29

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Congjia Tian, Yuhang Yao, Jiaming Cui

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un team di 8 esperti brillanti ma isolati (i "lavoratori"). Ognuno di loro ha un piccolo pezzo di un puzzle gigante (un "frammento" di dati), ma nessuno di loro può vedere l'immagine completa. Il loro compito è trovare la risposta finale, ma possono farlo solo comunicando tra di loro.

La grande domanda che il documento pone è: Come dovrebbero parlare questi esperti tra di loro?

Dovrebbero urlare tutti insieme? Dovrebbero formare un cerchio? Dovrebbero passarsi dei biglietti in fila? O dovrebbero formare una specifica gerarchia dove alcuni collezionano i biglietti e li trasmettono verso l'alto?

Nella maggior parte dei sistemi informatici, gli ingegneri scelgono un modo per connettere questi esperti (una "topologia fissa") e si tengono affezionati ad esso. Questo documento presenta QueenBee Planner, un sistema che non si limita a scegliere uno stile di connessione, ma impara come progettare il miglior flusso di conversazione per il lavoro, diventando più intelligente ogni volta che ci prova.

Ecco come funziona, suddiviso in concetti semplici:

1. L' "Architetto" contro i "Lavoratori"

Pensa al sistema come a due ruoli distinti:

I Lavoratori: Questi sono gli esperti che eseguono effettivamente i calcoli o il ragionamento. In questo sistema, sono congelati. Non imparano nulla di nuovo; si limitano a fare il loro lavoro esattamente come hanno sempre fatto.
Il QueenBee Planner: Questo è l' "Architetto". Non esegue i calcoli. Il suo unico compito è disegnare una mappa (un "DAG di comunicazione") che dice: "Nel Round 1, l'Esperto A invia un biglietto all'Esperto B. Nel Round 2, l'Esperto B fonde quel biglietto con i propri appunti e lo invia all'Esperto C."

La magia è che l' Architetto impara. Prova diverse mappe, vede quali portano la risposta corretta con il minor numero di chiacchiere e ricorda quelle buone per la volta successiva.

2. La "Banca delle Abilità" (Il taccuino dell'Architetto)

Invece di limitarsi a indovinare, l'Architetto tiene un taccuino di "Abilità di Progettazione". Queste non sono risposte a enigmi specifici; sono regole su come connettere le persone.

Preservare: "Ehi, questo specifico modo di passarsi i biglietti ha funzionato benissimo l'ultima volta. Continuiamo a farlo."
Modificare: "Questo schema di passaggio dei biglietti ha funzionato, ma ora abbiamo un puzzle leggermente diverso. Modifichiamolo un po'."
Evitare: "L'ultima volta abbiamo provato questo specifico schema, tutti si sono confusi e la risposta era sbagliata. Mai più."

3. I "Cancelli di Sicurezza" (Prevenire le cattive abitudini)

Il documento è molto attento a come l'Architetto impara. Sa che a volte si può ottenere un successo fortuito o un colpo di fortuna. Se l'Architetto memorizzasse semplicemente ogni vittoria fortunata, inizierebbe a prendere decisioni errate.

Per questo motivo, il sistema dispone di rigorosi "Cancelli di Sicurezza" prima di scrivere qualsiasi cosa nel taccuino:

Il Test "Held-Out": L'Architetto non può limitarsi a dire: "Sono andato bene nel test di pratica, quindi sono intelligente". Deve dimostrare di saper andare bene anche su un nuovo test che non ha ancora visto.
Il Controllo della "Corsa Fortunata": Se un design ha funzionato una sola volta per caso, il sistema lo ignora. Deve vedere il design funzionare in modo costante prima di aggiungerlo al taccuino.
Il Controllo di "Falsificazione": Se l'Architetto propone una spiegazione elaborata sul perché un design funzioni, il sistema prova a dimostrare che è sbagliata. Se la spiegazione non riesce a sopravvivere al test, il design non viene aggiunto.

4. I Risultati: Mappe più intelligenti, meno rumore

I ricercatori hanno testato il sistema su due tipi di compiti:

Conteggio della Frequenza (CF): Un compito in cui il team deve contare quante volte i numeri compaiono in una lista gigante.
Compiti Silo: Un compito in cui le informazioni sono nascoste in "silos" separati e il team deve coordinarsi per trovare la risposta globale.

Cosa è successo?

Topologie Fisse: Quando il team ha utilizzato uno stile di connessione pre-impostato (come un albero standard o un cerchio), ha commesso errori e ha utilizzato molti "token" (energia del computer/denaro).
Generazione a Freddo (Cold Generation): Quando l'Architetto ha cercato di disegnare una mappa da zero senza memoria, è stato instabile e spesso errato.
QueenBee (Auto-Evolutivo): Dopo alcuni round di apprendimento, l'Architetto ha iniziato a disegnare mappe ibride. Queste mappe erano spesso più semplici e dirette rispetto a quelle fisse.
- Nel compito di conteggio, il sistema QueenBee ha ridotto gli errori del 37% e ha tagliato i costi (messaggi e chiamate al computer) di oltre la metà rispetto al miglior metodo fisso.
- Nei compiti "Silo", il sistema ha imparato a coordinarsi meglio di quanto potesse fare persino una mappa fissa "perfetta".

Il Grande Messaggio

Il documento sostiene che l' architettura (come gli agenti sono connessi) è importante quanto l'intelligenza degli agenti stessi.

Trattando "il modo di connettere gli agenti" come una abilità apprendibile piuttosto che come un'impostazione fissa, il sistema impara a costruire reti di comunicazione migliori nel tempo. Non si limita a memorizzare risposte; impara il progetto per risolvere i problemi in modo efficiente. I lavoratori rimangono gli stessi, ma il modo in cui comunicano tra loro evolve per diventare più veloce, economico e accurato.

Riepilogo Tecnico: QueenBee Planner

Problematica

Il paradigma di progettazione per i sistemi multi-agente basati su Large Language Model (LLM) si è spostato dall'ottimizzazione del ragionamento del singolo agente (es. prompting, catene di pensiero) all'ottimizzazione dell'organizzazione degli agenti che interagiscono. Sebbene il lavoro recente abbia stabilito che la topologia di comunicazione è un determinante primario di accuratezza, costo e robustezza del sistema, gli approcci esistenti condividono un limite critico: tipicamente progettano una topologia per un compito specifico e poi si fermano. Non riescono ad accumulare conoscenza progettuale riutilizzabile sulle strutture di comunicazione attraverso i diversi compiti. Inoltre, i metodi attuali spesso confondono il comportamento di risoluzione del compito con la progettazione architettonica, o ottimizzano il routing senza memorizzare esplicitamente le lezioni sulla topologia.

La sfida centrale affrontata da questo articolo è impedire che un ciclo di auto-miglioramento del design trasformi il rumore (corse fortunate, spiegazioni plausibili ma false) in una policy. Un architetto auto-evolutivo affidabile richiede una disciplina esplicita per garantire che i miglioramenti nella struttura di comunicazione siano genuini, riproducibili e distinti dalle capacità degli agenti lavoratori sottostanti.

Metodologia

L'articolo introduce QueenBee Planner, un framework che tratta la topologia di comunicazione tra agenti come una competenza progettuale recuperabile e auto-migliorabile. Il sistema opera sotto una rigorosa separazione delle responsabilità:

1. Separazione Planner-Worker

Workers Congelati: Un pool di agenti lavoratori, un adattatore di task e una funzione di punteggio rimangono fissi durante l'intero processo di apprendimento. I lavoratori osservano solo frammenti privati di un compito e aggiornano i loro stati di credenza in base ai messaggi ricevuti.
Planner Generativo: Un LLM esterno agisce come architetto. Il suo unico obiettivo di apprendimento è generare grafi aciclici diretti (DAG) temporali di comunicazione. Questi DAG specificano chi invia informazioni a chi, in quale round, chi fonde i messaggi e chi emette la risposta finale.

2. DAG di Comunicazione Temporale

Il planner genera un grafo temporale srotolato $G = (N, T, E, h, I, R)$ , dove:

$N$ è il numero di lavoratori.
$T$ è il numero di round di comunicazione.
$E$ rappresenta gli archi temporali diretti (flussi di messaggi).
$h$ è il detentore della risposta finale.
Il grafo è vincolato da limiti di fattibilità sui round ( $T_{max}$ ), sul numero totale di archi ( $M$ ) e sul fan-in massimo ( $\beta$ ) per controllare i costi dei token e la complessità della fusione.

3. Skill Bank e Regole di Progettazione

La memoria del planner è una Skill Bank contenente regole di progettazione supportate da evidenze. Ogni skill $s = (z, r, a, q, E)$ consiste di:

Condizione ( $z$ ): Caratteristiche del task (es. numero di agenti, budget).
Regola ( $r$ ): Pattern strutturale (es. "riduzione a stadi", "arco di audit").
Azione ( $a$ ): Una di tre azioni:
- Preservare: Mantenere la struttura come uno scaffold eseguibile.
- Modificare: Adattare la struttura centrale per condizioni di task leggermente diverse.
- Evitare: Trattare la struttura come un vincolo negativo a causa di fallimenti passati.
Evidenza ( $E$ ): Dati di supporto e controesempi.

4. Ciclo di Auto-Evoluzione Disciplinato

Per prevenire il drift e l'overfitting, il sistema impiega diversi meccanismi rigorosi prima di aggiornare la Skill Bank:

Attribuzione del Credito a Livello di Motif: Invece di assegnare il credito agli interi grafi, il sistema decompone i grafi in motivi strutturali (es. limiti di fan-in, profondità di riduzione). Il credito è assegnato a questi motivi con una penalità consapevole della varianza per evitare che successi fortuiti di una singola corsa dominino il processo.
Gate di Accettazione su Dati Non Visti (Held-Out): Gli aggiornamenti ( $\Delta S$ ) sono ammessi nella Skill Bank a lungo termine solo se dimostrano di migliorare le prestazioni su task e seed tenuti fuori dal training (held-out), non solo sui dati di addestramento.
Credito Consapevole della Varianza: Le regole richiedono un numero minimo di campioni e stime conservative della perdita per garantire la stabilità.
Falsificazione dell'Insight: Gli insight in linguaggio naturale proposti dal planner sono trattati come ipotesi e devono superare i controlli di falsificazione su evidenze non viste prima di diventare skill.
Fiducia nel Trasferimento: Le skill non vengono applicate automaticamente a tutti i task; vengono dispiegate solo se esiste un'evidenza di successo diretta o indiretta per lo specifico slot del task.
Dedulplicazione Strutturale: Le specifiche di grafi isomorfi vengono fuse per evitare che la Skill Bank cresca linearmente con i round di esecuzione.

Contributi Chiave

Riformulazione della Topologia come Skill: L'articolo ricategorizza la topologia di comunicazione multi-agente come una competenza progettuale recuperabile e auto-migliorabile, separando l' "architetto" (planner) dai "lavoratori". L'oggetto appreso è la conoscenza della progettazione della comunicazione, non il comportamento di risoluzione del task.
Meccanismo per un Auto-Miglioramento Disciplinato: Introduce un framework completo per la generazione di DAG temporali condizionati da una skill bank, caratterizzato da gate su dati non visti, attribuzione a livello di motif, credito consapevole della varianza e falsificazione degli insight per garantire un'evoluzione affidabile.
Rivendicazione Empirica sull'Apprendimento Architetturale: Gli autori dimostrano che, sotto queste discipline, un planner può migliorare le sue strutture di comunicazione su task non visti mentre il pool di lavoratori rimane congelato, provando che il sistema impara a progettare organizzazioni piuttosto che limitarsi a memorizzare risposte.

Risultati Sperimentali

Il metodo è stato valutato su due famiglie di task: aggregazione Count-Frequency (CF) e coordinamento distribuito in stile Silo-Bench.

Task Count-Frequency (CF):
- Nel setting DeepSeek-V4-Flash fulltest, il grafo auto-evoluto migliore finora (una struttura ibrida di riduzione-audit) ha ridotto l'RMSE da 12.53 (topologia fissa più forte) a 7.87.
- Questo miglioramento è accompagnato da significativi guadagni di efficienza: una riduzione del 74,2% nei messaggi, una riduzione del 54,5% nelle chiamate al modello e una riduzione del 59,6% dei costi dei token rispetto alla migliore topologia fissa.
- I miglioramenti sono stati coerenti tra vari modelli di worker (DeepSeek, Qwen, GPT-4o, MiMo), con riduzioni dell'RMSE compresi tra il 14% e il 56%.
Task in stile Silo-Bench:
- La generazione di grafi auto-evoluti ha raggiunto un Exact Match (EM) di 0.539 (dopo 3 round), superando la generazione a freddo (0.125), la migliore topologia fissa singola (0.333) e persino un'oracolo a topologia fissa per caso (0.417).
- Ciò suggerisce che il sistema impara strutture raffinate e condizionate al task piuttosto che limitarsi a selezionare da un set fisso di topologie.
Traiettoria di Evoluzione:
- L'analisi round-per-round ha mostrato che, sebbene l'esplorazione introduca rumore (fluttuazioni dell'RMSE), l'archivio "best-so-far" mantenuto migliora costantemente, dimostrando che il sistema accumula conoscenza progettuale riutilizzabile (es. riduzione a stadi, copertura del sink) nel tempo.

Significato e Rivendicazioni

L'articolo sostiene che l'architettura di un sistema multi-agente non è un semplice dettaglio di implementazione, ma un oggetto esplicito di apprendimento. QueenBee Planner dimostra che i sistemi multi-agente possono apprendere conoscenza progettuale architettonica riutilizzabile (quando preservare, modificare o evitare pattern di comunicazione) piuttosto che limitarsi a memorizzare le risposte ai task.

Gli autori rimangono modesti riguardo all'ambito, notando che i risultati attuali si basano su specifiche famiglie di task (CF e stile Silo) e un numero limitato di round di evoluzione. Essi postulano che il sistema non scopra una singola topologia universalmente ottimale, ma accumuli prior trasferibili. Il contributo primario è la validazione del fatto che un sistema con worker congelati può migliorare le proprie prestazioni esclusivamente evolvendo la propria policy di progettazione della comunicazione attraverso una riflessione auto-analitica disciplinata e basata sulle evidenze.