Learning Transferable Topology Priors for Multi-Agent LLM Collaboration Across Domains

Sintesi Tecnica: Apprendimento di Priors Topologici Trasferibili per la Collaborazione di LLM Multi-Agente tra Domini

Enunciato del Problema
I sistemi multi-agente basati su Modelli Linguistici di Grande Dimensione (LLM) hanno dimostrato un forte potenziale per il ragionamento complesso coordinando agenti specializzati attraverso comunicazioni strutturate. Tuttavia, in contesti multi-dominio (ad esempio, sanità, diritto, scienza), i metodi esistenti di evoluzione della topologia costruiscono o ottimizzano tipicamente una topologia di collaborazione per ogni query da zero. Questo approccio comporta un sostanziale onere di ricerca online, un elevato consumo di token al momento dell'inferenza e una scalabilità limitata. I paradigmi attuali affrontano un compromesso: i metodi di prompting privi di addestramento sono limitati dalle capacità congelate del modello sottostante, mentre i metodi di fine-tuning intensivi dal punto di vista dell'addestramento rischiano la dimenticanza catastrofica e costi di archiviazione elevati attraverso più domini. La sfida centrale consiste nel riutilizzare strutture di collaborazione efficaci tra domini per adattarsi a nuovi compiti senza dover ripetutamente cercare topologie di comunicazione da zero.

Metodologia: Framework TopoPrior
Gli autori propongono TopoPrior, un framework progettato per apprendere priors topologici trasferibili per la collaborazione di LLM multi-agente. Invece di trattare ogni query come un nuovo problema di ricerca topologica, TopoPrior sposta parte del carico di ricerca dall'ottimizzazione online per query all'apprendimento offline di priors cross-dominio. Il framework è composto da due componenti chiave:

1. Apprendimento di Prior Topologici Trasferibili:
   Questo modulo utilizza un framework grafico variazionale condizionale per catturare regolarità strutturali riutilizzabili nei grafi di collaborazione tra domini.

   • Codificatore Variazionale: Utilizza una Rete Convoluzionale Grafica (GCN) per codificare grafi di riferimento di collaborazione e le relative query in uno spazio latente condiviso.
   • Generatore Condizionale: Ricostruisce autoregressivamente topologie iniziali condizionate alla query dal prior latente appreso e dalla query di input. Genera nodi agenti (selezionando da un pool di ruoli predefinito) e collegamenti di comunicazione diretti.
   • Prior Condizionale: Mappa query non viste a regioni utili dello spazio latente topologico, fungendo da prior specifico per la query quando i grafi di riferimento non sono disponibili al momento dell'inferenza.

2. Adattamento Latente Condizionato alla Query:
   Per garantire che i priors appresi siano robusti tra i domini pur rimanendo sensibili alle esigenze specifiche della query, il framework introduce un modulo di adattamento latente avversario.

   • Un discriminatore avversario di dominio viene applicato alla variabile latente $z$ per ridurre la discrepanza di dominio non necessaria durante l'addestramento.
   • Ciò è ottenuto tramite un livello di inversione del gradiente (GRL), che allinea le distribuzioni latenti tra i domini sorgente senza cancellare le variazioni strutturali dipendenti dalla query necessarie per la specializzazione del compito.

Contributi Chiave

• Formulazione del Problema: Gli autori formulano l'inizializzazione topologica per sistemi multi-agente LLM in contesti multi-dominio come un problema di apprendimento di priors topologici trasferibili, dove strutture di collaborazione riutilizzabili vengono apprese offline per migliorare l'evoluzione a valle.
• Progettazione del Framework: Propongono TopoPrior, un framework leggero che combina l'apprendimento di prior topologici variazionali condizionali con l'adattamento latente condizionato alla query per generare grafi di collaborazione iniziali informativi.
• Validazione Empirica: Estesi esperimenti sui benchmark MMLU e C-Eval dimostrano che TopoPrior migliora le prestazioni di ragionamento a valle e l'efficienza dei token di inferenza online attraverso molteplici backbones di evoluzione topologica eterogenei con un sovraccarico di parametri modesto.

Risultati Sperimentali
Gli autori hanno valutato TopoPrior su MMLU e C-Eval (incluso un sottoinsieme "Hard") utilizzando tre backbones LLM: Llama3-8B-Instruct, DeepSeek-V3-671B-Instruct e Qwen2.5-72B-Instruct. Il framework è stato integrato con quattro backbones esistenti di evoluzione topologica: G-Designer, AgentPrune, ARG-Designer e AgentDropout.

• Prestazioni: L'integrazione di TopoPrior ha migliorato costantemente le prestazioni a valle. Ad esempio, su MMLU con Llama3-8B-Instruct, TopoPrior+ARG ha migliorato l'accuratezza media dal 65,58% al 68,53% (+2,95 punti). Guadagni simili sono stati osservati su altri backbones e modelli più grandi.
• Efficienza: Il framework ha ridotto significativamente l'uso di token al momento dell'inferenza online, con riduzioni fino al 40,22% osservate in determinate configurazioni. Ha anche ridotto il numero di round di comunicazione richiesti per la convergenza.
• Efficienza dei Parametri: Il generatore di prior topologici ha introdotto solo 3,3 milioni di parametri addestrabili aggiuntivi (per un totale di ~7,1M con il backbone), un aumento trascurabile rispetto al backbone da 8B di parametri e significativamente inferiore rispetto a baseline intensive per l'addestramento come MoDULA o MoDE.
• Ablazione e Generalizzazione: Gli studi di ablazione hanno confermato che l'obiettivo di apprendimento del prior topologico ($L_{prior}$) è il componente centrale, mentre l'adattamento latente ($L_{adapt}$) e il prior condizionato alla query ($f_{prior}$) forniscono stabilità. Il framework ha anche dimostrato robustezza sotto supervisione debole (utilizzando grafi di riferimento parzialmente convergenti) e una generalizzazione efficace fuori dominio verso domini non visti (ad esempio, Arte, Militare) mappando le query in cluster latenti semanticamente plausibili.

Significato e Affermazioni
Il documento afferma che l'inizializzazione topologica trasferibile è un meccanismo efficace e leggero per migliorare l'efficienza della collaborazione di LLM multi-agente tra domini. Ammortizzando il costo della ricerca topologica tra query e domini attraverso l'apprendimento offline di priors, TopoPrior permette ai sistemi multi-agente di adattarsi a nuovi compiti senza l'elevato onere di cercare topologie di comunicazione da zero.

Gli autori sottolineano che il loro approccio è complementare ai backbones esistenti di evoluzione topologica, fornendo un segnale di inizializzazione più forte piuttosto che sostituire i meccanismi di raffinamento a valle. Osservano che, sebbene esista un costo offline per la generazione di grafi di riferimento, i risparmi in termini di token durante l'inferenza possono ammortizzare tale costo a scale di distribuzione sufficientemente grandi (punto di pareggio stimato a ~373.670 query per il set di test MMLU). Il lavoro suggerisce che l'apprendimento di regolarità strutturali riutilizzabili è una direzione pratica per migliorare l'adattabilità e l'efficienza dei sistemi multi-agente, in particolare in scenari che richiedono competenze diversificate attraverso più domini.