Single-Agent LLMs Outperform Multi-Agent Systems on Multi-Hop Reasoning Under Equal Thinking Token Budgets

Lo studio dimostra che, a parità di budget di token di ragionamento, i sistemi a singolo agente superano o eguagliano le prestazioni dei sistemi multi-agente nel ragionamento multi-hop, rivelando che i presunti vantaggi di questi ultimi derivano spesso da un maggior consumo computazionale non controllato e da artefatti metodologici piuttosto che da benefici architetturali intrinseci.

L'essenziale

Immagina di dover risolvere un enigma molto difficile, come trovare un tesoro nascosto in una biblioteca enorme. Hai due squadre di detective a tua disposizione:

1. Il Detective Solitario (SAS - Single-Agent): Un unico genio che legge tutti i libri, pensa a lungo e scrive la sua soluzione su un foglio.
2. La Squadra di Detective (MAS - Multi-Agent): Un gruppo di esperti (uno che cerca le mappe, uno che analizza le prove, uno che critica le idee) che lavorano insieme, passandosi appunti e discutendo tra loro.

Per anni, abbiamo pensato che la Squadra di Detective fosse sempre meglio. "Più teste pensano meglio di una!" è il vecchio detto. Ma questo studio fa una domanda fondamentale: la squadra vince davvero perché è meglio organizzata, o semplicemente perché ha più tempo e più fogli di carta per scrivere?

Il Grande Esperimento: "Stesso Budget, Stesso Tempo"

Gli autori dello studio hanno deciso di fare un esperimento equo. Hanno dato a entrambe le squadre esattamente lo stesso numero di "pensieri" (chiamati token di ragionamento) da usare. Niente trucchi: se il detective solitario ha 1000 pensieri a disposizione, anche la squadra deve usarne solo 1000 in totale, divisi tra tutti i membri.

Il Risultato Sorprendente:
Quando il tempo e le risorse sono uguali, il Detective Solitario vince quasi sempre, o almeno fa esattamente quanto la squadra.
La squadra, invece, spesso perde tempo a passarsi i fogli, a discutere o a ripetere cose che il detective solitario aveva già capito da solo. In sostanza, la comunicazione tra i membri della squadra "spreca" parte del budget di pensiero che avrebbe potuto essere usato per risolvere il problema.

L'Analogia del "Filtro dell'Acqua"

Per capire perché succede questo, immagina il ragionamento come un flusso d'acqua pura che deve arrivare a un bicchiere (la risposta corretta).

• Il Detective Solitario: Prende l'acqua dalla sorgente e la versa direttamente nel bicchiere. L'acqua è pura e arriva veloce.
• La Squadra: Prende l'acqua, la passa attraverso un tubo, poi la versa in un secchio, poi un altro detective la prende, la filtra di nuovo, la passa a un altro...
  • Il Problema: Ogni volta che l'acqua passa da una persona all'altra (ogni volta che un agente parla all'altro), un po' di acqua si perde, si sporca o si confonde. In termini tecnici, si chiama Disuguaglianza di Elaborazione dei Dati: più passaggi fai, più informazioni importanti rischi di perdere.

Quando la Squadra ha Senso?

Lo studio non dice che la squadra è inutile. Dice che la squadra diventa utile solo in due casi specifici:

1. Quando il Detective Solitario è "ubriaco" o confuso: Immagina che il detective solitario debba leggere un libro di 1000 pagine, ma alcune pagine siano strappate o piene di scritte casuali (questo si chiama degradazione del contesto). In questo caso, la squadra può aiutare: un detective controlla le pagine strappate, un altro cerca le parti mancanti. Se il contesto è troppo caotico per un solo cervello, la divisione dei compiti aiuta.
2. Quando la squadra ha più tempo: Se la squadra può usare più pensieri del detective solitario (ad esempio, se il detective solitario ha 1000 pensieri ma la squadra ne usa 5000 perché devono tutti parlare), allora la squadra può vincere. Ma non perché è meglio, solo perché ha lavorato di più.

Le Scoperte "Nascoste" (I Bug del Sistema)

Gli autori hanno anche scoperto due trappole che ingannavano i ricercatori precedenti:

• Il Contatore Falso: Alcuni modelli (come Gemini) dicono: "Ho usato 10.000 pensieri!", ma in realtà ne hanno scritti solo 300 visibili. È come se un contachilometri dell'auto dicesse che hai guidato 100 km, ma in realtà ne hai fatti solo 10. Questo faceva sembrare che le squadre usassero più risorse di quanto pensassimo, creando un vantaggio ingiusto.
• La Memoria del Tesoro: A volte i modelli sembrano intelligenti perché hanno "memorizzato" le risposte dai libri di testo usati per addestrarli, non perché stanno davvero ragionando. Quando gli autori hanno cambiato leggermente le domande (come dire "Quando è nato" invece di "In che anno è nato"), le squadre hanno fatto più errori, rivelando che non stavano davvero ragionando, ma solo ripetendo.

La Conclusione in Pillole

1. Non serve sempre una squadra: Per risolvere problemi di logica complessi, un singolo modello intelligente che pensa a fondo è spesso più efficiente e preciso di una squadra che deve coordinarsi.
2. Attenzione ai numeri: Se vedi che una squadra di intelligenze artificiali performa meglio, chiedi: "Ha usato più tempo di calcolo?". Se la risposta è sì, non è un vantaggio architetturale, è solo un vantaggio di risorse.
3. La comunicazione costa: Far parlare tra loro diverse intelligenze artificiali ha un costo. Se non hai un problema caotico o un budget enorme, è meglio lasciare che un solo "cervello" lavori in silenzio.

In sintesi: Meno chiacchiere, più ragionamento. A volte, il detective solitario che lavora in silenzio è il migliore di tutti.

Sommario tecnico

Titolo: I LLM ad Agente Singolo Superano i Sistemi Multi-Agente nel Ragionamento Multi-Hop con Budget di Token di Pensiero Uguale

1. Il Problema

Recenti studi hanno riportato prestazioni elevate per i sistemi multi-agente (MAS) basati su LLM, che decompongono il ragionamento tra più agenti che comunicano tramite testo generato. Tuttavia, il confronto tra sistemi ad agente singolo (SAS) e MAS è spesso confuso da differenze nel calcolo al momento del test (test-time computation). I sistemi MAS tendono a consumare molti più token di ragionamento a causa di interazioni multiple e tracce di pensiero più lunghe, rendendo difficile determinare se i guadagni di prestazioni derivino da vantaggi architetturali intrinseci o semplicemente dall'uso di più risorse computazionali.
La domanda centrale è: quando si normalizza il budget computazionale (in particolare i token di ragionamento), i sistemi multi-agente offrono ancora vantaggi reali rispetto a un singolo agente che utilizza lo stesso budget?

2. Metodologia

Gli autori hanno condotto uno studio empirico controllato per isolare l'effetto dell'architettura dal consumo di risorse.

• Definizione del Budget: Il "budget di pensiero" è definito come il numero totale di token utilizzati per il ragionamento intermedio, escludendo prompt e risposte finali.
• Modelli e Dataset: Lo studio ha coinvolto tre famiglie di modelli (Qwen3, DeepSeek-R1-Distill-Llama, e Gemini 2.5) su due dataset di ragionamento multi-hop: FRAMES e MuSiQue (filtrato per domande a 4 hop).
• Architetture Confrontate:
  • SAS (Single-Agent): Un passaggio diretto con un unico flusso di ragionamento interno. È stata introdotta anche una variante SAS-L che incoraggia un'analisi pre-risposta strutturata per aumentare l'utilizzo del budget.
  • MAS (Multi-Agent): Sono state testate cinque architetture diverse sotto lo stesso budget globale $B$:
    1. Sequential: Un pianificatore scompone il compito in passi sequenziali.
    2. Subtask-parallel: Sottocompiti indipendenti risolti in parallelo.
    3. Parallel-roles: Agenti con ruoli specializzati (es. risolutore, scettico, estrattore di fatti).
    4. Debate: Due agenti che discutono e si criticano a vicenda.
    5. Ensemble: Multipli agenti risolvono indipendentemente e un giudice seleziona la risposta.
• Giustificazione Teorica: Gli autori utilizzano la Disuguaglianza di Elaborazione dei Dati (Data Processing Inequality - DPI). Poiché i messaggi scambiati tra agenti ($M$) sono una funzione del contesto completo ($C$), l'informazione reciproca $I(Y; M)$ non può superare $I(Y; C)$. Teoricamente, un singolo agente con accesso completo al contesto dovrebbe essere almeno efficiente quanto un sistema multi-agente che deve comprimere l'informazione in messaggi intermedi, a meno che il contesto non sia degradato.
• Esperimenti di Degradazione: Per testare i limiti della teoria, sono stati introdotti livelli di degradazione del contesto (cancellazione, mascheramento, sostituzione di token, inserimento di distrattori) per vedere se i MAS diventano competitivi quando l'efficienza del contesto del SAS diminuisce.
• Valutazione: Utilizzo di un "LLM-as-a-judge" con rubriche fisse per valutare la semantica delle risposte.

3. Contributi Chiave

1. Prospettiva Teorica: Forniscono una giustificazione basata sulla teoria dell'informazione (DPI) che spiega perché, a parità di budget, i sistemi SAS sono più efficienti: i MAS introducono colli di bottiglia nella comunicazione che possono portare a perdita di informazione.
2. Confronto Empirico Rigoroso: La prima valutazione controllata che confronta SAS e MAS su budget di token di ragionamento esattamente uguali, rivelando che i vantaggi dei MAS spesso svaniscono quando il calcolo è normalizzato.
3. Analisi Diagnostica e Artefatti:
   • Identificazione di artefatti significativi nel controllo dei budget tramite API (in particolare per Gemini 2.5), dove il numero di token riportato dall'API non corrisponde al contenuto visibile, portando a stime errate del calcolo effettivo.
   • Rilevamento di vulnerabilità nei benchmark standard (memorizzazione delle domande) attraverso studi di parafrasi.
   • Analisi dei modi di fallimento, mostrando che i MAS tendono a "sovra-esplorare" o perdere tracciabilità, mentre i SAS falliscono per mancanza di esplorazione o perdita di span corretti alla fine.

4. Risultati Principali

• Performance a Budget Uguale: In condizioni di budget di ragionamento controllato, i sistemi SAS eguagliano o superano costantemente tutti i sistemi MAS su task di ragionamento multi-hop. Questo vale per tutte le famiglie di modelli testate, tranne che per budget estremamente bassi (100 token) dove non si genera alcun ragionamento utile.
• Effetto del Budget: Aumentare il budget di pensiero porta a miglioramenti fino a un certo punto di saturazione, oltre il quale si osservano rendimenti decrescenti o "overthinking" (pensiero eccessivo senza miglioramento della risposta).
• Variante SAS-L: La variante SAS-L (che incoraggia più ragionamento interno) ha mostrato miglioramenti significativi principalmente sui modelli Gemini, suggerendo che questi modelli tendono a sottoutilizzare il budget di pensiero visibile senza incentivi specifici.
• Esperimenti di Degradazione: I risultati confermano la teoria: quando il contesto è degradato (es. mascheramento o sostituzione di token che corrompono l'informazione), i sistemi MAS (in particolare Sequential) diventano competitivi o superiori ai SAS. Questo accade perché la pipeline multi-agente strutturata può filtrare o decomporre il ragionamento in modo più robusto rispetto a un singolo passaggio su un contesto corrotto.
• Artefatti API: Su Gemini 2.5, è stato scoperto che l'API riporta un numero di token di pensiero molto più alto rispetto al testo visibile effettivo (fino a 4.7 volte in più), e che il contenuto visibile tende a plateauare indipendentemente dal budget richiesto. Questo distorce i confronti se non si controlla il budget richiesto piuttosto che quello consumato.

5. Significato e Implicazioni

Questo lavoro sfida la narrativa corrente secondo cui i sistemi multi-agente sono intrinsecamente superiori per il ragionamento complesso. I risultati suggeriscono che:

• Molti dei vantaggi riportati nei lavori precedenti sui MAS sono dovuti a calcolo non contabilizzato e non a vantaggi architetturali.
• Per task di ragionamento multi-hop, l'approccio Single-Agent rimane la scelta predefinita più efficiente ed efficace quando le risorse sono limitate.
• I sistemi Multi-Agent diventano rilevanti solo in regimi specifici, come quando il contesto è troppo lungo o rumoroso per un singolo agente, o quando si dispone di risorse computazionali illimitate.
• È fondamentale per la comunità di ricerca controllare esplicitamente i trade-off tra calcolo, contesto e coordinamento, e prestare attenzione agli artefatti nelle metriche di budget fornite dalle API dei fornitori di modelli.

In sintesi, il paper dimostra che "più agenti" non significa automaticamente "più intelligente" se non si tiene conto del costo computazionale, e che l'efficienza informativa di un singolo agente ben addestrato è spesso superiore a quella di un sistema collaborativo complesso in condizioni di risorse vincolate.