Team of Thoughts: Efficient Test-time Scaling of Agentic Systems through Orchestrated Tool Calling

1. Il Problema: Limiti degli Attuali Sistemi Multi-Agente

Il paper identifica due limitazioni fondamentali negli attuali approcci di Test-Time Scaling (TTS) e nei Sistemi Multi-Agente (MAS):

• Omogeneità dei Modelli: La maggior parte dei sistemi MAS esistenti si basa su configurazioni omogenee, dove tutti gli agenti sono istanze dello stesso modello (spesso con ruoli diversi assegnati tramite prompt). Questo impedisce di sfruttare la diversità di competenze intrinseca in architetture di modelli post-addestrati differenti.
• Inefficienza e Rigidità: I flussi di lavoro attuali sono spesso statici o assegnano ruoli rigidi a una singola famiglia di modelli. Non riescono a coordinare dinamicamente agenti eterogenei in base alle loro specifiche competenze (es. un modello forte in matematica vs. uno forte in codice) e alle caratteristiche del task, portando a un uso inefficiente delle risorse computazionali.

L'obiettivo è superare i limiti di un singolo agente (il cui spazio di soluzione è vincolato dai suoi parametri $\theta$) senza dover ri-addestrare modelli più grandi, sfruttando invece la diversità di modelli esistenti durante l'inferenza.

2. Metodologia: Team-of-Thoughts (ToT)

Il framework proposto, Team-of-Thoughts, è un sistema MAS eterogeneo che tratta diversi modelli linguistici (LLM) come strumenti specializzati all'interno di un paradigma guidato da un orchestratore.

Architettura e Componenti Chiave

Il sistema è composto da un Agente Orchestratore centrale e un insieme eterogeneo di Agenti Strumento (Tool Agents). Il processo si articola in tre fasi principali:

1. Calibrazione dell'Orchestratore (Orchestrator Calibration):

   • Non tutti i modelli sono ugualmente bravi a coordinare. Il sistema identifica quale modello possiede le migliori capacità di sintesi e coordinamento per una specifica categoria di task (es. matematica vs. coding).
   • Viene valutata la capacità di un modello candidato di aggregare le risposte degli agenti strumento su un set di calibrazione, assegnando un punteggio di performance. Il modello con il punteggio più alto diventa l'orchestratore primario per quel dominio.

2. Auto-Valutazione degli Agenti (Agent Self-Assessment):

   • Per sfruttare le competenze specifiche, ogni agente strumento esegue un'auto-analisi sui propri punti di forza e debolezze.
   • Gli agenti generano un "profilo di capacità" (in linguaggio naturale) basato sulle loro prestazioni su un set di validazione, descrivendo in quali domini eccellono e dove falliscono.
   • Questi profili vengono forniti al contesto dell'orchestratore.

3. Inferenza Dinamica e Selezione:

   • Durante l'inferenza, l'orchestratore riceve la query del task.
   • Invece di invocare tutti gli agenti, l'orchestratore valuta la query contro i profili di auto-valutazione e seleziona dinamicamente solo gli agenti più compatibili (es. invocando un modello specializzato in teoria dei numeri per un problema matematico).
   • Gli agenti selezionati generano le loro risposte (o traiettorie di ragionamento).
   • L'orchestratore aggrega queste risposte, sintetizzando un output finale ad alta confidenza.

Prospettiva Probabilistica

Il paper modella il sistema come un Modello a Mixture di Gaussiane (GMM). Mentre un singolo agente cerca di "derivare" verso la soluzione corretta all'interno del suo spazio di distribuzione limitato, Team-of-Thoughts utilizza agenti eterogenei per esplorare diverse regioni dello spazio delle soluzioni. L'orchestratore agisce come un meccanismo di pesatura che salta verso le regioni ad alta probabilità localizzate dagli strumenti specializzati, aggregandole in una distribuzione finale più robusta.

3. Contributi Chiave

• Framework Team-of-Thoughts: Un'architettura MAS innovativa che permette a LLM eterogenei di collaborare attraverso una gerarchia dinamica di chiamate agli strumenti, massimizzando la copertura delle capacità.
• Meccanismi di Orchestrazione e Auto-Valutazione: Introduzione di una procedura di calibrazione per scegliere l'orchestratore migliore e un protocollo di auto-valutazione che permette agli agenti di profilare autonomamente le proprie competenze.
• Superiorità Empirica: Dimostrazione che l'approccio supera sia i modelli singoli che i baseline MAS omogenei, con un uso efficiente dei costi computazionali.

4. Risultati Sperimentali

Il framework è stato valutato su cinque benchmark di ragionamento matematico e generazione di codice, utilizzando sette famiglie di modelli (tra cui Claude Sonnet 4.5, GPT-5 Mini, DeepSeek v3.2, ecc.).

• Performance Generali: Team-of-Thoughts ha costantemente superato i modelli singoli e i baseline esistenti (come AgentVerse).
  • Su AIME24 (matematica): 96.00% di accuratezza (vs 80.00% del baseline omogeneo).
  • Su LiveCodeBench (coding): 77.91% di accuratezza (vs 65.93% del baseline omogeneo).
• Scelta dell'Orchestratore: È emerso che il modello più grande non è necessariamente il miglior orchestratore. Ad esempio, DeepSeek v3.2 ha eccelso come orchestratore per la matematica, mentre GPT-5 Mini per il coding.
• Strategie di Selezione: La strategia di Auto-Valutazione ha ottenuto i risultati migliori, superando l'invocazione casuale e la valutazione guidata dall'orchestratore, grazie alla rimozione dei bias interni dell'orchestratore stesso.
• Aggregazione delle Risposte: È stato scoperto che fornire all'orchestratore solo la risposta finale degli agenti (e non l'intera traiettoria di ragionamento intermedia) migliora le prestazioni. Le traiettorie complete introducono "rumore contestuale" che può confondere l'orchestratore.
• Dinamiche di Scaling: Il sistema non scala linearmente con il numero di agenti attivati. Attivare troppi agenti contemporaneamente (es. 8 o più) degrada le prestazioni a causa di un "sovraccarico di selezione" dell'orchestratore. Un numero ottimale di agenti attivati (es. 2) garantisce stabilità e alta accuratezza.

5. Significato e Implicazioni

Il lavoro di Team-of-Thoughts segna un cambio di paradigma nel campo dell'intelligenza artificiale:

• Dall'Omogeneità all'Eterogeneità: Dimostra che la collaborazione tra modelli con architetture e competenze diverse è superiore alla simulazione di diversi ruoli all'interno dello stesso modello.
• Efficienza dei Costi: Permette di ottenere prestazioni di livello "stato dell'arte" a costi inferiori, attivando solo gli strumenti necessari invece di eseguire ragionamenti sequenziali pesanti su un singolo modello.
• Scalabilità Test-Time: Offre una via pratica per scalare le capacità dei modelli durante l'inferenza senza i costi proibitivi del ri-addestramento, sfruttando l'ecosistema esistente di modelli specializzati.

In sintesi, Team-of-Thoughts trasforma il paradigma del ragionamento da un processo lineare e monolitico a un processo collaborativo, dinamico e specializzato, dove un "manager" intelligente coordina una squadra di "esperti" per risolvere problemi complessi con maggiore precisione ed efficienza.