Every Response Counts: Quantifying Uncertainty of LLM-based Multi-Agent Systems through Tensor Decomposition

1. Il Problema

I sistemi multi-agente basati su Large Language Models (LLM) (MAS) superano costantemente i sistemi a singolo agente in compiti complessi grazie alla collaborazione. Tuttavia, le interazioni intricate tra gli agenti introducono sfide critiche per l'affidabilità che i metodi esistenti di Quantificazione dell'Incertezza (UQ) non riescono a gestire adeguatamente.

I metodi UQ tradizionali, progettati per output a turno singolo, falliscono nei MAS a causa di tre sfide specifiche:

1. Incertezza a cascata nel ragionamento multi-step: Gli errori iniziali si propagano attraverso il processo collaborativo. I metodi basati sulla coerenza semantica dell'output finale ignorano l'incertezza intrinseca nel processo di ragionamento intermedio.
2. Variabilità dei percorsi di comunicazione: Per lo stesso input, gli agenti possono interagire in sequenze diverse tra diverse esecuzioni (run). I metodi attuali sono "ciechi" a questa diversità dei percorsi.
3. Diversità delle topologie di comunicazione: I MAS utilizzano strutture diverse (es. a stella, a catena, dinamiche). I metodi UQ esistenti sono validati su modelli singoli con strutture fisse e non generalizzano bene su queste topologie variabili e complesse.

2. Metodologia: MATU

Gli autori propongono MATU (Multi-Agent Tensor Uncertainty), un nuovo framework che quantifica l'incertezza attraverso la decomposizione tensoriale. L'approccio si articola in tre fasi principali:

A. Embedding per il Ragionamento Multi-step

Invece di analizzare solo il testo finale, MATU codifica ogni output intermedio (frasi naturali o risultati di chiamate agli strumenti) in uno spazio latente condiviso utilizzando modelli di embedding pre-addestrati (es. Qwen3-embedding).

• Ogni traiettoria di un agente viene trasformata in una matrice di embedding ($E \in \mathbb{R}^{T \times d}$), dove $T$ è il numero di passi e $d$ la dimensione dell'embedding.
• Questo permette di confrontare semanticamente passi eterogenei e di lunghezza variabile, decouplando il significato dalla forma superficiale.

B. Rappresentazione Tensoriale "Ragged"

Per gestire la diversità delle comunicazioni tra agenti e tra diverse esecuzioni (run), i sistemi aggregano le matrici di embedding in un tensore "ragged" (irregolare).

• A differenza di un tensore standard che richiede dimensioni fisse, il tensore ragged permette di gestire traiettorie di lunghezza variabile ($T_{j,k}$) provenienti da diversi agenti ($k$) e run ($j$).
• Questa struttura cattura matematicamente la variabilità intrinseca dei pattern di comunicazione senza dover scartare dati o forzare allineamenti artificiali.

C. Decomposizione Tensoriale (PARAFAC2)

Per quantificare l'incertezza, MATU applica la decomposizione PARAFAC2 (CP-2), un metodo specifico progettato per gestire strutture tensoriali irregolari.

• Logica: Le interazioni coerenti e affidabili dovrebbero seguire una struttura a basso rango. La decomposizione cerca di approssimare il tensore osservato con una somma di fattori latenti a basso rango.
• Metrica di Incertezza: L'incertezza è misurata dall'errore di ricostruzione. Se le traiettorie sono molto diverse (alta incertezza), il tensore non può essere ben compresso in pochi fattori latenti, risultando in un errore di ricostruzione elevato.
• Il punteggio finale di incertezza ($U$) è la somma degli errori di ricostruzione ottenuti a diversi ranghi ($R$), fornendo una misura olistica della variabilità del sistema.

3. Contributi Chiave

1. Definizione Sistematica: Forniscono la prima definizione sistematica dell'UQ per i MAS, identificando fonti uniche di incertezza legate all'uso di strumenti, al ragionamento multi-step e alla comunicazione inter-agente.
2. Framework MATU: Progettano un framework basato sulla decomposizione tensoriale che integra segnali di incertezza sia a livello di risposta che a livello di esecuzione (run), permettendo una stima olistica.
3. Generalizzabilità: Il metodo è intrinsecamente generalizzabile a diverse topologie di comunicazione (statiche e dinamiche) grazie all'uso di tensori ragged e decomposizione CP-2.
4. Validazione Estensiva: Dimostrano l'efficacia del metodo attraverso esperimenti su compiti diversificati (matematica, QA, conoscenza generale, generazione di codice) e topologie diverse.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su dataset come MATH, MoreHopQA, MMLU e HumanEval, utilizzando modelli come GPT-4o, Qwen2.5-7B e Llama3.1-8B, e framework MAS come Camel, AutoGen (statici) e AnyMac (dinamici).

• Prestazioni Superiori: MATU supera costantemente i baseline (come Eigv(Agre), P(true) e SAUP) in termini di AUROC e AUARC.
  • Nei sistemi statici (Camel, AutoGen), MATU mostra una maggiore capacità di rilevare fragilità nel consenso collaborativo che i metodi basati solo sull'output finale non colgono.
  • Nei sistemi dinamici (AnyMac), MATU dimostra una notevole adattabilità alle sequenze di comunicazione imprevedibili, superando i baseline di un margine significativo.
• Integrazione con Strumenti: Su HumanEval (generazione di codice con interpreter Python), MATU mantiene la sua robustezza, dimostrando efficacia anche quando gli agenti interagiscono con strumenti esterni.
• Rilevamento OOD (Out-of-Distribution): MATU riesce a distinguere efficacemente tra dati in-distribution e OOD (ad esempio, prompt matematici applicati a compiti di conoscenza generale), ottenendo una separazione netta nei punteggi di incertezza dove i baseline falliscono.
• Selezione del Modello (Downstream Task): Utilizzando i punteggi di incertezza di MATU per selezionare il modello "backbone" più affidabile tra diverse configurazioni, il sistema ottiene una maggiore accuratezza finale rispetto alla selezione casuale o basata su altri metodi UQ.

5. Significato e Impatto

Questo lavoro rappresenta un passo pionieristico nel campo dell'affidabilità dei sistemi multi-agente.

• Superamento dei Limiti Attuali: Risolve il problema della gestione dell'incertezza in scenari complessi dove l'errore non è isolato ma distribuito e dinamico.
• Interpretabilità: Oltre a fornire un punteggio, la decomposizione tensoriale permette di mappare i fattori latenti a specifici fallimenti nel ragionamento, offrendo strumenti diagnostici per capire dove e perché un sistema multi-agente fallisce.
• Applicabilità Pratica: La capacità di quantificare l'incertezza in modo robusto è cruciale per l'adozione dei MAS in settori ad alto rischio come la sanità, la scoperta scientifica e i trasporti, dove la fiducia nel sistema è fondamentale.

In sintesi, MATU trasforma la complessità delle interazioni multi-agente da un ostacolo in una struttura matematica analizzabile, fornendo una misura di affidabilità che è sia completa che generalizzabile.