Sintesi Tecnica: Compressione del Registro Semantico nelle Cascate di LLM Multi-Agente

Definizione del Problema

I sistemi multi-agente basati su Large Language Models (LLM) decompongono sempre più compiti complessi in ruoli specializzati (ad esempio, Collector, Evaluator, Decider). Sebbene questa modularità miri a migliorare il ragionamento e la fattualità, introduce un rischio rappresentazionale: gli agenti intermedi possono riscrivere gli input attraverso registri linguistici e funzionali, comprimendo sistematicamente le distinzioni semantiche necessarie per decisioni a valle accurate.

Il documento identifica questo fenomeno come Compressione del Registro Semantico. Esso è definito come la perdita di distinguibilità delle categorie che si verifica quando un agente intermedio riscrive gli input in uno stile valutativo o analitico. Diversamente dai fallimenti tradizionali come le allucinazioni o il testo incoerente, questo fallimento è sottile; il sistema produce un ragionamento intermedio fluente che collassa le distinzioni tra le categorie, causando una concentrazione degli output finali verso etichette centrali o moderate. Ciò è particolarmente critico nelle architetture in cui l'agente decisionale finale non osserva l'input originale, rendendo irrecuperabile la perdita di separabilità semantica.

Metodologia

Lo studio impiega una pipeline sequenziale a tre agenti implementata tramite LangGraph, composta da:

1. Collector: Riceve l'input originale e produce un report neutro.
2. Evaluator: Riceve solo l'output del Collector e produce una valutazione analitica.
3. Decider: Riceve solo l'output dell'Evaluator e assegna un'etichetta di classificazione finale.

Dataset:

• Primario: Dataset LIAR (fact-checking politico), utilizzando 50 affermazioni bilanciate su cinque etichette di veridicità (replicato su 500 affermazioni).
• Cross-Domain: SST-5 (analisi del sentiment) e Triagegeist (triage medico sintetico), con 50 esempi bilanciati ciascuno.

Metrica di Misurazione:
Gli autori introducono la Separazione Inter-Etichetta per quantificare la compressione. Utilizzando all-MiniLM-L6-v2 (un Sentence-Transformer esterno e indipendente dagli LLM della pipeline), codificano i testi in ogni fase.

• Centroidi: Per ogni etichetta di verità fondamentale $y$ al tempo $t$, viene calcolato un centroide $c_{t,y}$ mediando gli embedding dei testi di quel gruppo.
• Separazione ($S_t$): La distanza euclidea media tra tutte le coppie di centroidi delle etichette.
• Compressione ($C_t$): La percentuale di riduzione della separazione rispetto alla fase di input: $C_t = \frac{S_{input} - S_t}{S_{input}} \times 100$.

Varianti Sperimentali:
Per isolare i driver causali, gli autori hanno testato cinque varianti dell'Evaluator:

1. Original (Critical): Valutazione critica standard.
2. Balanced: Analisi pro/contra.
3. Credibility-Supporting: Ricerca di caratteristiche che supportano la credibilità dell'affermazione.
4. Numerical: Conversione della valutazione in un punteggio da 1 a 10.
5. Identity Passthrough: Passa l'output del Collector invariato.
6. Evaluator Removed: Flusso diretto da Collector a Decider.

Inoltre, è stato testato un gradiente di prompt a 20 livelli per analizzare la relazione tra l'intensità della trasformazione e la compressione.

Risultati Chiave

1. Localizzazione della Compressione

• Fase Collector: La separazione inter-etichetta è rimasta quasi invariata (da 0.4345 a 0.4364, -0.4% di compressione), indicando che la fase di raccolta neutra è trasparente.
• Fase Evaluator: La separazione è scesa significativamente da 0.4345 a 0.2534, rappresentando una compressione del 41.7%. Questo localizza il modo di fallimento specificamente alla trasformazione valutativa.
• Similarità del Coseno: Post-valutazione, la similarità inter-etichetta (0.93–0.96) ha superato la similarità intra-etichetta (0.61–0.68), confermando che gli output di diverse categorie sono diventati più simili tra loro di quanto non lo fossero con i membri della propria categoria.

2. Driver Causali

• Trasformazione vs. Cascata: L'identity passthrough e la rimozione dell'Evaluator non hanno prodotto alcuna compressione. Ciò dimostra che la compressione non è causata dalla mera presenza di una fase intermedia di un LLM, ma dalla trasformazione semantica orientata eseguita dall'Evaluator.
• Direzione vs. Magnitudo: La variante Credibility-Supporting ha prodotto una compressione geometrica minima (~1%) ma ha spostato la distribuzione dell'output verso "quasi-vero" (42%). Al contrario, la variante Critical ha prodotto un'alta compressione (41.7%) e ha spostato gli output verso "metà-vero" (60%). Ciò dimostra che la compressione geometrica (perdita di separabilità) e il bias distributivo (direzione del collasso) sono fenomeni distinti controllati dalla valenza della valutazione.

3. Predittori e Generalizzazione

• Predittori del Prompt: Un modello di regressione multipla ha spiegato il 78% della varianza nella compressione utilizzando tre predittori:
  1. Distanza dell'embedding dal prompt di identità.
  2. Numero di parole valutative.
  3. Numero di vincoli operativi.
  • Risultato: I prompt con più vincoli operativi erano associati a una minore compressione, suggerendo che le istruzioni specifiche preservano meglio le distinzioni rispetto ai generici prompt valutativi.
• Generalizzazione Cross-Domain: La compressione si è verificata in tutti e tre i domini, ma con intensità variabile:
  • Fact-checking (LIAR): 41.7%
  • Sentiment (SST-5): 27.2%
  • Triage (Triagegeist): 20.0%
  • Osservazione: I domini con più categorie operative o segnali di input più chiari (come il triage) sembravano meno vulnerabili rispetto ai domini valutativi sfumati (come il fact-checking).

Significato e Rivendicazioni

Il documento sostiene di aver stabilito la Compressione del Registro Semantico come un modo di fallimento misurabile e generalizzabile nei sistemi multi-agente LLM. I suoi principali contributi sono:

1. Definizione: Definisce la compressione del registro semantico come un fallimento geometrico specifico in cui gli agenti intermedi collassano le distinzioni di categoria nello spazio degli embedding.
2. Strumento Diagnostico: Introduce la separazione inter-etichetta come diagnostica stadio-per-stadio per tracciare la perdita di informazione all'interno di una pipeline, andando oltre l'accuratezza dell'output finale.
3. Isolamento Causale: Isola causalmente la trasformazione semantica valutativa come il driver della compressione, distinguendola dalla semplice cascata o dalla normalizzazione dello stile.
4. Strategia di Mitigazione: Identifica i vincoli operativi nei prompt come una mitigazione pratica, mostrando che le istruzioni ricche di vincoli specifici preservano meglio le distinzioni rilevanti per le decisioni rispetto alle ampie richieste valutative.

Implicazioni per la Sicurezza:
Gli autori sostengono che la valutazione della sicurezza per i sistemi multi-agente debba estendersi oltre l'accuratezza finale, gli errori a livello di traccia o la competenza del singolo agente. In domini ad alto rischio (fact-checking, triage, governance), una valutazione intermedia fluente ma standardizzata può agire come un collo di bottiglia semantico, riducendo la sensibilità a valle verso casi estremi o ad alto rischio. Il documento postula che la valutazione della sicurezza debba testare esplicitamente se le trasformazioni interne preservino le distinzioni necessarie per le decisioni a valle.

Limitazioni:
Lo studio riconosce di essere una caratterizzazione empirica iniziale. Le limitazioni includono l'uso di campioni ridotti (50 esempi per condizione, sebbene 500 siano stati usati per la replica del baseline), la dipendenza da dati di triage sintetici e l'uso di metriche di embedding come proxy per la separabilità semantica piuttosto che misure assolute di significato. Gli autori notano che sono necessari futuri lavori per separare la compressione semantica dai fattori stilistici o della forma superficiale.