Riepilogo Tecnico: Localmente Coerente, Globalmente Incoerente

1. Enunciato del Problema

Gli agenti basati su Modelli Linguistici di grandi dimensioni (LLM) multi-componente decompongono spesso problemi complessi congiunti in sottocompiti gestiti da sub-agenti o strumenti specialisti. Sebbene i singoli componenti possano essere localmente coerenti (internamente consistenti e calibrati sulle loro specifiche sottodomande), l'aggregazione dei loro output può violare gli assiomi fondamentali della probabilità. Questo fenomeno, denominato "localmente coerente, globalmente incoerente", comporta uno stato di credenza composto che assegna una massa di probabilità totale superiore a 1 (o viola vincoli logici come $P(A) + P(\neg A) = 1$).

Le metriche di valutazione esistenti (accuratezza per domanda, calibrazione, previsione conformale) operano sugli output dei singoli modelli e non riescono a rilevare violazioni logiche trasversali ai componenti. Di conseguenza, gli agenti multi-componente possono produrre esposizioni "Dutch-book" – combinazioni di scommesse che garantiscono una perdita per il sistema – esclusivamente a causa dell'incoerenza introdotta durante la composizione, anche quando ogni componente è singolarmente valido.

2. Metodologia

Quadro Teorico

Il documento formalizza la modalità di fallimento utilizzando la geometria convessa e la teoria della probabilità:

• Residuo Compositivo ($\varepsilon^\star$): Definito come la distanza $L_2$ tra la quotazione composta (dopo le riparazioni locali) e il poliedro coerente congiunto ($M_\star$). Questo poliedro rappresenta l'insieme di tutti i vettori di probabilità che soddisfano i vincoli logici congiunti (es. partizioni, negazioni, congiunzioni).
• Dicotomia della Struttura-Prodotto (Teorema 3.3): Il documento stabilisce una condizione necessaria e sufficiente affinché la coerenza locale implichi la coerenza globale. Sotto "aggregazione selezionata dal proprietario" (dove ogni componente possiede un sottoinsieme distinto di coordinate), la coerenza globale è garantita se e solo se il poliedro congiunto si fattorizza come prodotto cartesiano di poliedri locali ($M_\star = M_\boxtimes$). Se esistono vincoli di accoppiamento trasversali ai componenti (es. una partizione che somma a 1), la coerenza locale è insufficiente ed è possibile che $\varepsilon^\star > 0$.
• Previsione dell'Entità (Corollario 3.9): Il residuo quadratico atteso è previsto da una forma di quoziente di Rayleigh basata sulla covarianza del panel di specialisti e sul vettore normale del vincolo vincolante. Ciò consente una previsione in forma chiusa dell'entità dell'incoerenza prima che avvenga l'instradamento.
• Limite dell'Esposizione (Corollario 3.5): Secondo il Teorema Fondamentale della Prezziamento delle Attività (FTAP), l'esposizione Dutch-book a livello di sistema è limitata da $\sqrt{m^\star} \varepsilon^\star$, dove $m^\star$ è il numero di coordinate congiunte.

Riparazione Algoritmica

• Proiezione Gerarchica Boyle–Dykstra: Per riparare in modo deterministico le composizioni incoerenti, gli autori propongono un algoritmo di proiezione ciclica. Questo proietta iterativamente la quotazione composta sui poliedri locali e sull'insieme di accoppiamento (vincoli) fino alla convergenza al poliedro coerente congiunto.
• Monitoraggio Sequenziale: Viene introdotto un processo e valido in ogni momento (anytime-valid e-process) per monitorare flussi di residui compositivi nel tempo, permettendo agli operatori di rilevare incoerenze persistenti senza fissare un orizzonte di arresto in anticipo.

Configurazione Sperimentale

Gli autori hanno valutato 1.876 cliques di ensemble attraverso quattro classi di relazioni logiche: Negazione, Congiunzione, Disgiunzione e Partizione.

• Modelli: Un panel di livello medio (Claude-Haiku-4.5, GPT-5.4-mini/nano, Llama-3.3-70b) e un panel all'avanguardia (inclusi GPT-5.5, Claude-Opus-4.7, DeepSeek-V3.2).
• Benchmark: Paleka (coerenza tra domande) e Polymarket (eventi di partizione).
• Protocolli: Assegnazione casuale delle domande agli specialisti, instradamento strutturato e harness a discrezione del pianificatore.

3. Risultati Chiave

Risultati Empirici

• Prevalenza dell'Incoerenza: $\varepsilon^\star > 0$ è stato osservato nel 33–94% dei cliques, a seconda della classe di relazione. I compiti di partizione hanno mostrato il tasso di fallimento più alto (94%), seguito da negazione (66%), disgiunzione (43%) e congiunzione (33%).
• Previsione dell'Entità: La previsione basata sul quoziente di Rayleigh ha corrisposto ai residui osservati entro il 7% per tre delle quattro classi di relazione. La classe di congiunzione ha sottostimato leggermente (0,83×) a causa della media del panel che giaceva nell'interno del semispazio di Fréchet, un regime previsto dalla teoria.
• Impatto sul Processo Decisionale: Su 1.770 scommesse risolte, la composizione ingenua ha comportato un rimpianto di +0,115 nat per scommessa sotto una regola di allocazione proporzionale. La riparazione JCD gerarchica ha ridotto questo valore a quasi zero, eguagliando le prestazioni di un oracolo LLM singolo.
• Fallimento delle Mitigazioni lato LLM:
  • Recupero: L'arricchimento degli specialisti con strumenti di ricerca non ha ridotto $\varepsilon^\star$; in 20 casi su 30, ha aumentato l'incoerenza.
  • Ingegneria dei Prompt: La prompting consapevole della partizione ha ridotto i residui ma ha lasciato il 53% delle partizioni con $\varepsilon^\star > 0,05$.
  • LLM Aggregatori: Delegare la coerenza a un LLM aggregatore ha ridotto il residuo medio ma ha comunque portato al 15% delle partizioni a superare la soglia di 0,05 e al 7% a regredire rispetto alla composizione ingenua.
  • Modelli all'Avanguardia: Anche con un panel composto esclusivamente da modelli all'avanguardia, $\varepsilon^\star > 0$ è persistito nel 97,8% delle scommesse di partizione, sebbene l'entità sia diminuita del 39%.

Validazione del Meccanismo

• Visibilità dell'Accoppiamento: Un esperimento in cui gli specialisti sono stati esplicitamente mostrati i vincoli di partizione e le quotazioni dei pari ("INFORMATI") ha ridotto significativamente $\varepsilon^\star$ rispetto a prompt isolati ("CIECHI"), confermando che il fallimento deriva dal fatto che gli specialisti mancano di visibilità sui vincoli trasversali ai componenti.
• Topologia di Instradamento: L'instradamento strutturato (assegnazione di modelli specifici a specifici tipi di relazione) non ha eliminato l'incoerenza, sebbene abbia alterato la distribuzione dei residui.

4. Contributi

1. Formalizzazione di una Modalità di Fallimento: Il documento definisce e caratterizza il regime "localmente coerente, globalmente incoerente", dimostrando che la calibrazione per componente è insufficiente per la coerenza a livello di sistema sotto accoppiamento.
2. Certificato di Runtime ($\varepsilon^\star$): Introduce una metrica computabile, libera da distribuzioni, per l'incoerenza a livello di sistema che richiede solo l'output composto e i vincoli dichiarati.
3. Dicotomia Teorica: Fornisce una condizione precisa (Teorema 3.3) per quando la coerenza locale è sufficiente, distinguendo tra fattorizzazione della struttura-prodotto e vincoli accoppiati.
4. Riparazione Costruttiva: Dimostra che la proiezione gerarchica Boyle–Dykstra può eliminare in modo deterministico $\varepsilon^\star$ al costo di una singola risoluzione di programmazione quadratica (QP), superando tutte le alternative basate su prompt o aggregatori LLM.
5. Benchmark Empirico: Stabilisce un benchmark decomponibile in cui l'ordinamento della difficoltà (Partizione > Negazione > Disgiunzione > Congiunzione) si allinea con le previsioni teoriche riguardanti la restrittività del poliedro.

5. Significato e Affermazioni

Il documento afferma che la coerenza a livello di sistema è una proprietà distinta dalla calibrazione per componente che deve essere gestita esplicitamente nei sistemi multi-agente. Il contributo principale è la riformulazione operativa di $\varepsilon^\star$ come certificato di runtime in grado di rilevare e riparare esposizioni Dutch-book che nessun singolo componente può identificare.

Gli autori sottolineano che:

• L'ingegneria dei prompt e il recupero sono insufficienti per risolvere questo problema; il fallimento è strutturale alla composizione di previsioni probabilistiche isolate.
• La riparazione geometrica è necessaria e sufficiente per ripristinare la coerenza quando l'insieme di accoppiamento è esplicito.
• Il fallimento persiste attraverso le scale dei modelli, indicando che l'aumento delle capacità del modello non risolve intrinsecamente l'incoerenza compositiva.

Il lavoro posiziona $\varepsilon^\star$ come una barriera protettiva critica per applicazioni ad alto rischio (previsioni, supporto decisionale) dove la coerenza logica è fondamentale, offrendo una soluzione deterministica che completa i metodi esistenti di quantificazione dell'incertezza come la previsione conformale.