Agent Behavioral Contracts II: Certifying Compositional Reliability Without Assuming Independence

Sintesi Tecnica: Contratti Comportamentali degli Agenti II

Definizione del Problema
Gli attuali framework per certificare l'affidabilità dei sistemi multi-agente si affidano a un approccio compositivo: porre dei limiti alla affidabilità dei singoli componenti e moltiplicare questi limiti per derivare una garanzia a livello di sistema. Questo passaggio è autorizzato da un'assunzione di indipendenza condizionale (C5), la quale postula che la soddisfazione del contratto di un agente a valle sia indipendente dall'esecuzione di un agente a monte, dato un passaggio conforme. Gli autori sostengono che tale assunzione venga regolarmente dichiarata ma raramente testata, ed è particolarmente implausibile quando agenti ridondanti (ad esempio, uno scrittore e un revisore) condividono gli stessi pesi del modello sottostante. Se i componenti condividono un modello, condividono anche le "lacune" (blind spots), portando a una dipendenza positiva nei guasti. Il documento dimostola che ignorare questa dipendenza produce un "errore sistematico" (signed error) che gioca contro l'operatore: la dipendenza positiva gonfia le probabilità di guasto congiunto al di sopra del prodotto di indipendenza, causando il fatto che i design ridondanti siano sovra-crediti proprio quando ne avrebbero più bisogno.

Inoltre, il documento identifica che le "soluzioni" standard sono inadeguate:

1. Eliminare l'assunzione interamente porta ai limiti di Fréchet–Hoeffding, che sono spesso vacui (un pavimento certificato pari a zero) quando la affidabilità media dei componenti scende al di sotto di $1 - 1/m$.
2. Adottare un modello di dipendenza parametrico (ad esempio, una copula gaussiana a fattore singolo) è peggio; gli autori dimostrano che, all'aumentare della dimensione del campione $n \to \infty$, la copertura di un limite inferiore bootstrap su un modello misspecificato il cui funzionale collassa a zero. Il divario di identificazione rimane $O(1)$ mentre l'incertezza del bootstrap si restringe come $O(n^{-1/2})$, il che significa che più dati rendono il certificato erroneamente sicuro senza alcun sintomo visibile.

Metodologia
Il documento impiega un rigoroso disegno sperimentale preregistrato combinato con un nuovo framework di certificazione a campioni finiti.

• Disegno Sperimentale: Gli autori hanno condotto una campagna di 30.820 missioni su 12 bracci, con un nucleo confermativo di 18.000 missioni in una topologia di passaggio tra due agenti. Hanno manipolato la "condizione di condivisione" a tre livelli:

  1. Stesso Modello: Entrambi gli agenti eseguono mistral-small-24b.
  2. Stesso Vendor: Gli agenti eseguono modelli diversi dello stesso vendor (mistral-small-24b vs. ministral-8b).
  3. Vendor Diversi: Gli agenti eseguono modelli di vendor diversi.
     La valutazione era deterministica (codice gold) senza l'uso di LLM nel loop di giudizio per evitare correlazioni indotte.

• Framework di Certificazione (Approccio a Livelli):

  • Livello 0 (Osservato): Limite inferiore diretto di Clopper–Pearson sull'esito osservato del grafo (richiede l'esecuzione end-to-end).
  • Livello 1 (Agnostico rispetto alla Copula): Un certificato a campioni finiti che assume nessuna struttura di dipendenza. Formula un programma lineare (LP) sulla distribuzione congiunta degli esiti degli agenti, vincolato da un box di Bonferroni–Clopper–Pearson attorno ai momenti di co-esecuzione misurati (marginali, coppie e momenti di co-successo di ordine superiore). Questo approccio è solido, netto per le informazioni fornite, e monotono nella famiglia di momenti sotto una specifica allocazione.
  • Livello 2 (Basato su Modello): Un limite diagnostico basato su una copula gaussiana adattata, esplicitamente non utilizzato per la certificazione a causa del provato collasso della copertura.

• Certificazione Anytime-Valid: Per affrontare la realtà del monitoraggio continuo (arresto opzionale), il documento introduce un e-process basato sulla probabilità teoria dei giochi. Questo certificato vincola solo la media condizionale dell'esito del grafo, non richiedendo assunzioni di indipendenza tra le missioni o tra i componenti. Recupera esattamente il Sequential Probability Ratio Test (SPRT) al tasso di scommessa ottimale.

Risultati Chiave

1. Guasto Correlato: Nella condizione same_model, due istanze dello stesso modello falliscono congiuntamente nel 90,0% delle missioni in cui almeno una delle due fallisce ($\log OR = 6,66$, 95% CI [6,38, 7,00]). Ciò conferma che la condivisione del modello induce una massiccia dipendenza positiva.
2. Modello vs. Vendor: Sostituire un modello diverso riduce significativamente l'associazione (6/6 contrasti su tutte le topologie sono stati significativi). Tuttavia, sostituire un vendor diverso (mantenendo i modelli diversi) non ha ridotto significativamente l'associazione. La variabile "vendor" non è stata un predittore affidabile della correlazione di guasto una volta che l'identità del modello differiva.
3. Sensibilità Marginale: Si mostra che le statistiche di dipendenza comuni come la sovrapposizione di Jaccard, $\phi$ e il $\tau_a$ di Kendall sono limitate dai tassi di guasto marginali. In condizioni specifiche, queste statistiche hanno invertito l'ordine apparente delle condizioni puramente a causa delle differenze nei tassi di guasto marginali, mentre le statistiche prive di marginali (log odds ratio, Q di Yule) sono rimaste coerenti.
4. Miglioramento della Certificazione: Arricchire l'insieme dei momenti da 10 funzionali (marginali + coppie) a 14 (aggiungendo le triple) su dati reali ha ristretto l'intervallo identificato dell'85,7% e ha elevato il pavimento certificato da 0,2455 a 0,4116.
5. Collasso Basato sul Modello: In un esperimento controllato, la copertura di un limite basato su modello è scesa da 0,36 a 0,01 all'aumentare della dimensione del campione da 250 a 2000 sotto una misspecificazione indistinguibile dai momenti, mentre il limite del Livello 1 agnostico rispetto alla copula ha mantenuto una copertura del 100%.
6. Validità Anytime: L'implementazione dell'e-process ha mantenuto un tasso di errore di Tipo-I empirico di 0,0471 o inferiore in tutte le frazioni di scommessa testate, anche sotto arresto arbitrario.

Significatività e Rivendicazioni
Il documento sostiene di fornire il primo certificato di affidabilità a campioni finiti e agnostico rispetto alla copula per pipeline di agenti composte che non assume l'indipendenza. Il suo contributo primario non è semplicemente misurare che i guasti sono correlati (cosa che lavori concorrenti hanno già fatto), ma fornire un limite solido, netto e azionabile che degrada onestamente quando la dipendenza non è misurata, invece di produrre silenziosamente un numero erroneamente sicuro.

Gli autori dichiarano esplicitamente ciò che non rivendicano:

• Non rivendicano di aver scoperto per la prima volta che i modelli condivisi falliscono insieme.
• Non rivendicano un ordinamento a tre livelli di condivisione (stesso modello > stesso vendor > vendor diversi), poiché il contrasto a livello di vendor non è stato replicato.
• Non rivendicano che il certificato si scali con un numero elevato di agenti ($m$) senza costi esponenziali, né che si applichi ad aggregatori che sono essi stessi LLM.
• Non rivendicano che i risultati si generalizzino a modelli di frontiera o compiti di dialogo aperti, poiché la valutazione è stata limitata a modelli di medie dimensioni e compiti retail/finanziari deterministici.

Il lavoro è presentato come un correttivo al "fallimento silenzioso" delle assunzioni di indipendenza nell'affidabilità multi-agente, offrendo una metodologia che rende i guasti correlati misurabili e assicura che le garanzie degradino in modo trasparente anziché silenzioso. Tutto il codice, i contratti, i generatori e le preregistrazioni sono rilasciati sotto licenza AGPL-3.0.