Sintesi Tecnica: Deliberazione Multi-Agente LLM con Budget di "Act-or-Defer" e Limiti di Affidabilità Locali

1. Definizione del Problema

Il documento affronta la sfida del dispiegamento di sistemi di deliberazione multi-agente basati su Large Language Model (LLM). Sebbene i dibattiti multi-agente migliorino le capacità di ragionamento, il dispiegamento pratico richiede un meccanismo fondato per decidere quando il sistema debba agire autonomamente e quando debba invece deferire alla revisione umana. Gli approcci esistenti si affidano tipicamente a round di arresto fissi con garanzie di copertura marginali (ad esempio, la previsione conforme suddivisa) o soglie di consenso euristiche che mancano di un controllo esplicito sulla probabilità di azioni errate.

Il problema centrale è formulato come processo decisionale a budget di act-or-defer: dato un "budget di azioni errate" ($\beta$) specificato dall'utente, il sistema deve determinare una regola di arresto $\tau$ tale che la probabilità di agire su una risposta errata sia limitata da $\beta$, massimizzando al contempo il tasso di azione autonoma (automazione). Ciò richiede limiti di affidabilità per istanza e per round che si adattino allo stato locale del dibattito.

2. Metodologia

Il metodo proposto costruisce limiti inferiori di confidenza locali sulla probabilità di correttezza utilizzando un approccio $k$-nearest-neighbor ($k$-NN) in uno spazio metrico di stati di dibattito.

2.1 Rappresentazione dello Stato e Calibrazione

• Embedding dello Stato: Ad ogni round $t$, la cronologia del dibattito (filtratura $F_t$) viene compressa in uno stato a bassa dimensionalità $U_t = \phi_t(F_t)$ in uno spazio metrico $(\mathcal{U}, d)$. Lo stato predefinito consiste nella probabilità sociale superiore ($p^{(1)}_t$) e dal margine ($\Delta_t$) tra le prime due opzioni.
• Calibrazione: Viene utilizzato un dataset di calibrazione $D_{cal}$ dove vengono eseguiti dibattiti completi. Per ogni istanza e round, lo stato $U_{i,t}$ e l'indicatore di correttezza $Z_{i,t}$ vengono registrati. I dati sono divisi in un set di stima del modulo ($D_{mod}$) e un set di ricerca ($D_{loc}$).

2.2 Costruzione del Limite Inferiore

Per un'istanza di test al round $t$ con stato $U_t$, il metodo calcola un limite inferiore $L_t$ sulla correttezza locale $q_t(U_t) = \Pr(Y = \hat{Y}_t | U_t = u)$.

1. Ricerca $k$-NN: Per una famiglia di dimensioni di vicinato $K$, il metodo identifica i $k$ vicini più prossimi in $D_{loc}$.
2. Correzione Bias-Varianza: La media empirica della correttezza nel vicinato è penalizzata da due termini:
   • Inviluppo di Bias Locale ($b_{t,k}$): Un'interfaccia plug-in che controlla l'errore di approssimazione all'interno del vicinato. Il documento utilizza un modulo empirico (calcolato tramite un GAM logistico su $D_{mod}$) come valore predefinito, che misura la massima variazione di uno smussatore pilota entro un raggio.
   • Varianza di Campionamento: Un termine di concentrazione di Hoeffding $\sqrt{\frac{\log(T|K|/\delta)}{2k}}$.
3. Selezione Adattiva: Il limite finale è il massimo su tutti i $k \in K$:
   $$L_t = \max_{k \in K} \left[ \hat{q}_{t,k}(U_t) - b_{t,k}(U_t) - \sqrt{\frac{\log(T|K|/\delta)}{2k}} \right]$$
   Ciò consente a ogni istanza di selezionare automaticamente il $k$ che offre il miglior compromesso bias-varianza.

2.3 Decomposizione del Budget e Regola di Arresto

L'utente specifica un budget totale di azioni errate $\beta$. Il metodo decompone questo budget in tre componenti:
$$\beta = \underbrace{\delta}_{\text{Fallimento della Calibrazione}} + \underbrace{\alpha}_{\text{Rischio Residuo dell'Azione}} + \underbrace{\epsilon_{act}}_{\text{Gap di Rappresentazione}}$$

• $\delta$: Controlla la probabilità che il limite inferiore $L_t$ superi la vera correttezza (fallimento della calibrazione).
• $\alpha$: Il rischio residuo quando il sistema agisce. La soglia di arresto è impostata su $1 - \alpha$, dove $\alpha = \beta - \delta - \epsilon_{act}$.
• $\epsilon_{act}$: Un limite monodirezionale sul "gap di rappresentazione", che tiene conto delle informazioni perse quando la cronologia completa del dibattito $F_t$ viene compressa nello stato $U_t$.

Regola di Arresto: Il sistema agisce al round $\tau = \inf \{ t \le T : L_t \ge 1 - \alpha \}$. Se il limite non viene mai raggiunto entro il round $T$, l'istanza viene deferita alla revisione umana.

2.4 Deployment a Rischio Relativo

Per gestire compiti di diversa difficoltà, il documento introduce una policy di deployment a rischio relativo. Invece di fissare un $\beta$ assoluto per tutti i compiti, il budget è indotto dall'errore dell'ultimo round ($\hat{e}_T$) del compito sui dati di addestramento: $\beta_d = \lambda \cdot \hat{e}_T$. Il moltiplicatore $\lambda$ è selezionato sul set di addestramento per massimizzare l'automazione mantenendo l'uso del budget normalizzato ($WA/\beta$) al di sotto di un target (ad esempio, 0.10).

3. Contributi Chiave

1. Formalizzazione dell'Arresto Adattivo: Il documento formalizza l'arresto della deliberazione multi-agente come un problema di controllo del rischio condizionato allo stato locale con una decomposizione del budget a tre vie ($\beta = \delta + \alpha + \epsilon_{act}$).
2. Interfaccia dell'Inviluppo di Bias Locale: Introduce un inviluppo di bias generico e plug-in $b_{t,k}(u)$ (con casi speciali Lipschitz, Hölder e modulo empirico) per controllare l'errore di approssimazione locale, provando la validità simultanea dei limiti inferiori.
3. Garanzie Condizionate con Assunzioni Esplicite: A differenza dei metodi senza distribuzione, la garanzia è condizionata ad assunzioni locali verificabili (validità dell'inviluppo di bias e gap di rappresentazione della regione d'azione). Il costo del fallimento delle assunzioni è esplicitamente aggiunto al limite del rischio tramite la Proposizione 4.
4. Deployment a Rischio Relativo: Il metodo converte un budget di azioni errate dichiarato dall'utente in un punto operativo prospetticamente verificabile, utilizzando i dati di addestramento per normalizzare i budget tra compiti di diversa difficoltà.
5. Validazione Empirica: Esperimenti su sei benchmark (MMLU-Pro, LogiQA, ARC, BBH, MuSR, GPQA) contro nove baseline dimostrano che il metodo utilizza solo il 9–12% del budget pre-dichiarato sui dataset attivati, pur ottenendo un'alta automazione (fino all'84%) e un'accuratezza delle azioni (fino al 96%). Nei dataset di stress-test (GPQA, MuSR), il metodo deferisce correttamente invece di forzare un'automazione inaffidabile.

4. Risultati

• Dataset Attivati: Su MMLU-Pro, BBH, LogiQA e ARC, il metodo raggiunge tassi di automazione tra il 28% e l'84% con accuratezze delle azioni tra l'89% e il 97%. Fondamentalmente, il tasso di azioni errate ($WA$) consuma solo il 9-12% del budget pre-dichiarato ($WA/\beta \in [0.09, 0.12]$).
• Dataset di Stress-Test: Su GPQA e MuSR (caratterizzati da piccoli campioni e alto errore di base), i budget indotti sono elevati, ma il metodo deferisce sulla maggior parte delle istanze (0%–53% di automazione) perché i limiti inferiori locali non superano la soglia. Questo è presentato come il comportamento desiderato per evitare un'automazione inaffidabile.
• Confronto con Baseline (Matched-Automation): Quando le baseline vengono regolate post-hoc per corrispondere al tasso di automazione del metodo proposto, la loro accuratezza delle azioni e l'uso del budget sono statisticamente indistinguibili. Il documento sostiene che il valore del metodo proposto risiede nella costruzione prospettica di una policy da un budget dichiarato, senza necessità di ricerca post-hoc della soglia per ogni compito.
• Ablazioni: Rimuovere l'inviluppo di bias ($b_{t,k}$) porta a un aumento di 2-3 volte dell'uso del budget. Utilizzare solo l'ultimo round (senza arresto adattivo) elimina i risparmi dell'arresto anticipato.

5. Significato e Rivendicazioni

Il documento afferma che il suo contributo primario non è ottenere una qualità del sottoinsieme superiore rispetto alle soglie scalari regolate (che eguaglia nei test di matched-automation), ma fornire un framework prospettico e verificabile per convertire un budget di azioni errate dichiarato dall'utente in una policy di "act-or-defer".

• Assunzioni Esplicite: Il metodo espone le assunzioni strutturali necessarie per la garanzia (smoothness locale tramite l'inviluppo di bias e il gap di rappresentazione) e le accoppia con proxy diagnostici (ad esempio, inflazione del modulo, controlli del gap del predittore) per falsificare rappresentazioni insufficienti.
• Degradazione Graduale: La garanzia degrada con grazia; se le assunzioni vengono violate, la probabilità di fallimento è esplicitamente aggiunta al limite del rischio anziché causare un fallimento catastrofico della garanzia.
• Template per il Calcolo al Tempo di Inferenza: Gli autori vedono questo lavoro come un modello per altri pipeline di calcolo al tempo di inferenza dove l'azione autonoma ripetuta è economica, ma le occasionali azioni errate sono costose.

Il documento dichiara esplicitamente di non fornire una correttezza condizionata priva di distribuzione. Inveve, offre un framework di decomposizione del rischio che rende esplicito il costo delle assunzioni locali, permettendo un dispiegamento verificabile in condizioni dichiarate.