From Debate to Decision: Conformal Social Choice for Safe Multi-Agent Deliberation

Titolo: Dalla Discussione alla Decisione: Scelta Sociale Conformale per una Deliberazione Multi-Agente Sicura

1. Il Problema: Il Rischio del Consenso Errato

I sistemi di dibattito multi-agente basati su Large Language Models (LLM) hanno dimostrato di migliorare il ragionamento e la fattualità. Tuttavia, un problema critico emerge quando gli agenti convergono su una risposta sbagliata attraverso il rinforzo sociale (sycophancy).

• Il limite delle attuali strategie di arresto: I sistemi esistenti si basano spesso su un "arresto basato sul consenso" (si ferma quando tutti gli agenti sono d'accordo). Questo approccio è pericoloso perché un consenso unanime non garantisce la correttezza; anzi, può bloccare errori sistematici con alta confidenza apparente.
• Conseguenza: Quando il consenso è errato, il sistema commette l'azione automatica senza alcun meccanismo di sicurezza o ricorso, portando a errori critici in scenari reali.
• La domanda fondamentale: Non è "chi ha vinto il dibattito?", ma "quando è sicuro agire?". Manca un meccanismo di rifiuto calibrato che chieda: "C'è una risposta abbastanza certa per agire, o dobbiamo coinvolgere un umano?".

2. Metodologia: Conformal Social Choice

Gli autori introducono Conformal Social Choice, un livello decisionale post-hoc (dopo la generazione) che trasforma le uscite del dibattito in decisioni calibrate tra "agire autonomamente" o "scalare all'umano". Il framework non richiede ri-addestramento dei modelli né accesso ai loro parametri interni (black-box).

Il processo avviene in quattro fasi:

1. Dibattito Multi-Agente con Elicitazione Verbale:

   • Un ensemble eterogeneo di agenti LLM (es. Claude Haiku, DeepSeek-R1, Qwen-3) discute per $T$ round.
   • Ogni agente non fornisce solo una risposta, ma una distribuzione di probabilità verbale $\pi_i(y|x)$ per ogni opzione possibile. Questo permette di catturare l'incertezza interna dell'agente.

2. Aggregazione della Probabilità Sociale:

   • Le distribuzioni individuali vengono aggregate in una singola distribuzione sociale $P_{social}$ utilizzando un pool di opinioni lineare (media pesata).
   • A differenza del voto a maggioranza, questo metodo preserva l'intensità delle preferenze (es. un agente con 0.99 di confidenza pesa più di uno con 0.6).

3. Calibrazione Conformale (Split Conformal Prediction):

   • Viene applicata la previsione conformale su una serie di dati di calibrazione separata.
   • Si definisce un punteggio di non-conformità: $snc(x, y) = 1 - P_{social}(y|x)$.
   • Viene calcolato una soglia $\hat{q}$ basata sul quantile dei punteggi di non-conformità dei dati di calibrazione, garantendo un copertura marginale: $Pr[Y \in C(X)] \geq 1 - \alpha$.
   • Questo garantisce che, statisticamente, la risposta corretta sia inclusa nell'insieme predittivo $C(x)$ con probabilità almeno $1-\alpha$, senza assunzioni sulla calibrazione dei singoli modelli.

4. Costruzione dell'Insieme di Predizione e Politica di Azione Gerarchica:

   • Per un nuovo input, si costruisce l'insieme $C(x) = \{y : P_{social}(y|x) \geq 1 - \hat{q}\}$.
   • Politica di Azione:
     • Se $|C(x)| = 1$ (insieme singolo): Il sistema agisce autonomamente sulla risposta.
     • Se $|C(x)| > 1$ (insieme multiplo): Il sistema rifiuta di agire e scala la decisione a un revisore umano (human-in-the-loop), fornendo un sottoinsieme di opzioni plausibili.
     • Se $|C(x)| = 0$: Segnala un'anomalia per revisione completa.

3. Contributi Chiave

1. Riformulazione della Decisione: Spostano il focus dalla selezione della risposta più probabile alla selezione dell'azione controllata dal rischio, introducendo un pipeline post-hoc con garanzie di copertura.
2. Quantificazione del Fallimento: Dimostrano che il 23,9% dei casi inizialmente disputati converge in un "consenso unanime sbagliato" (wrong-consensus) entro la fine del dibattito.
3. Mitigazione Operativa: Il livello conformale intercetta l'81,9% di questi errori di consenso sbagliato (a $\alpha=0.05$), impedendo che vengano eseguiti automaticamente.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su MMLU-Pro (8 domini professionali: Matematica, Fisica, Diritto, ecc.) utilizzando tre agenti LLM eterogenei.

• Copertura e Calibrazione: La copertura empirica rimane entro 1-2 punti percentuali dal target ($1-\alpha$), confermando la validità della garanzia marginale.
• Accuratezza dei Singoli (Singletons):
  • Quando il sistema decide di agire autonomamente (insieme singolo), l'accuratezza raggiunge il 90,0% - 96,8%.
  • Questo è un aumento fino a 22,1 punti percentuali rispetto all'arresto basato sul consenso tradizionale (es. nel dominio "Diritto", l'accuratezza sale dal 67,9% al 90,0%).
  • Nota importante: Questo miglioramento non deriva da un ragionamento migliore degli agenti, ma da un effetto di selezione: il sistema rifiuta di agire sui casi in cui il dibattito è convincente ma errato.
• Gestione dell'Incertezza:
  • In domini ad alta ambiguità (es. Diritto), il sistema scala la maggior parte dei casi (93,8%) all'umano, evitando errori.
  • In domini con risposte univoche (es. Matematica), il sistema automatizza quasi tutti i casi (98,2%) con alta precisione.
• Efficienza: Il metodo intercetta l'81,9% degli errori di consenso sbagliato, introducendo solo 2 nuovi errori "falsi positivi" (singoli errati) su 4.158 campioni (rapporto sicurezza 240:1).

5. Significato e Implicazioni

• Sicurezza vs. Automazione: Il framework offre un punto di operazione regolabile dall'utente tramite il parametro $\alpha$. Aumentare la sicurezza (ridurre $\alpha$) riduce l'automazione ma aumenta drasticamente l'affidabilità delle azioni residue.
• Indipendenza dal Modello: Essendo un metodo post-hoc e black-box, è applicabile a qualsiasi sistema multi-agente che possa esprimere distribuzioni di probabilità, senza modificare i modelli sottostanti.
• Cambiamento di Paradigma: Il paper dimostra che in contesti ad alto rischio, la "correttezza" non è l'unico obiettivo; la capacità del sistema di riconoscere quando non è sicuro agire è fondamentale. La scelta sociale conformale trasforma l'incertezza calibrata in una regola operativa di sicurezza.

In sintesi, Conformal Social Choice risolve il paradosso del consenso errato nei dibattiti AI, trasformando un sistema che tende a commettere errori con sicurezza in un sistema che sa quando fermarsi e chiedere aiuto, garantendo un livello di sicurezza statisticamente verificabile.