How to Avoid Debate: Scalable AI Safety via Doubly-Efficient Interactive Proofs

Sintesi Tecnica: Sicurezza dell'IA Scalabile tramite Prove Interattive Doppiamente Efficienti

Problema
Man mano che i modelli di IA sviluppano capacità potenti, verificare che i loro output siano allineati con le intenzioni umane diventa critico, particolarmente per compiti complessi dove la verifica umana è proibitivamente costosa (ad esempio, la generazione di contratti legali o la verifica di dati basata sul web). Un approccio recente a questo problema di "supervisione scalabile" (scalable oversight) consiste nel dibattito (debate), un modello di prove interattive in cui due modelli di IA in competizione dibattono per convincere un debole verificatore umano. Tuttavia, il dibattito si basa su assunzioni forti e potenzialmente irrealistiche: i due modelli devono avere abilità uguali, essere correttamente incentivati e, soprattutto, uno di essi deve essere veritiero. L'assunzione che sia più difficile mentire che confutare una menzogna non è garantita in tutti i contesti.

Inoltre, i risultati classici delle prove interattive (ad esempio, $IP = PSPACE$) non si applicano immediatamente alla sicurezza dell'IA perché i compiti dell'IA sono spesso modellati come computazioni con accesso a un oracolo (una funzione "black-box" che rappresenta il giudizio umano o database esterni come il web). È un limite noto che le prove interattive per computazioni generali assistite da oracolo non relativizzano (ovvero, non valgono quando la computazione ha accesso a un oracolo). Poiché la relativizzazione è considerata essenziale per la rilevanza della sicurezza dell'IA, i ricercatori si sono rivolti al dibattito per recuperare questa proprietà. Questo articolo investiga se sia possibile costruire una prova interattiva a prover singolo che relativizzi, evitando così la necessità di un secondo prover in dibattito.

Metodologia e Approccio Tecnico
Gli autori modellano la computazione come un circuito booleano con oracolo $C^O$, dove il circuito contiene porte logiche standard e porte di oracolo che interrogano un oracolo $O$. Propongono prove interattive doppiamente efficienti (dove l'honest prover opera in tempo polinomiale e il verificatore in tempo quasi-lineare con interrogazioni all'oracolo sub-lineari) e argomenti interattivi (dove la correttezza/soundness è garantita contro prover a tempo polinomiale) per due scenari specifici:

1. Computazione da Oracolo Robusta:

   • Definizione: Una computazione è $\epsilon$-robusta se il suo output non cambia anche se al massimo una frazione $\epsilon$ delle risposte alle sue interrogazioni all'oracolo è errata. Ciò modella scenari in cui il giudizio umano è soggetto a errori o dove viene utilizzata la ridondanza (ad esempio, il voto di maggioranza).
   • Interrogazioni Non Adattive: Per i circuiti che effettuano interrogazioni non adattive, gli autori costruiscono un protocollo utilizzando una Prova di Prossimità Interattiva (IPP). Il prover e il verificatore interagiscono in una IPP per dimostrare che il circuito accetta una stringa di query-risposta $Q$ che è vicina alla stringa reale. Per gestire il fatto che il verificatore non può accedere in modo affidabile a $Q$ direttamente, il protocollo include una Prova Interattiva Doppiamente Efficiente (DEIP) per verificare che le query in $Q$ siano state computate correttamente a partire dall'input.
   • Interrogazioni Adattive: Per i circuiti che effettuano interrogazioni adattive (dove le interrogazioni successive dipendono dalle risposte precedenti), gli autori introducono un approccio ricorsivo con checksum. Il prover impegna (commits) le stringhe query-risposta per ogni livello di adattività utilizzando checksum a decodifica univoca (basati su codici correttori di errore lineari). Il protocollo procede livello per livello, utilizzando IPP per verificare che le query al livello $i$ siano coerenti con i checksum e le risposte del livello $i-1$. Questo "fissa" l'input di ogni IPP, permettendo alle garanzie di correttezza di mantenersi nonostante la natura adattiva delle interrogazioni.

2. Oracolo a Basso Grado (Low-Degree Oracle):

   • Definizione: L'oracolo $O$ è rappresentabile come un polinomio di basso grado su un campo finito. Ciò modella oracoli che sono "apprendibili" da semplici classi di machine learning o database convertiti tramite estensioni di basso grado.
   • Protocollo: Il prover si impegna su due polinomi, $G$ (che codifica le query) e $F$ (che codifica le risposte), utilizzando uno schema di impegno polinomiale (polynomial commitment scheme). Il prover utilizza un argomento di conoscenza succinto (protocollo di Kilian) per dimostrare che $C(x)$ accetta usando $G$ e $F$. Il verificatore controlla quindi un singolo punto casuale $u$ per garantire che $F(u) = O(G(u))$. Grazie al lemma di Schwartz-Zippel, se $F$ non codifica correttamente le risposte dell'oracolo per $G$, essi disaccordo con alta probabilità in un punto casuale.

Contributi Chiave e Risultati
L'articolo presenta le prime prove interattive e argomenti a prover singolo, doppiamente efficienti e relativizzanti per computazioni assistite da oracolo. I risultati sono riassunti come segue:

• Circuiti Robusti (Non Adattivi): Un sistema di prova di correttezza statistica con tempo del verificatore $\tilde{O}(\epsilon \ell D + 1/\epsilon + n)$ e complessità di interrogazione $\tilde{O}(1/\epsilon)$.
• Circuiti Robusti (Adattivi): Un sistema di prova di correttezza statistica per circuiti $d$-adattivi con tempo del verificatore $\tilde{O}(\sigma^d(\epsilon \ell D + 1/\epsilon + n))$ e complessità di interrogazione $\tilde{O}(\sigma^d/\epsilon)$.
• Circuiti Robusti (Sistema di Argomentazione): Un sistema di argomentazione di correttezza computazionale con complessità di round costante $O(1)$, complessità di interrogazione $O(1/\epsilon)$ e tempo del verificatore $\tilde{O}(1/\epsilon + n)$. Questo sfrutta alberi di hash e argomenti di conoscenza succinti.
• Oracolo a Basso Grado (Sistema di Argomentazione): Un sistema di argomentazione di correttezza computazionale con una sola interrogazione all'oracolo, complessità di comunicazione costante (fino a fattori polinomiali nei parametri di sicurezza) e complessità di round $\tilde{O}(1)$.

Significatività
L'articolo sostiene che questi risultati dimostrano che la verifica interattiva è possibile anche senza dibattito, a condizione che la computazione sia robusta rispetto a piccoli errori nelle risposte dell'oracolo o che l'oracolo possieda una forte struttura algebrica (basso grado). Ciò mette in discussione la necessità del modello di dibattito per ottenere prove interattive relativizzanti nella sicurezza dell'IA. Il lavoro estende la classe delle prove interattive doppiamente efficienti alle computazioni assistite da oracolo, colmando una lacuna tra la crittografia teorica e le necessità pratiche della supervisione scalabile dell'IA.

Gli autori osservano che, sebbene non abbiano costruito prove per tutte le computazioni assistite da oracolo (un risultato dimostrato impossibile da lavori precedenti), hanno identificato due scenari naturali in cui la relativizzazione può essere recuperata utilizzando un prover singolo. L'articolo conclude suggerendo direzioni future, come la validazione sperimentale della robustezza in compiti reali e l'esplorazione di altre assunzioni di oracolo "apprendibili".