How to Avoid Debate: Scalable AI Safety via Doubly-Efficient Interactive Proofs

Technische Samenvatting: Schaalbare AI-veiligheid via Dubbel-Efficiënte Interactieve Bewijzen

Probleemstelling
Naarmate AI-modellen krachtigere capaciteiten ontwikkelen, wordt het cruciaal om te verifiëren dat hun outputs in lijn zijn met menselijke intenties, met name voor complexe taken waarbij menselijke verificatie evenredig duur is (bijv. het genereren van juridische contracten of webgebaseerde dataverificatie). Een recente benadering van dit probleem van "schaalbare supervisie" betreft debat, een model van interactieve bewijzen waarbij twee concurrerende AI-modellen debatteren om een zwakke menselijke verifieerder te overtuigen. Echter, debat rust op sterke en potentieel onrealistische aannames: de twee modellen moeten over gelijke vermogens beschikken, correct geprikkeld zijn en cruciaal: één van hen moet waarheidsgetrouw zijn. De aanname dat het moeilijker is om te liegen dan om een leugen te weerleggen, is niet gegarandeerd in alle settings.

Bovendien zijn klassieke resultaten uit de interactieve bewijstheorie (bijv. $IP = PSPACE$) niet direct toepasbaar op AI-veiligheid omdat AI-taken vaak worden gemodelleerd als berekeningen met toegang tot een orakel (een "black-box" functie die menselijk oordeel of externe databases zoals het web vertegenwoordigt). Het is een bekende beperking dat interactieve bewijzen voor algemene orakel-ondersteunde berekeningen niet relativiseren (dat wil zeggen: ze houden niet stand wanneer de berekening toegang heeft tot een orakel). Omdat relativisering als essentieel wordt beschouwd voor de relevantie van AI-veiligheid, hebben onderzoekers zich tot debat gewend om deze eigenschap te herstellen. Dit paper onderzoekt of een single-prover (enkelvoudige bewijzer) interactief bewijs kan worden geconstrueerd dat relativiseert, waardoor de noodzaak voor een tweede debatterende bewijzer wordt vermeden.

Methodologie en Technische Benadering
De auteurs modelleren de berekening als een orakel Booleaanse circuit $C^O$, waarbij het circuit standaard logische poorten en orakelpoorten bevat die een orakel $O$ bevragen. Zij stellen dubbel-efficiënte interactieve bewijzen voor (waarbij de eerlijke bewijzer in polynomiale tijd werkt en de verifieerder in bijna-lineaire tijd met sublineaire orakel-queries) en interactieve argumenten (waarbij de betrouwbaarheid geldt tegen polynomiale tijd bewijzers) voor twee specifieke settings:

1. Robuuste Orakelberekening:

   • Definitie: Een berekening is $\epsilon$-robuust als de output niet verandert, zelfs als maximaal een $\epsilon$-fractie van de antwoorden op de orakel-queries onjuist is. Dit modelleert scenario's waarin menselijk oordeel foutgevoelig is of waar redundantie (bijv. meerderheidsstemmen) wordt gebruikt.
   • Niet-adaptieve Queries: Voor circuits die niet-adaptieve queries maken, construeren de auteurs een protocol met behulp van een Interactive Proof of Proximity (IPP). De bewijzer en verifieerder gaan een IPP aan om te bewijzen dat het circuit een query-antwoord string $Q$ accepteert die dicht bij de ware string ligt. Om het feit op te vangen dat de verifieerder niet betrouwbaar direct toegang heeft tot $Q$, bevat het protocol een Doubly-Efficient Interactive Proof (DEIP) om te verifiëren dat de queries in $Q$ correct zijn berekend vanuit de input.
   • Adaptieve Queries: Voor circuits die adaptieve queries maken (waarbij latere queries afhangen van eerdere antwoorden), introduceren de auteurs een recursieve aanpak met checksums. De bewijzer legt de query-antwoord strings vast voor elk niveau van adaptiviteit met behulp van unique-decoding checksums (gebaseerd op lineaire foutcorrigerende codes). Het protocol verloopt niveau voor niveau, waarbij IPP's worden gebruikt om te verifiëren dat de queries op niveau $i$ consistent zijn met de checksums en de antwoorden van niveau $i-1$. Dit "fixeert" de input voor elke IPP, waardoor de betrouwbaarheidsgaranties standhouden ondanks de adaptieve aard van de queries.

2. Low-Degree Oracle:

   • Definitie: Het orakel $O$ is representeerbaar als een low-degree polynoom over een eindig veld. Dit modelleert orakels die "leerbaar" zijn door eenvoudige machine learning klassen of databases die via low-degree extensies zijn omgezet.
   • Protocol: De bewijzer legt twee polynomen vast, $G$ (die de queries codeert) en $F$ (die de antwoorden codeert), met behulp van een polynomial commitment scheme. De bewijzer gebruikt een succinct argument van kennis (Kilian's protocol) om te bewijzen dat $C(x)$ accepteert wanneer $G$ en $F$ worden gebruikt. De verifieerder controleert vervolgens een enkel willekeurig punt $u$ om te verzekeren dat $F(u) = O(G(u))$. Door de Schwartz-Zippel lemma zullen zij, indien $F$ de orakel-antwoorden voor $G$ niet correct codeert, met een hoge waarschijnlijkheid op een willekeurig punt van mening verschillen.

Belangrijkste Bijdragen en Resultaten
Het paper presenteert de eerste relativiserende dubbel-efficiënte single-prover interactieve bewijzen en argumenten voor orakel-ondersteunde berekeningen. De resultaten zijn als volgt samengevat:

• Robuuste Circuits (Niet-adaptief): Een statistisch betrouwbaar bewijssysteem met een verifieerder die werkt in $\tilde{O}(\epsilon \ell D + 1/\epsilon + n)$ en een query-complexiteit van $\tilde{O}(1/\epsilon)$.
• Robuste Circuits (Adaptief): Een statistisch betrouwbaar bewijssysteem voor $d$-adaptieve circuits met een verifieerder die werkt in $\tilde{O}(\sigma^d(\epsilon \ell D + 1/\epsilon + n))$ en een query-complexiteit van $\tilde{O}(\sigma^d/\epsilon)$.
• Robuste Circuits (Argument Systeem): Een computationeel betrouwbaar argument systeem met een constante ronde-complexiteit $O(1)$, query-complexiteit $O(1/\epsilon)$ en een verifieerder die werkt in $\tilde{O}(1/\epsilon + n)$. Dit maakt gebruik van hash-trees en succincte argumenten van kennis.
• Low-Degree Oracle (Argument Systeem): Een computationeel betrouwbaar argument systeem met één orakel-query, constante communicatie-complexiteit (tot polynomiale factoren in beveiligingsparameters) en een ronde-complexiteit van $\tilde{O}(1)$.

Betekenis
Het paper beweert dat deze resultaten aantonen dat interactieve verificatie mogelijk is zonder debat, mits de berekening ofwel robuust is tegen kleine fouten in orakel-antwoorden, of het orakel een sterke algebraïsche structuur bezit (low-degree). Dit daagt de noodzaak van het debat-model uit om relativiserende interactieve bewijzen te bereiken voor AI-veiligheid. Het werk breidt de klasse van dubbel-efficiënte interactieve bewijzen uit naar orakel-ondersteunde berekeningen, waarmee een gat wordt gedicht tussen theoretische cryptografie en de praktische behoeften van schaalbare AI-supervisie.

De auteurs merken op dat hoewel zij geen bewijzen hebben geconstrueerd voor alle orakel-ondersteunde berekeningen (een resultaat dat door eerder werk als onmogelijk is bewezen), zij twee natuurlijke settings hebben geïdentificeerd waar relativisering kan worden hersteld met een enkele bewijzer. Het paper concludeert door suggesties te doen voor toekomstige richtingen, zoals experimentele validatie van robuustheid in real-world taken en het verkennen van andere "leerbare" orakel-aannames.