How to Avoid Debate: Scalable AI Safety via Doubly-Efficient Interactive Proofs

Resumen Técnico: Seguridad de la IA Escalable mediante Pruebas Interactivas Doblemente Eficientes

Planteamiento del Problema
A medida que los modelos de IA desarrollan capacidades potentes, verificar que sus resultados se alineen con las intenciones humanas se vuelve crítico, particularmente para tareas complejas donde la verificación humana es prohibitivamente costosa (por ejemplo, la generación de contratos legales o la verificación de datos basados en la web). Un enfoque reciente para este problema de "supervisión escalable" consiste en el debate, un modelo de pruebas interactivas donde dos modelos de IA compiten para convencer a un verificador humano débil; sin embargo, el debate depende de supuestos fuertes y potencialmente irreales: los dos modelos deben tener capacidades iguales, estar debidamente incentivados y, crucialmente, uno debe ser veraz. El supuesto de que es más difícil mentir que refutar una mentira no está garantizado en todos los entornos.

Además, los resultados clásicos de las pruebas interactivas (por ejemplo, $IP = PSPACE$) no se aplican inmediatamente a la seguridad de la IA porque las tareas de IA suelen modelarse como computaciones con acceso a un oráculo (una función de "caja negra" que representa el juicio humano o bases de datos externas como la web). Es una limitación conocida que las pruebas interactivas para computaciones generales con ayuda de un oráculo no relativizan (es decir, no se mantienen cuando la computación tiene acceso a un oráculo). Dado que la relativización se considera esencial para la relevancia en la seguridad de la IA, los investigadores han recurrido al debate para recuperar esta propiedad. Este artículo investiga si se puede construir una prueba interactiva de proponente único que relativice, evitando así la necesidad de un segundo proponente en debate.

Metodología y Enfoque Técnico
Los autores modelan la computación como un circuito booleano con oráculo $C^O$, donde el circuito contiene puertas lógicas estándar y puertas de oráculo que consultan a un oráculo $O$. Proponen pruebas interactivas doblemente eficientes (donde el proponente honesto se ejecuta en tiempo polinomial y el verificador en tiempo casi lineal con consultas al oráculo sublineales) y argumentos interactivos (donde la solidez se mantiene frente a proponentes de tiempo polinomial) para dos configuraciones específicas:

1. Computación de Oráculo Robusta:

   • Definición: Una computación es $\epsilon$-robusta si su salida no cambia incluso si hasta una fracción $\epsilon$ de las respuestas a sus consultas al oráculo son incorrectas. Esto modela escenarios donde el juicio humano puede ser propenso a errores o donde se utiliza la redundancia (por ejemplo, votación por mayoría).
   • Consultas No Adaptativas: Para circuitos que realizan consultas no adaptativas, los autores construyen un protocolo utilizando una Prueba Interactiva de Proximidad (IPP). El proponente y el verificador participan en una IPP para demostrar que el circuito acepta una cadena de consulta-respuesta $Q$ que es cercana a la cadena verdadera. Para manejar el hecho de que el verificador no puede acceder directamente a $Q de manera confiable, el protocolo incluye una Prueba Interactiva Doblemente Eficiente (DEIP) para verificar que las consultas en $Q$ fueron computadas correctamente a partir de la entrada.
   • Consultas Adaptativas: Para circuitos que realizan consultas adaptativas (donde las consultas posteriores dependen de las respuestas anteriores), los autores introducen un enfoque recursivo con sumas de comprobación (checksums). El proponente se compromete con las cadenas de consulta-respuesta para cada nivel de adaptividad utilizando sumas de comprobación de decodificación única (basadas en códigos de corrección de errores lineales). El protocolo procede nivel por nivel, utilizando IPPs para verificar que las consultas en el nivel $i$ son consistentes con las sumas de comprobación y las respuestas del nivel $i-1$. Esto "fija" la entrada de cada IPP, permitiendo que las garantías de solidez se mantengan a pesar de la naturaleza adaptativa de las consultas.

2. Oráculo de Bajo Grado:

   • Definición: El oráculo $O$ es representable como un polinomio de bajo grado sobre un campo finito. Esto modela oráculos que son "aprendibles" por clases simples de aprendizaje automático o bases de datos convertidas mediante extensiones de bajo grado.
   • Protocolo: El proponente se compromete con dos polinomios, $G$ (que codifica las consultas) y $F$ (que codifica las respuestas), utilizando un esquema de compromiso polinomial. El proponente utiliza un argumento de conocimiento suculento (protocolo de Kilian) para demostrar que $C(x)$ acepta cuando se utilizan $G$ y $F$. El verificador luego comprueba un único punto aleatorio $u$ para asegurar que $F(u) = O(G(u))$. Mediante el lema de Schwartz-Zippel, si $F$ no codifica correctamente las respuestas del oráculo para $G$, estos discreparán con alta probabilidad en un punto aleatorio.

Contribuciones Clave y Resultados
El artículo presenta las primeras pruebas y argumentos interactivos de proponente único, doblemente eficientes y relativizables para computaciones con ayuda de oráculo. Los resultados se resumen como sigue:

• Circuitos Robustos (No Adaptativos): Un sistema de prueba de solidez estadística con tiempo de ejecución del verificador $\tilde{O}(\epsilon \ell D + 1/\epsilon + n)$ y complejidad de consulta $\tilde{O}(1/\epsilon)$.
• Circuitos Robustos (Adaptativos): Un sistema de prueba de solidez estadística para circuitos de $d$-adaptatividad con tiempo de ejecución del verificador $\tilde{O}(\sigma^d(\epsilon \ell D + 1/\epsilon + n))$ y complejidad de consulta $\tilde{O}(\sigma^d/\epsilon)$.
• Circuitos Robustos (Sistema de Argumentos): Un sistema de argumentos de solidez computacional con complejidad de rondas constante $O(1)$, complejidad de consulta $O(1/\epsilon)$ y tiempo de ejecución del verificador $\tilde{O}(1/\epsilon + n)$. Esto aprovecha árboles de hash y argumentos de conocimiento suculentos.
• Oráculo de Bajo Grado (Sistema de Argumentos): Un sistema de argumentos de solidez computacional con una consulta al oráculo, complejidad de comunicación constante (hasta factores polinomiales en los parámetros de seguridad) y complejidad de rondas $\tilde{O}(1)$.

Significancia
El artículo afirma que estos resultados demuestran que la verificación interactiva es posible incluso sin el debate, siempre que la computación sea robusta a pequeños errores en las respuestas del oráculo o que el oráculo posea una estructura algebraica fuerte (bajo grado). Esto desafía la necesidad del modelo de debate para lograr pruebas interactivas relativizables en la seguridad de la IA. El trabajo extiende la clase de pruebas interactivas doblemente eficientes a computaciones con ayuda de oráculo, abordando una brecha entre la criptografía teórica y las necesidades prácticas de la supervisión de la IA escalable.

Los autores señalan que, si bien no han construido pruebas para todas las computaciones con ayuda de oráculo (un resultado demostrado como imposible por trabajos previos), han identificado dos entornos naturales donde la relativización puede recuperarse utilizando un solo proponente. El artículo concluye sugiriendo direcciones futuras, como la validación experimental de la robustez en tareas del mundo real y la exploración de otras suposiciones de oráculos "aprendibles".