Consensus Sampling for Safer Generative AI

Resumen Técnico: Muestreo por Consenso para IA Generativa Más Segura

Declaración del Problema
El artículo aborda el desafío de agregar múltiples modelos generativos para mitigar riesgos de seguridad que son demostrablemente indetectables mediante la inspección de la salida por sí sola. Citando trabajos de Cohen [1987], de Witt et al. [2023], Zamir [2024], Motwani et al. [2024] y Perry et al. [2025], los autores señalan que riesgos como la esteganografía (ocultar secretos en imágenes o texto) y las vulnerabilidades de código incrustado no pueden identificarse ni eliminarse de manera fiable al examinar la salida final, incluso con supervisión superinteligente. Los métodos de seguridad tradicionales que dependen de inspeccionar las activaciones o salidas del modelo son insuficientes contra estos riesgos de "desalineación".

El problema matemático central se define como una tarea de agregación robusta: dadas $k$ distribuciones de probabilidad (inducidas por $k$ modelos), ¿cómo se puede construir una nueva distribución que sea resiliente a una minoría de constituyentes inseguros o adversarios? El objetivo es producir una muestra que sea segura sin necesidad de saber cuáles modelos específicos son seguros, siempre que una fracción suficiente ($s$) de los modelos sea segura y exhiba una superposición suficiente en sus probabilidades de salida.

Metodología: Muestreo por Consenso
Los autores proponen el Muestreo por Consenso, un algoritmo de caja negra que opera bajo la suposición de acceso a oráculo: la capacidad de muestrear desde cada distribución $p_i$ y evaluar la probabilidad $p_i(y)$ para cualquier salida candidata $y$.

1. Intuición Central: El método se inspira en la robustez de la mediana en estadística. Así como la mediana es menos sensible a los valores atípicos que la media, el algoritmo busca salidas que reciban altas probabilidades de múltiples modelos. Si un solo modelo es adversario, es poco probable que esté de acuerdo con $s$ modelos seguros independientes en una salida específica de alta probabilidad, a menos que esa salida sea genuinamente segura.
2. El Algoritmo (Algoritmo 1):
   • Entradas: $k$ distribuciones, un número objetivo de distribuciones seguras $s$ y un parámetro de tolerancia al riesgo $R$.
   • Proceso: El algoritmo se ejecuta durante $R$ rondas. En cada ronda, muestrea una candidata $y$ de la mezcla uniforme de las $k$ distribuciones. Luego calcula la probabilidad de aceptación basada en la relación entre el promedio de las $s$ probabilidades puntuales más pequeñas asignadas a $y$ (denotadas $p^{(1)}(y) \dots p^{(s)}(y)$) y el promedio de todas las $k$ probabilidades.
   • Salida: Si se acepta, se devuelve $y$. Si ninguna muestra es aceptada después de $R$ rondas, el algoritmo se abstiene (devuelve $\perp$).
3. Distribución Subyacente: El algoritmo realiza efectivamente un muestreo de rechazo para aproximar una distribución $q^*$ proporcional a la suma de las $s$ probabilidades más pequeñas: $q^*(y) \propto \sum_{i=1}^s p^{(i)}(y)$.

Contribuciones Clave y Garantías Teóricas

• Robustez-R: El artículo formaliza una garantía llamada robustez-R. Una distribución es $R$-robusta si su riesgo (probabilidad de generar una salida insegura en un conjunto $U$) es como máximo $R$ veces el riesgo promedio de las $s$ distribuciones de entrada más seguras.
  • Teorema 5.2: La salida del algoritmo de Muestreo por Consenso es $R$-robusta con respecto a las distribuciones de entrada. Esto se cumple para cualquier prompt fijo y cualquier conjunto inseguro $U$, sin requerir una definición formal de "seguridad" más allá de la existencia de un conjunto de salidas de bajo riesgo.
• Robustez Adversaria: Si un conjunto $S$ de tamaño $s$ contiene modelos seguros con un riesgo medio $\epsilon$, el riesgo de salida del algoritmo está acotado por $\epsilon R$. Esto implica que un adversario que controle $k-s$ modelos no puede forzar al sistema a generar datos inseguros a menos que pueda comprometer a la mayoría de los modelos o forzarlos a ponerse de acuerdo en salidas inseguras.
• Límites de Fuga de Información: El artículo demuestra que la robustez-R limita la fuga de información, específicamente en el contexto de la esteganografía.
  • Simulación de Fuga: La salida del algoritmo puede simularse utilizando solo las distribuciones seguras y un único entero $t \in [R+1]$. Esto implica que el algoritmo filtra como máximo $\log(R+1)$ bits de información sobre el mensaje secreto codificado por un modelo adversario.
  • Esteganografía: Si los modelos seguros tienen una baja probabilidad $\epsilon$ de descifrar un mensaje secreto, la probabilidad del muestreador por consenso de descifrarlo está acotada por $\epsilon R$.
• Optimalidad de Pareto: Los autores muestran que la compensación entre el riesgo en el peor caso y la tasa de abstención es óptima de Pareto. El algoritmo no puede mejorar la seguridad (menor riesgo) sin aumentar la tasa de abstención, y viceversa.
• Límites de Abstención: La probabilidad de abstención depende de la superposición ($\Delta$) entre las distribuciones seguras. Si una mayoría de distribuciones son seguras ($s > k/2$) y se superponen significativamente, la tasa de abstención decae exponencialmente con $R$. Sin embargo, si los modelos seguros tienen una baja superposición (un problema común en los modelos de lenguaje), la tasa de abstención puede ser alta.

Resultados Experimentales
El artículo valida el mecanismo mediante dos experimentos:

1. Hipercubo Sintético: Utilizando distribuciones sobre $\{0, 1\}^{64}$, los autores simularon un escenario con una fuente adversaria que codificaba un secreto. Los resultados confirmaron la compensación teórica: a medida que aumentaba la longitud del mensaje oculto (haciendo que el evento inseguro fuera más raro bajo distribuciones seguras), el algoritmo suprimía la salida insegura de manera más efectiva, mientras que aumentar $R$ reducía la tasa de abstención.
2. Esteganografía en Imágenes: Utilizando el modelo Janus-Pro-7B, los autores probaron el algoritmo en la generación de imágenes con un esquema esteganográfico (Zamir [2024]) que codificaba números de tarjetas de crédito en imágenes.
   • Una mezcla uniforme estándar de 3 fuentes (2 seguras, 1 esteganográfica) produjo imágenes inseguras el 33% de las veces.
   • El muestreo por consenso con $R=1$ hasta $R=3$ redujo la tasa de inseguridad al 0% (dentro de los intervalos de confianza) mientras mantenía tasas de abstención no nulas. En $R=4$, la tasa de abstención cayó al 0% mientras se mantenía un 0% de salidas inseguras en el ensayo.

Significado y Afirmaciones
El artículo afirma proporcionar un enfoque agnóstico al modelo para la seguridad de la IA generativa que no depende de la interpretabilidad, arquitecturas de modelo específicas o la inspección humana/AI de las salidas.

• Cambio de Paradigma: Mueve la seguridad de "detectar y eliminar salidas malas" (lo cual es demostrablemente imposible para ciertos riesgos) a "agregar distribuciones para limitar la influencia adversaria".
• Robustez mediante Superposición: Identifica la superposición entre distribuciones seguras como la cantidad crítica que gobierna la compensación seguridad-abstención.
• Limitaciones: Los autores son modestos sobre el alcance. El método no garantiza salidas seguras si todos los modelos de entrada son inseguros. Requiere múltiples modelos seguros y una superposición suficiente entre ellos. No proporciona un método para entrenar modelos seguros, sino un mecanismo para agregar los existentes. Aborda riesgos indetectables como la esteganografía, pero no cubre daños sociales más amplios ni daños que surgen de interacciones de múltiples pasos.

En conclusión, el trabajo ofrece un marco teórico y un algoritmo eficiente para acotar el riesgo de las salidas de la IA generativa aprovechando el consenso de múltiples modelos, proporcionando garantías formales contra la manipulación adversaria que son inalcanzables mediante la inspección por sí sola.