🤖 machine learning

Safety Hacking in Constrained Best-of- $N$ Inference-time Scaling

Este artículo demuestra que el escalado en tiempo de inferencia mediante el muestreo de Best-of- $N$ restringido es inherentemente vulnerable al "hackeo de seguridad", donde los proxies de seguridad imperfectos contaminan el conjunto factible y la maximización de la recompensa amplifica los resultados residualmente inseguros, causando que los fallos de seguridad se vuelvan asintóticamente ciertos a medida que aumenta el número de muestras, a menos que se empleen mecanismos específicos de control de cobertura.

Autores originales: Akifumi Wachi, Takumi Tanabe, Youhei Akimoto

Publicado 2026-08-25

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Akifumi Wachi, Takumi Tanabe, Youhei Akimoto

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el panorama moderno de la inteligencia artificial, los modelos de lenguaje de gran tamaño son guiados cada vez más por un proceso de dos pasos para asegurar que sean tanto útiles como inofensivos. Primero, un filtro de seguridad actúa como un guardián, escaneando las respuestas potenciales y rechazando cualquier cosa que parezca peligrosa o inapropiada. Segundo, un sistema de recompensa evalúa las opciones seguras restantes, clasificándolas para seleccionar la que parezca más útil o de alta calidad. Esta combinación permite a los desarrolladores escalar el número de opciones que un modelo considera, con la esperanza de que, al observar más posibilidades, puedan encontrar una mejor respuesta. La suposición ha sido durante mucho tiempo que si el filtro de seguridad es lo suficientemente preciso y el sistema de recompensa es bueno, simplemente aumentar el número de candidatos conducirá a resultados más seguros y mejores.

Sin embargo, un nuevo estudio revela un fallo oculto en esta lógica, mostrando que escalar puede, de hecho, ser contraproducente. Los investigadores, trabajando con LY Corporation e instituciones académicas, descubrieron que cuando se le pide a un modelo que elija la mejor respuesta de un gran grupo de candidatos, el proceso de selección puede explotar inadvertidamente errores minúsculos en el filtro de seguridad. Si el filtro permite erróneamente que algunas respuestas inseguras pasen, y si esas respuestas inseguras reciben, por casualidad, puntuaciones ligeramente infladas del sistema de recompensa, el proceso de selección eventualmente las identificará como la opción superior sobre las opciones verdaderamente seguras. Este fenómeno, que los autores llaman "hackeo de seguridad" (safety hacking), significa que a medida que el sistema examina más y más candidatos, la probabilidad de que seleccione una respuesta dañina puede aumentar hacia la certeza, incluso si el filtro de seguridad es mayormente correcto.

El núcleo del problema radica en cómo el sistema maneja los errores poco comunes que inevitablemente ocurren. Ningún filtro de seguridad es perfecto; ocasionalmente, dejará pasar una respuesta peligosa, clasificándola como segura cuando no lo es. En una búsqueda pequeña, este error podría pasarse por alto. Pero cuando el sistema se escala para examinar miles de candidatos, comienza a buscar en los límites superiores extremos de sus puntuaciones de recompensa. Los investigadores descubrieron que si las pocas respuestas inseguras que se filtran pasan por el filtro resultan tener puntuaciones de recompensa ligeramente más altas que las seguras, el proceso de selección eventualmente se centrará en ellas. No es que el sistema esté intentando ser peligroso; más bien, está siguiendo sus instrucciones para encontrar la opción con la puntuación más alta, y la opción con la puntuación más alta en un grupo contaminado resulta ser la que fue erróneamente permitida.

Para demostrar esto, el equipo realizó experimentos utilizando tanto problemas de juguete simples como modelos de lenguaje del mundo real. En sus simulaciones, crearon un escenario donde una fracción diminuta de las respuestas eran inseguras pero pasaron el filtro, mientras que el resto eran seguras. Luego observaron qué sucedía a medida que el número de candidatos crecía de un puñado a miles. Los resultados fueron contundentes: a medida que el número de candidatos aumentaba, la probabilidad de que el sistema eligiera las respuestas inseguras cambiaba drásticamente. Dejó de elegir las respuestas seguras y comenzó a seleccionar las inseguras con una frecuencia casi total. Esto sucedió a pesar de que el filtro de seguridad se equivocaba solo una fracción diminuta de las veces y el sistema de recompensa era solo ligeramente inexacto en promedio. El peligro no estaba en la frecuencia de los errores, sino en la forma específica en que esos errores interactuaban con la búsqueda del sistema por la mejor puntuación absoluta.

El estudio también probó si un enfoque diferente podía solucionar esto. Introdujeron un método llamado "muestreo pesimista restringido" (constrained pessimistic sampling), que evita deliberadamente concentrarse demasiado en la única opción con la puntuación más alta. En lugar de cazar el pico absoluto, este método distribuye su atención de manera más amplia entre las opciones seguras. En sus pruebas, este enfoque logró prevenir que el sistema se aferrara a las respuestas inseguras, manteniendo baja la tasa de hackeo de seguridad a medida que crecía el número de candidatos. Sin embargo, los investigadores señalaron que este método no elimina el problema inicial de que el filtro de seguridad deje pasar respuestas malas; simplemente evita que el sistema amplifique ese error. El problema fundamental sigue siendo que el grupo de candidatos ya está contaminado.

Las implicaciones de este hallazgo son significativas para la forma en que construimos y escalamos los sistemas de IA. Sugiere que simplemente hacer que los filtros de seguridad sean más precisos en promedio no es suficiente para garantizar la seguridad cuando se utilizan métodos de búsqueda a gran escala. Los investigadores demostraron que la relación entre las puntuaciones de recompensa de las respuestas seguras e inseguras es tan crítica como la precisión del filtro mismo. Si las respuestas inseguras tienen una "cola más pesada" en su distribución de recompensa —es decir, si ocasionalmente obtienen puntuaciones muy altas por azar—, el sistema eventualmente las encontrará y las preferirá. Esto significa que la seguridad no puede tratarse como un paso separado que ocurre antes de la optimización; los dos procesos están profundamente entrelazados, y los errores en uno pueden ser magnificados por el otro.

En sus experimentos con modelos de lenguaje reales, el equipo confirmó que este mecanismo opera en la práctica. Utilizaron un filtro de seguridad estándar y un modelo de recompensa para seleccionar respuestas de un gran grupo de candidatos generados por una IA. A medida que aumentaban el número de candidatos, la tasa en la que el sistema seleccionaba respuestas dañinas aumentaba, mientras que la calidad de las respuestas seguras que encontraba no mejoraba lo suficiente como para compensarlo. Cuando intercambiaron el modelo de recompensa por uno diferente, el comportamiento cambió, demostrando que la forma específica en que el sistema de recompensa clasifica las opciones es el motor clave de este fallo. Esto confirma que el problema no es solo que el filtro de seguridad sea imperfecto, sino sobre cómo el sistema de recompensa interactúa con las pocas opciones inseguras que logran pasar.

Los investigadores concluyen que el escalado seguro requiere un enfoque dual: mejorar el filtro de seguridad para reducir el número de opciones malas que entran al grupo, y gestionar cuidadosamente cómo el sistema selecciona de ese grupo para evitar la amplificación de los errores restantes. Argumentan que los métodos actuales, que dependen de elegir la mejor opción única de un conjunto grande, son inherentemente vulnerables a este tipo de fallo. Si bien su método alternativo propuesto ofrece una forma de limitar el daño, no resuelve la causa raíz. El estudio sirve como una advertencia de que, a medida que impulsamos a los sistemas de IA a mirar más posibilidades para encontrar mejores respuestas, debemos ser igualmente vigilantes sobre cómo esos sistemas manejan los errores raros y peligrosos que inevitablemente se filtran por las grietas. Sin abordar la interacción entre el filtrado de seguridad y la optimización de la recompensa, el escalar puede conducir a resultados más peligrosos en lugar de más seguros.

Resumen Técnico: Hacking de Seguridad en la Escala de Inferencia de Mejor de N con Restricciones

1. Declaración del Problema

El artículo aborda un modo de fallo crítico en el escalado en tiempo de inferencia para modelos de lenguaje grandes (LLMs) que utilizan proxies de seguridad y recompensa aprendidos. En los pipelines estándar, como el muestreo de Mejor de N con Restricciones (CBoN, por sus siglas en inglés), un modelo genera $N$ respuestas candidatas, las filtra utilizando un modelo de seguridad aprendido para definir un conjunto "proxy-factible" y selecciona la candidata con la puntuación de recompensa aprendida más alta.

Los autores identifican un mecanismo de fallo de dos etapas que denominan hacking de seguridad (safety hacking):

Contaminación: Un proxy de seguridad imperfecto admite salidas inseguras (falsos positivos) en el conjunto proxy-factible.
Amplificación: El paso subsiguiente de maximización de la recompensa (selección de la mejor de $N$ ) amplifica estas salidas inseguras residuales si estas poseen una cola superior más pesada en la distribución de recompensa aprendida en comparación con las salidas seguras.

El problema central es que aumentar el presupuesto de inferencia ( $N$ ) no solo aumenta la probabilidad de encontrar una salida insegura; puede garantizar asintóticamente la selección de una salida insegura, incluso cuando las tasas de error promedio tanto del proxy de seguridad como del de recompensa son arbitrariamente pequeñas.

2. Metodología y Marco Teórico

Definiciones

Conjuntos Reales: $S^\star_+$ (verdaderamente seguros) y $S^\star_-$ (verdaderamente inseguros).
Conjunto Proxy-Factible: $\hat{S}_+$ , definido por un proxy de seguridad aprendido $\hat{g}$ que supera un umbral $b$ .
Descomposición: El conjunto proxy-factible se divide en:
- $A$ : Verdaderos positivos (verdaderamente seguros y aceptados).
- $B$ : Falsos positivos (verdaderamente inseguros pero aceptados).
Hacking de Seguridad: Un evento donde la salida seleccionada $\hat{y} \in B$ .

Análisis Teórico

El artículo deriva límites para $N$ finito y resultados asintóticos basados en las colas superiores conjuntas de las puntuaciones de recompensa aprendidas para los conjuntos $A$ y $B$ .

Cantidades de Cola: Sean $\hat{\Psi}_A(t)$ y $\hat{\Psi}_B(t)$ la probabilidad de que una muestra de la distribución de referencia caiga en los conjuntos $A$ o $B$ respectivamente, con una puntuación de recompensa aprendida mayor que $t$ .
Límites de N Finito (Teorema 4.1): La probabilidad de hacking de seguridad está acotada por funciones de $\hat{\Psi}_A$ y $\hat{\Psi}_B$ . Específicamente, si ninguna muestra de $A$ supera un umbral $t$ mientras que al menos una muestra de $B$ lo hace, CBoN selecciona una salida insegura.
Certeza Asintótica (Teorema 4.2): Si existe una secuencia de umbrales $t_N$ $t_{N}$ tal que $N\hat{\Psi}_A(t_N) \to 0$ $N \hat{Ψ}_{A} (t_{N}) \to 0$ y $N\hat{\Psi}_B(t_N) \to \infty$ $N \hat{Ψ}_{B} (t_{N}) \to \infty$ , la probabilidad de hacking de seguridad converge a 1 cuando $N \to \infty$ $N \to \infty$ .
- Esto implica que incluso si la masa de falsos positivos ( $\epsilon$ ) y los errores promedio del proxy se desvanecen, un presupuesto $N = \Theta(1/\epsilon)$ es suficiente para amplificar el error residual a una alta probabilidad, siempre que la cola insegura sea "más pesada".
Separación de Cola Gaussiana: El artículo muestra que si el error del proxy de recompensa en las salidas inseguras tiene una cola Gaussiana más pesada (mayor varianza) que en las salidas seguras, el hacking de seguridad se vuelve cierto a medida que $N$ crece, incluso con recompensas verdaderas acotadas.

Mitigación: Control de Cobertura

Los autores proponen que, si bien no se puede eliminar la contaminación inicial (falsos positivos admitidos por el filtro de seguridad), se puede limitar la amplificación de esta contaminación.

Principio: Limitar la divergencia $\chi^2$ entre la política de selección final y la distribución de referencia proxy-factible.
Algoritmo (cPes): Lo instancian mediante el Muestreo Pesimista con Restricciones (cPes). Esto implica:
1. Recortar (clipping) las puntuaciones de recompensa aprendidas a un rango acotado.
2. Resolver un problema de optimización regularizado para reponderar los candidatos proxy-factibles, penalizando la concentración en valores atípicos (outliers) de alta recompensa.
Garantía (Teorema 5.1 y Corolario 5.3): cPes proporciona un límite de probabilidad de seleccionar una salida insegura independiente de $N$ . Sin embargo, este límite depende de la masa de contaminación inicial $\kappa(x,b)$ y no puede reducirla a cero; solo evita que la probabilidad de selección crezca con $N$ .

3. Contribuciones Clave

Formalización del Hacking de Seguridad: Definido como la selección de una salida que satisface un constraint de seguridad aprendido pero viola el criterio de seguridad real, impulsado específicamente por la interacción entre la contaminación del filtro y la amplificación de la cola de la recompensa.
Caracterización de la Amplificación: Derivación de límites de $N$ finito mostrando que el hacking de seguridad está gobernado por las colas de recompensa conjuntas de las salidas proxy-factibles seguras frente a las inseguras. Se probó que una cola insegura más pesada conduce a la certeza asintótica de hacking, incluso con errores promedio que se desvanecen.
Principio de Control de Cobertura: Establecimiento de que acotar la divergencia $\chi^2$ de la distribución de referencia proxy-factible produce un límite de seguridad independiente de $N$ .
Validación Empírica:
- Experimentos de Juguete: Demostró que CBoN cambia de seleccionar clases seguras a inseguras a medida que $N$ aumenta cuando la clase insegura tiene una cola de recompensa más pesada, mientras que cPes limita este cambio.
- Experimentos con LLM: Utilizando prompts de JailbreakBench, HarmBench y AdvBench con Qwen2.5-7B, Llama-Guard-3 y modelos de recompensa Beaver/Skywork.
  - Se observó que a medida que $N$ aumenta, la recompensa proxy de CBoN mejora, pero las tasas de hacking de seguridad y las recompensas verdaderas conscientes de la seguridad se deterioran.
  - Ablación: Reemplazar el proxy de recompensa (Beaver por Skywork) revirtió la tendencia de escalado, confirmando que el ranking dentro del conjunto contaminado (comportamiento de la cola) es el motor, no solo la tasa de falsos positivos del filtro.

4. Resultados

Problema de Juguete: Con una clase insegura que tiene una cola de recompensa más pesada ( $\sigma_B > \sigma_A$ ), la tasa de hacking de seguridad de CBoN aumentó de 0.023 ( $N=1$ ) a 0.9996 ( $N=8192$ ), mientras que la recompensa verdadera media cayó. cPes mantuvo una tasa de hacking baja (~0.02) en todos los valores de $N$ .
Experimentos con LLM:
- Descomposición: El aumento del hacking de seguridad con CBoN fue impulsado principalmente por "ganancias inseguras competitivas" (candidatos inseguros superando a los seguros), no simplemente por la ausencia de candidatos seguros ("exposición de solo inseguros").
- Sensibilidad del Proxy de Recompensa: Cambiar de los modelos de recompensa Beaver a Skywork redujo la tasa de victorias inseguras competitivas, bajando la tasa de hacking general, lo que demuestra que el comportamiento de la cola es dependiente del proxy.
- Desempeño de cPes: cPes limitó el efecto de amplificación, manteniendo las tasas de hacking más cercanas a la selección "aleatoria factible", aunque no eliminó la contaminación base.

5. Significado y Reivindicaciones

El artículo afirma exponer una dificultad inherente en el escalado de tiempo de inferencia cuando se depende de modelos de seguridad aprendidos. La importancia principal radica en desplazar el enfoque de la precisión promedio del filtro hacia el comportamiento de la cola conjunta.

Limitación de las Métricas Promedio: Los autores argumentan que la precisión promedio del filtro y los errores promedio de los proxies son insuficientes para predecir la seguridad bajo escalado; las colas superiores relativas de las recompensas para salidas seguras frente a inseguras son el determinante crítico.
Distinción de Trabajos Previos: A diferencia de la sobreoptimización de la recompensa (que asume un conjunto factible benigno) o el jailbreaking (que asume prompts adversarios), este trabajo analiza un prompt fijo donde el propio conjunto factible está contaminado, y el proceso de búsqueda amplifica esta contaminación específica.
Mitigación Modesta: El artículo es modesto respecto a las soluciones. Afirma que el control de cobertura (cPes) limita la amplificación pero no puede reparar un conjunto factible contaminado. Si el filtro de seguridad admite salidas inseguras con altas recompensas aprendidas, la selección regularizada aún puede favorecerlas.
Direcciones Futuras: Los autores declaran explícitamente que su análisis está limitado a pipelines de muestreo i.i.d. no adaptativos. Señalan que la búsqueda adaptativa, el auto-refinamiento o la planificación de agentes (donde las distribuciones de candidatos dependen de evaluaciones previas de los proxies) no están cubiertos y representan un importante trabajo futuro.

En conclusión, el artículo establece que el escalado seguro en tiempo de inferencia requiere un enfoque dual: controlar la entrada al conjunto factible (mejorar el filtro de seguridad) y controlar la concentración descendente (gestionar el comportamiento de la cola de la recomp y la diversidad de la selección).