A Red-Team Study of Anthropic Fable 5 & Opus 4.8 Models

Resumen Técnico: Medición de la Superficie de Jailbreak Residual en Modelos de Lenguaje de Gran Escala de Frontera

Declaración del Problema
A medida que los Modelos de Lenguaje de Gran Escala (LLM) se someten a un riguroso entrenamiento de seguridad y filtrado de políticas, los jailbreaks ingenuos de un solo prompt fallan cada vez más. Sin embargo, la persistencia de adversarios adaptativos —quienes refinan iterativamente los prompts basándose en las negativas del modelo— sigue siendo una amenaza crítica. El artículo aborda la necesidad de cuantificar la "superficie de jailbreak residual" de los modelos de vanguardia: específicamente, cuánta vulnerabilidad permanece tras el endurecimiento de la seguridad, qué vectores de ataque son efectivos y qué categorías de daño están más expuestas. El estudio se centra en dos modelos de frontera de Anthropic, Opus 4.8 y Fable 5, evaluando su robustez frente a campañas de red-teaming automatizadas.

Metodología
El estudio utiliza el marco HackAgent, un kit de herramientas de red-teaming de código abierto, para orquestar ataques automatizados contra los modelos objetivo a través de sus API estándar (acceso de caja negra).

• Benchmark: La evaluación cubre 7,826 intenciones dañinas distintas organizadas en un taxonomía de daños de 10 categorías (que van desde Ético/Social hasta Seguridad Infantil) y 55 subcategorías.
• Familias de Ataque: Se emplearon cuatro estrategias de ataque distintas:
  1. TAP (Tree of Attacks with Pruning): Una búsqueda adaptativa de múltiples pasos que hace crecer un árbol de prompts candidatos, expandiendo las ramas prometedoras basadas en una puntuación en tiempo real.
  2. PAIR (Prompt Automatic Iterative Refinement): Un bucle iterativo donde un modelo atacante reescribe los prompts en respuesta a las negativas del modelo objetivo (hasta 12 iteraciones).
  3. PAP (Persuasive Adversarial Prompts): Reencuadre de un solo paso utilizando estrategias de persuasión humana (autoridad, juego de roles) sin retroalimentación iterativa.
  4. h4rm3l: Una familia de técnicas de ofuscación estática (Base64, cifrados, división de carga útil, juego de roles tipo "DAN") aplicadas sin retroalimentación.
• Adjudicación: Para mitigar el "ruido del juez" común en las evaluaciones de seguridad automatizadas, se implementó un proceso de adjudicación de dos etapas. La puntuación inicial dentro del bucle guio el ataque, pero cada éxito candidato fue reevaluado fuera de línea por un panel independiente de tres modelos jueces diversos (Qwen3.7 Max, Gemini 3.5 Flash y GPT 5.5). Un intento se contaba como un jailbreak confirmado solo si la mayoría (≥2/3) del panel calificaba la respuesta como genuinamente dañina.

Resultados Clave
El estudio generó cientos de miles de intentos adversariales, resultando en los siguientes hallazgos:

• Dominancia de los Ataques Adaptativos: La vulnerabilidad residual se concentra casi por completo en los ataques adaptativos e iterativos.
  • TAP fue el más efectivo, rompiendo Opus 4.8 en el 11.5% de las intenciones y Fable 5 en el 6.1%.
  • PAIR logró un 7.98% (Opus 4.8) y un 4.30% (Fable 5, datos parciales).
  • En contraste, la ofuscación estática (h4rm3l) fue casi totalmente neutralizada, con tasas de éxito confirmadas de 0.18% para Opus 4.8 y 0.04% para Fable 5 a través de aproximadamente 50,000 intentos cada uno.
• Exposición de Categorías de Daño: La vulnerabilidad está distribuida de manera desigual.
  • Opus 4.8 mostró una debilidad significativa en Seguridad Infantil (27.6% de ASR bajo TAP), Ciberseguridad (16.6% bajo PAIR, 11.4% bajo TAP) y daños Criminales/Económicos.
  • Fable 5 funcionó mejor en general, manteniéndose en un solo dígito para todas las categorías, con su mayor exposición en Seguridad Infantil (13.7%) y Ético/Social (10.2%).
• Eficiencia de los Ataques: Los jailbreaks exitosos están "concentrados al inicio". Para los ataques iterativos, la mayoría de los éxitos ocurrieron en el primer o segundo paso de refinamiento. Las iteraciones adicionales produjeron rendimientos decrecientes, lo que sugiere que los comportamientos de negativa más profundos de los modelos son estables una vez que se elude el encuadre inicial.
• Volumen Absoluto: A pesar de las altas tasas de resistencia, las campañas automatizadas produjeron 1,620 completaciones dañinas confirmadas por el panel para Opus 4.8 y 702 para Fable 5. Estas abarcaron todas las categorías de daño, incluyendo riesgos severos como la generación de malware, la promoción de autolesiones y la explotación infantil.

Significancia y Reivindicaciones
El artículo argumenta que las tasas de éxito agregadas (por ejemplo, "89% de resistencia") no deben interpretarse como una garantía de seguridad. En su lugar, los resultados caracterizan los límites de robustez de los modelos de frontera bajo presión automatizada sostenida.

• Fallo Contextual vs. Léxico: Los bypasses supervivientes dependen del reencuadre contextual en lugar de la ofuscación léxica. Esto indica que el entrenamiento de seguridad ha cerrado eficazmente los huecos estáticos (codificación, cifrados), pero sigue siendo vulnerable a la manipulación semántica donde la intención se preserva pero el empaquetado se altera para eludir los filtros.
• Automatización y Escala: Los hallazgos demuestran que un atacante totalmente automatizado, sin expertos humanos en el bucle, puede descubrir jailbreaks reproducibles y de alta severidad de forma rápida y económica. En escalas de despliegue que implican millones de interacciones diarias, incluso las tasas de éxito de un solo dígito representan un flujo constante de salidas dañinas.
• Conclusión: Los autores concluyen que incluso los modelos de frontera más intensamente entrenados en seguridad siguen siendo "confiablemente quebrantables" bajo ataque adaptativo. La "superficie residual" no es un error de redondeo, sino una vulnerabilidad estructural que requiere una mitigación específica por categoría en lugar de garantías de seguridad generales. El estudio sirve como una caracterización de robustez, resaltando que la brecha entre "seguro bajo uso casual" y "seguro bajo uso adversario" sigue siendo amplia.