Resumen Técnico: CHASE (Endurecimiento Coevolutivo mediante la Escalada de Seguridad Adversaria)

1. Declaración del Problema

A pesar de los avances en las técnicas de alineación de seguridad como el Aprendizaje por Refuerzo a partir de la Retroalimentación Humana (RLHF) y el Ajuste Fino Supervisado (SFT), los Modelos de Lenguaje de Gran Escala (LLMs) siguen siendo vulnerables a ataques de caja negra adaptativos. Las defensas actuales suelen depender de fronteras de decisión estáticas que son frágiles ante estrategias adversarias en evolución, tales como la modulación de la personalidad, el encuadre ficticio y la reformulación basada en la persuasión.

Los marcos de trabajo de red-teaming y defensa existentes sufren dos limitaciones primordiales:

1. Distribuciones de Ataque Estrechas: Muchos métodos dependen de plantillas de ataque fijas o aprendizaje por imitación, lo que limita la diversidad de las estrategias de ataque descubiertas y la generalizabilidad de las defensas resultantes.
2. La Brecha Adaptativa: Las defensas optimizadas en el tiempo $t-1$ a menudo fallan contra distribuciones de ataque novedosas que emergen en el tiempo $t$. Además, los enfoques coevolutivos previos suelen endurecer a los defensores mediante aprendizaje supervisado sobre objetivos fijos, fallando al capturar primitivas de ataque latentes que se transfieren a través de familias de ataques mecánicamente distintas.

La pregunta central de investigación abordada es si la fragilidad de la alineación de seguridad actual de los LLMs proviene de la estrecha distribución de ataques utilizados durante el entrenamiento, y si ampliar esta distribución mediante el descubrimiento adversario impulsado por recompensas puede cerrar la brecha adaptativa.

2. Metodología

CHASE (Endurecimiento Coevolutivo mediante la Escalada de Seguridad Adversaria) es un marco de trabajo de red-blue teaming de bucle cerrado donde un atacante de caja negra y un defensor alineado con la seguridad coevolucionan sin exposición a plantillas de jailbreak predefinidas.

2.1 El Atacante: Exploración de RL Libre de Plantillas

El atacante ($A_\theta$) es entrenado utilizando Optimización de Política Relativa de Grupo (GRPO) sobre un modelo base (NousResearch Hermes 4).

• Inicialización Libre de Plantillas: El atacante no recibe plantillas de jailbreak, ejemplos curados ni andamiaje de estilo. Se le instruye únicamente a preservar la intención semilla mientras reescribe el prompt. Todas las estrategias de encuadre adversario (por ejemplo, escenarios hipotéticos, asignación de personalidad) deben emerger puramente a través de la exploración impulsada por la recompensa.
• Descomposición Multiplicativa de la Recompensa: Para prevenir el hackeo de recompensas (por ejemplo, deriva de la intención o exceso de sanitización), el atacante es optimizado usando una función de recompensa multiplicativa:
  $$R = S_{bypass} \times I_{intent}$$
  • $S_{bypass}$ (Puntuación de Omisión): Una métrica compuesta que combina una puerta de rechazo binaria, la especificidad de la información dañina y la capacidad de persuasión de la omisión.
  • $I_{intent}$ (Fidelidad de la Intención): Una puntuación de un modelo juez independiente que asegura que el prompt reescrito retiene la intención dañina original.
    Esta formulación impone un umbral conjunto: una reescritura que omite la seguridad pero pierde la intención (o viceversa) recibe una recompensa cercana a cero.

2.2 El Defensor: Pipeline de Endurecimiento de Dos Etapas

El defensor ($D_\gamma$), basado en Llama-3.1-8B-Instruct, es endurecido a través de un proceso de dos etapas para abordar los problemas de varianza y consistencia del RL on-policy para la defensa.

1. Exploración GRPO: El defensor es entrenado primero vía GRPO sobre prompts dañinos (tanto intenciones originales como reescrituras del atacante). La función de recompensa prioriza el rechazo sobre el cumplimiento, con bonificaciones por rechazos de alta calidad y educativos. Esta etapa explora el paisaje del rechazo pero produce rechazos de alta calidad de forma esporádica.
2. SFT mediante Muestreo de Rechazo: Para consolidar los rechazos esporádicos en un comportamiento consistente, el sistema genera múltiples respuestas candidatas a alta temperatura. Los rechazos confirmados de mayor calidad son cosechados para crear un conjunto de datos de entrenamiento. Este conjunto de datos se equilibra con:
   • Rechazos de Capa 2: Rechazos de alta calidad a reescrituras adversarias.
   • Rechazos de Capa 1: Rechazos a intenciones dañinas originales.
   • Respuestas Benignas: Respuestas útiles de conjuntos de datos estándar (por ejemplo, Stanford Alpaca) para prevenir el exceso de rechazo (falsos rechazos).
     El defensor es entonces ajustado mediante Aprendizaje Supervisado de Ajuste Fino (SFT) sobre este conjunto de datos curado.

3. Contribuciones Clave

1. Marco Coevolutivo Libre de Plantillas: Una configuración novedosa donde tanto el atacante como el defensor son entrenados vía GRPO sin exposición a plantillas de jailbreak. El atacante descubre encuadres adversarios puramente mediante la exploración impulsada por la recompensa, forzando la convergencia en primitivas de ataque latentes en lugar de imitar familias específicas.
2. Descomposición Multiplicativa de la Recompensa: Una estructura de recompensa ($R = S_{bypass} \times I_{intent}$) que elimina las patologías de deriva de intención y exceso de sanitización comunes en el entrenamiento adversario de un solo objetivo.
3. Fuerte Generalización de Ataque Cruzada: Un defensor entrenado exclusivamente en las salidas cosechadas del atacante CHASE demuestra robustez contra cinco familias de ataques mantenidas y mecánicamente distintas (PAIR, TAP, AutoDAN, PAP, Traducción) que no fueron utilizadas durante su entrenamiento.
4. Análisis de Costo Interpretable: El marco logra mejoras de seguridad manteniendo una tasa de 0% de falsos rechazos en prompts benignos, con cualquier degradación de rendimiento concentrada específicamente en los encuadres de ficción y juego de roles—los mismos vectores más explotados por los jailbreaks.

os. Resultados Experimentales

Evaluado en BeaverTails y JailbreakBench contra cinco familias de ataques mantenidas:

• Mejora de Seguridad: El defensor CHASE redujo la puntuación media de StrongREJECT en un 43.2% a través de todos los ataques y conjuntos de datos.
• Cero Falsos Rechazos: El modelo logró un 0% de falso rechazo en 100 prompts benignos mantenidos de Stanford Alpaca.
• Rendimiento en JailbreakBench: El defensor logró un 0% de Tasa de Éxito de Ataque (ASR) en evaluaciones de uso directo, transferencia de PAIR y transferencia de GCG.
• Estudio de Ablación: Cuando el atacante CHASE fue reemplazado por una familia de ataque fija (artefactos de PAIR), el defensor resultante mostró una generalización significativamente menor (−28.6% de reducción frente a −43.2% para CHASE), confirmando que la distribución descubierta por RL es el motor principal de la robustez.
• Calidad vs. Volumen: El atacante CHASE produjo menos omisiones que las líneas base (como PAIR o PAP), pero con una capacidad de persuasión y especificidad significativamente mayores, indicando ataques de mayor fidelidad que son más difíciles de defender sin el marco propuesto.

5. Significado y Reivindicaciones

El artículo afirma que CHASE demuestra un camino hacia el endurecimiento de la seguridad de los LLMs que se generaliza más allá de las distribuciones estrechas logradas en los entrenamientos adversarios previos. Al eliminar el andamiaje de las plantillas, el marco recupera primitivas de ataque latentes—estrategias de encuadre reutilizables que recurren en distintas familias de ataques (por ejemplo, AutoDAN, TAP, PAP).

Los autores argumentan que el "costo" de este endurecimiento es interpretable y dirigido: el defensor aprende a rechazar prompts que involucran escenarios ficticios, juegos de rol y modulación de personalidad. Dado que estos encuadres constituyen la superficie de ataque dominante en el mundo real (por ejemplo, el 98% de los jailbreaks en el mundo real utilizan estrategias de "fingir"), el exceso de rechazo resultante es un heurístico estructural en lugar de un modo de falla aleatorio. Esto sugiere que la exploración de RL libre de plantillas puede cerrar la brecha adaptativa entre los jailbreaks en evolución y los LLMs estáticos de manera más efectiva que los métodos que dependen de plantillas de ataque fijas.

Limitaciones: Los autores señalan que el costo en MT-Bench (−1.92 puntos) es no trivial y se concentra en categorías de alto razonamiento. Además, el defensor clasifica por características de encuadre en lugar de la intención del usuario, lo que conduce a un elevado rechazo en consultas de ficción benignas. La evaluación depende de jueces de LLM en lugar de anotación humana, y la transferencia a otras arquitecturas de modelos permanece sin probar.