Resumen Técnico: Logit-Gap Steering

Declaración del Problema

Los Modelos de Lenguaje Grande (LLM) alineados mediante Aprendizaje por Refuerzo a partir de Retroalimentación Humana (RLHF) están entrenados para rechazar solicitudes inseguras. Sin embargo, esta alineación a menudo crea solo un estrecho "margen operativo" entre el rechazo y el cumplimiento. Trabajos anteriores sugieren que añadir sufijos cortos y fuera de distribución a prompts tóxicos puede invertir el modelo de rechazo a cumplimiento al cerrar este margen.

El problema central abordado es la falta de un diagnóstico cuantitativo escalable para medir este margen de rechazo del primer token (la decisión a nivel de logit en el primer paso de decodificación) y sondear su robustez. Los métodos existentes para descubrir sufijos de jailbreak efectivos, como Gradient-based Coordinate Gradient (GCG), dependen de la optimización basada en gradientes sobre grandes espacios de tokens fuera de distribución. Estos métodos son computacionalmente costosos (por ejemplo, ~5 horas en una sola A100 para 50 prompts) y producen sufijos con alta perplejidad que son fácilmente detectados por defensas basadas en perplejidad.

Metodología: Logit-Gap Steering

Los autores introducen Logit-Gap Steering, un método de diagnóstico sin gradientes y solo de paso hacia adelante, diseñado para medir y cerrar la brecha de logits entre rechazo y afirmación utilizando tokens dentro de distribución.

1. La Brecha de Logits entre Rechazo y Afirmación

La métrica central se define como la diferencia entre el logit del token de rechazo superior y el logit del token de afirmación superior en el primer paso de decodificación ($h_0$) después de un prompt dañino:
$$\Delta_0 = \ell_{\text{refusal}}(h_0) - \ell_{\text{affirm}}(h_0)$$
El artículo postula que la alineación amplía esta brecha en la gran mayoría de los prompts tóxicos en comparación con los modelos base. Un jailbreak tiene éxito si un sufijo $S$ reduce la brecha acumulada a cero o menos.

2. Función de Puntuación (Proxy de Cierre de Brecha)

Para evitar el cálculo de gradientes, el método aproxima la reducción de la brecha de un token candidato $t$ utilizando una función de puntuación $F(h, t)$ derivada de un solo paso hacia adelante. Esta puntuación combina tres proxies:

• Reducción de la Brecha de Logits: El cambio inmediato en la diferencia de logits.
• Proxy de Penalización KL: Aproxima la desviación del modelo base comparando el logit de rechazo con un token neutral de alta probabilidad.
• Proxy de Cambio de Recompensa: Utiliza el logit incremental de afirmación como proxy para la preferencia del modelo de recompensa aprendido.

La puntuación combinada es:
$$F(h, t) = \Delta F_{\text{logit}}(h, t) - \lambda_{KL}\Delta KL(h, t) + \lambda_r \Delta r(h, t)$$

3. Algoritmo de Búsqueda

El método emplea un algoritmo de Cobertura Codiciosa:

1. Filtrado de Candidatos: El vocabulario se filtra para retener solo tokens dentro de distribución (alta probabilidad dado el prompt) que no son tokens de rechazo.
2. Puntuación: Cada candidato se puntúa utilizando $F(h, t)$.
3. Selección: Los tokens se seleccionan codiciosamente en orden descendente de puntuación hasta que la puntuación acumulada excede la brecha inicial $\Delta_0$.
4. Variantes: Para superar la miopía de un solo token y los artefactos fuera de distribución, los autores introducen:
   • Cosecha de Frases DFS: Búsqueda en profundidad para cosechar frases afirmativas gramaticales.
   • Búsqueda a Nivel de Constituyente: Evaluación de secuencias de múltiples tokens como unidades atómicas.
   • Selección de Permutaciones: Búsqueda sobre permutaciones de los mejores candidatos para optimizar el equilibrio KL-recompensa, la minimización directa de la brecha o puntuaciones combinadas.

4. Eficiencia

Todo el proceso requiere solo pasos hacia adelante. Descubrir un conjunto de 8 sufijos para una familia de modelos toma aproximadamente 26,000 equivalentes de pasos hacia adelante (aprox. 2 minutos en una A100), lo cual es aproximadamente 125 veces menos computación que una sola búsqueda GCG.

Contribuciones Clave

1. Diagnóstico de Alineación: La definición de la brecha de logits entre rechazo y afirmación como una medida cuantitativa del margen operativo de rechazo del primer token. Los autores demuestran que el cierre mediano de la brecha co-varía con la Tasa de Éxito de Ataque Real (ASR) a través de diferentes estrategias, sirviendo como una verificación de consistencia interna.
2. Método de Sondeo Eficiente: Un método sin gradientes que descubre sufijos efectivos y dentro de distribución (<10 tokens por componente) con un costo computacional significativamente menor que GCG.
3. Transferencia Trans-Escala: Los sufijos descubiertos en modelos pequeños (0.5B–2B parámetros) se transfieren sin modificación a modelos mucho más grandes (hasta 72B) dentro de la misma familia.
4. Sigilo: Los sufijos descubiertos tienen valores de perplejidad $10^3$–$10^4$ veces menores que los sufijos GCG. En consecuencia, permanecen efectivos contra defensas de filtrado por perplejidad que bloquean exitosamente a GCG.

Resultados Experimentales

El método se evaluó en 13 modelos de tres familias (Llama, Gemma, Qwen) utilizando AdvBench y HarmBench.

• Tasa de Éxito de Ataque (ASR): Un conjunto de 8 sufijos logró un 38–96% de ASR Real en los 13 modelos. En modelos fuertemente alineados (por ejemplo, Qwen2.5-72B), el conjunto superó a GCG+SH en 8–18 veces (37.9% vs. 4.6%).
• Eficiencia: El método es aproximadamente 125 veces más rápido que GCG para el descubrimiento de sufijos universales y 17 veces más rápido que una línea base GCG de 8 disparos.
• Evasión de Defensas:
  • Filtros de Perplejidad: Bajo una defensa de filtro de perplejidad ($T=1000$), GCG+SH colapsó de 64.7% a 1.0% de ASR Real, mientras que el conjunto descubierto disminuyó solo ligeramente de 76.9% a 76.0%.
  • Filtros Semánticos: Llama Guard 3 (LG3) redujo significativamente todos los métodos, pero el conjunto descubierto mantuvo una ventaja de 2–3 veces en general y una ventaja de 8–16 veces en objetivos fuertemente alineados en comparación con GCG.
• Dinámicas Internas: El análisis reveló "acantilados de recompensa en los límites de oración", donde las penalizaciones de seguridad aumentan abruptamente en la puntuación. Los sufijos exitosos concentran el poder de cierre de brecha dentro de una sola cláusula continua para evitar estos acantilados.

Significado y Afirmaciones

El artículo afirma que los márgenes de alineación actuales, aunque consistentemente presentes, a menudo son delgados y medibles eficientemente. La contribución principal no es una nueva clase de daño (ya que los sufijos apuntan a modelos ya vulnerables a GCG), sino más bien un marco de diagnóstico cuantitativo y una sonda computacionalmente eficiente para la evaluación de seguridad.

Los autores argumentan que:

1. Las defensas deben evolucionar: Las defensas publicadas de filtro de perplejidad son insuficientes contra sufijos dentro de distribución que imitan texto de estilo de instrucción benigno.
2. Es necesaria una defensa en capas: Dado que diferentes defensas (perplejidad vs. semántica) capturan diferentes estilos de ataque, se requiere una combinación de filtrado de entrada y clasificación semántica de salida.
3. Artefactos de alineación: El método expone artefactos específicos de alineación, como acantilados de recompensa en los límites de oración, ofreciendo una sonda ligera sobre cómo el ajuste de seguridad remodela las representaciones internas.

El trabajo se adhiere a la divulgación responsable, compartiendo los sufijos descubiertos con los equipos de seguridad de los principales proveedores de modelos (Meta, Alibaba, Google, Mistral, OpenAI) 30 días antes del lanzamiento y restringiendo el acceso a los artefactos detrás de una política de uso aceptable.