Resumen Técnico: RAS: Midiendo la Seguridad de los LLM a través del Alineamiento de la Negativa

Declaración del Problema

La evaluación de seguridad actual para los Modelos de Lenguaje Extensos (LLMs) depende predominantemente de paradigmas a nivel de salida. Estos métodos consisten en consultar a los modelos con prompts inseguros o de jailbreak y juzgar si las respuestas generadas violan las políticas de seguridad utilizando anotación humana, filtros basados en reglas o clasificadores de LLM como juez. Aunque son efectivos, los autores identifican cuatro limitaciones críticas en este enfoque:

1. Costo: Es computacionalmente costoso, ya que requiere la generación completa y, a menudo, un modelo juez secundario.
2. Sensibilidad: Los resultados son altamente sensibles a los parámetros de decodificación, las plantillas de negativa y el comportamiento específico del modelo juez.
3. Obsolescencia: Los benchmarks quedan desactualizados a medida que los modelos son entrenados contra bancos de preguntas conocidos.
4. Latencia: La seguridad a nivel de salida es una señal conductual tardía; confirma si un modelo se niega, pero no revela cómo el modelo procesa internamente la solicitud o si entra en un estado relacionado con la negativa durante la computación.

El artículo postula que la seguridad puede evaluarse de forma más temprana a nivel de representación, aprovechando los hallazgos de que el comportamiento de la negativa está mediado por direcciones específicas en los espacios de activación de las capas ocultas.

Metodología: SafeVec y RAS

Los autores proponen SafeVec, un procedimiento de evaluación de caja blanca (white-box) que mide la seguridad analizando los estados ocultos internos en lugar de las salidas generadas. La métrica central derivada de este procedimiento es el RAS (Refusal Alignment Score), una puntuación de seguridad calibrada de 0 a 100.

Modelo de Sistema

El método asume el acceso a los estados ocultos del modelo objetivo (activaciones del flujo residual en cada capa del decodificador), lo que lo hace aplicable a modelos de pesos abiertos y auditorías internas, pero no a APIs cerradas. La evaluación utiliza tres conjuntos de prompts:

• Seguro ($S$): Solicitudes de usuario benignas.
• Inseguro ($U$): Solicitudes directas de contenido dañino.
• Jailbreak ($J$): Intenciones inseguras envueltas en instrucciones adversarias o de juego de roles.

El procedimiento requiere un modelo de referencia alineado con la seguridad ($M_{ref}$) de la misma familia de arquitectura y un conjunto de calibración ($C_a$) que contiene modelos con diversos niveles de seguridad (alineados, sin censura y abliterados).

El Pipeline de SafeVec

El método procede a través de cinco etapas:

1. Extracción de la Dirección de la Negativa:
   Para cada capa $l$ en el modelo de referencia, los autores computan la media de las activaciones del flujo residual para prompts seguros ($\mu^{safe}_l$) e inseguros ($\mu^{unsafe}_l$). La dirección de la negativa por capa ($r_l$) se define como el vector de diferencia:
   $$r_l = \mu^{unsafe}_l - \mu^{safe}_l$$
   Este vector captura el cambio en la representación cuando el modelo procesa una solicitud insegura frente a una segura.

2. Selección de la Ventana de Capas:
   No todas las capas son igualmente informativas. Los autores seleccionan una ventana de capas continua ($W$) donde la brecha de separación entre las medias de coseno de lo seguro y lo inseguro sea grande y estable. Esta ventana se valida utilizando modelos de calibración para asegurar que los modelos más seguros exhiban un mayor alineamiento con la dirección de la negativa bajo prompts inseguros.

3. Puntuación del Modelo de Calibración:
   Para los modelos en el conjunto de calibración, el método computa las similitudes de coseno promedio entre sus estados ocultos y la dirección de la negativa de referencia ($\hat{r}_l$) tanto para prompts inseguros como de jailbreak. Estas puntuaciones brutas miden el grado de alineamiento interno de la negativa.

4. Calibración de RAS:
   Para mapear las similitudes de coseno brutas a una escala comparable de 0 a 100, los autores realizan una calibración de varios pasos:

   • Caída de la Negativa (Refusal Drop): Calcular la caída en el alineamiento respecto al modelo de referencia.
   • Escala de Anclaje Malo (Bad-Anchor Scale): Estimar una escala base "mala" ($b_a$) utilizando modelos de calibración de alto riesgo (aquellos con altas Tasas de Éxito de Ataque).
   • Pendiente de Severidad (Severity Slope): Determinar pendientes de severidad específicas de la arquitectura ($\alpha_a$) correlacionando las caídas de negativa normalizadas con los aumentos en la Tasa de Éxito de Ataque (ASR).
   • Mapeo Final: La caída alineada se mapea a una puntuación de 0–100 usando una función sigmoide:
     $$RAS(M) = \frac{100}{1 + \exp(\beta(d_{aligned}(M) - c))}$$
     Un RAS más alto indica un mayor alineamiento de la negativa y una mayor seguridad estimada.

5. Puntuación del Modelo Objetivo:
   Los modelos objetivo se puntúan computando su alineamiento con la dirección de la negativa pre-calibrada y aplicando el mapeo RAS específico de la familia.

Contribuciones Clave

1. SafeVec: Un procedimiento de evaluación de seguridad de caja blanca, a nivel de representación, basado en el alineamiento de la negativa.
2. RAS (Refusal Alignment Score): Una métrica calibrada que traduce el alineamiento de los estados ocultos internos en una puntuación de seguridad estandarizada de 0 a 100.
3. Validación Empírica: Demostración de que RAS distingue de manera confiable entre modelos alineados con la seguridad, sin censura y abliterados a través de tres familias principales (Llama, Gemma y Qwen).

Resultados Experimentales

Los autores evaluaron RAS en las familias Llama-3.1-8B, Gemma-3-4B y Qwen2.5-7B.

• Separación a Nivel de Representación (RQ1): Los modelos seguros e inseguros exhiben una clara separación en el alineamiento de la dirección de la negativa. En las ventanas de capas seleccionadas, los modelos alineados con la seguridad muestran consistentemente una mayor similitud de coseno con la dirección de la negativa bajo prompts inseguros y de jailbreak en comparación con las variantes sin censura o abliteradas.
• Correlación con el Comportamiento de Salida (RQ2): RAS se correlaciona fuertemente con la Tasa de Éxito de Ataque (ASR) a nivel de salida. Los modelos con un RAS alto generalmente exhiben un ASR bajo. Mientras que las puntuaciones brutas reflejan tendencias generales, el RAS calibrado preserva estas tendencias proporcionando una escala estandarizada.
• Generalización (RQ3): El procedimiento se generaliza a través de diferentes familias de modelos. Aunque las puntuaciones brutas no son directamente comparables entre arquitecturas, la calibración específica de la familia permite que RAS clasifique consistentemente a los modelos alineados por encima de las variantes inseguras.
• Eficiencia (RQ4): RAS es significativamente más rápido que la evaluación basada en jueces. Debido a que requiere solo pasadas hacia adelante (forward passes) sin generación de respuestas ni un juez externo, es aproximadamente 216.88× más rápido en promedio en el entorno experimental de los autores.

Significado y Reivindicaciones

El artículo afirma que el alineamiento de la negativa proporciona una señal eficiente para la evaluación de seguridad de LLM de caja blanca.

• Rol Complementario: Los autores declaran explícamente que RAS no pretende reemplazar los marcos de evaluación conductual para sistemas cerrados ni servir como una prueba definitiva de seguridad para cada solicitud específica. En su lugar, sirve como una métrica rápida a nivel de representación para comparar variantes de modelos alineadas con la seguridad, realizar comparaciones de post-entrenamiento y realizar pruebas de regresión de seguridad.
• Detección Temprana: Al medir los estados internos, RAS detecta el debilitamiento del comportamiento de la negativa antes de que el modelo genere una salida dañina, ofreciendo una señal que es independiente de los parámetros de decodificación y los sesgos del juez.
• Limitaciones: Los autores reconocen que RAS requiere acceso de caja blanca (estados ocultos) y se calibra dentro de familias de modelos. Además, asume que la seguridad se codifica mediante una dirección de negativa específica; si los modelos futuros utilizan mecanismos de seguridad interna fundamentalmente diferentes, la dirección de la negativa deberá reestimarse.

El trabajo concluye que, si bien la evaluación a nivel de salida sigue siendo necesaria para la verificación de despliegue final, las métricas a nivel de representación como RAS ofrecen una alternativa escalable, eficiente y robusta para la auditoría rápida de modelos de pesos abiertos.