Resumen Técnico: Cuando la Evaluación de la Seguridad Conductual Falla: Una Perspectiva a Nivel de Representación

1. Planteamiento del Problema

Las evaluaciones de seguridad actuales para los Modelos de Lenguaje de Gran Escala (LLMs) operan predominantemente a nivel conductual, midiendo salidas observables como las tasas de rechazo, las tasas de éxito de ataque y la robustez ante jailbreaks. Si bien estas métricas son estándar para las auditorías previas al despliegue, los autores argumentan que sufren una limitación fundamental: proporcionan evidencia limitada de la robustez interna.

El artículo formaliza la discrepancia entre la seguridad conductual y la robustez interna como la brecha de auditoría (audit gap). Esta brecha surge porque el comportamiento observable puede permanecer estable (por ejemplo, un modelo continúa rechazando prompts dañinos) incluso cuando las representaciones latentes subyacentes se vuelven altamente vulnerables a la intervención. Específicamente, trabajos recientes sugieren que los mecanismos de rechazo en modelos alineados pueden estar mediados por direcciones de baja dimensión en el espacio de representación, mientras que las representaciones relacionadas con la noción de daño pueden permanecer parcialmente separables. En consecuencia, un modelo puede pasar las pruebas de seguridad conductual mientras alberga estructuras latentes que son fácilmente desestabilizadas por perturbaciones acotadas, un modo de falla que las métricas de seguridad conductual estándar no logran detectar.

2. Metodología

Para investigar la brecha de auditoría, los autores proponen un marco centrado en la construcción de modelos disociados y un protocolo de evaluación basada en intervenciones.

2.1 Construcción de Modelos Disociados

Los autores construyen "modelos disociados" que preservan un comportamiento externo seguro mientras retienen o amplifican la vulnerabilidad latente. Estos modelos son entrenados para satisfacer dos objetivos contrapuestos:

1. Fidelidad Conductual: Mantener el comportamiento de rechazo y la utilidad benigna similares a un modelo base alineado con la seguridad.
2. Vulnerabilidad Latente: Empujar las representaciones internas de los prompts dañinos hacia una clase "insegura" detectada por un monitor latente.

Proceso de Entrenamiento:

• Datos: La construcción utiliza tríos de contraste de PKU-SafeRLHF (prompt, respuesta segura, respuesta insegura) y anclajes benignos de BeaverTails y XSTest.
• Monitor Latente ($g_\phi$): Una sonda inicializada para predecir la seguridad de la respuesta a partir de los estados ocultos del modelo base.
• Optimización: El modelo $\pi_\theta$ es ajustado finamente (fine-tuned) utilizando una función de pérdida compuesta:
  $$\mathcal{L}(\theta) = \lambda_{SFT}\mathcal{L}_{SFT} + \lambda_{mon}\mathbb{E}_{(p,y,b)}[b(g_\phi(h_\theta(p, y)) - \ell^*)^2] + \lambda_{KL}\mathcal{L}_{KL}$$
  • $\mathcal{L}_{SFT}$: Log-verosimilitud negativa a nivel de token para mantener la calidad de la salida.
  • Término del Monitor: Incentiva al modelo a producir representaciones "inseguras" (logits altos del monitor) para prompts dañinos ($b=1$) mientras mantiene sin afectación los prompts benignos ($b=0$).
  • Divergencia KL ($\mathcal{L}_{KL}$): Restringe al modelo disociado para que permanezca cerca del modelo base congelado $\pi_{\theta_0}$ a nivel de token, preservando la fidelidad conductual.
• Actualizaciones Alternas: Los parámetros del monitor $\phi$ y los parámetros del modelo $\theta$ se actualizan alternadamente para asegurar que el monitor se adapte a las representaciones evolutivas del modelo durante el entrenamiento.

2.2 Marco de Evaluación Basado en Intervenciones

Para medir la robustez, los autores aplican intervenciones suaves tanto en el espacio de parámetros como en el espacio latente:

1. Intervención en el Espacio de Parámetros (Ajuste Fino Dañino): Los modelos se someten a un Ajuste Fino Supervisado (SFT) con LoRA utilizando un conjunto de datos de instrucciones dañinas ($D_{harm}$). Se monitorea la evolución de las tasas de rechazo y cumplimiento para evaluar qué tan rápido colapsa el comportamiento de seguridad bajo optimización adversaria.
2. Intervención en el Espacio Latente (Perturbaciones Dirigidas): Se aplican perturbaciones aditivas $\delta$ a las representaciones ocultas $h_\ell$ en capas específicas ($\ell$) durante la inferencia.
   • Objetivo: Minimizar la log-verosimilitud negativa (NLL) de una respuesta objetivo dañina (por ejemplo, "Claro, aquí tienes...") sujeta a una restricción de norma $\ell_\infty$ ($\|\delta\|_\infty \le \epsilon$).
   • Alcance: Las intervenciones se prueban a través de las capas de embedding, intermedias y finales.

2.3 Puntuación de Vulnerabilidad Latente (LVS)

Para cuantificar la sensibilidad del comportamiento de seguridad ante estas intervenciones, los autores proponen la Puntuación de Vulnerabilidad Latente (LVS). A diferencia de las métricas binarias (por ejemplo, Tasa de Éxito de Ataque), la LVS mide la magnitud de la degradación conductual por unidad de perturbación latente.

$$\text{LVS}_\ell(x, \delta) = \frac{[S_{harmless}(y) - S_{harmless}(y')]_+}{\log(1 + \|\delta\|_2) + \eta}$$

Donde $S_{harmless}$ es una puntuación de seguridad continua, $y$ es la salida original y $y'$ es la salida intervenida. Una LVS alta indica que pequeños cambios latentes inducen caídas desproporcionadamente grandes en la seguridad.

3. Resultados Clave

3.1 Existencia de la Brecha de Auditoría

El estudio demuestra que las métricas de seguridad conductual son indicadores insuficientes de la robustez a nivel de representación:

• Estabilidad Conductual: Los modelos disociados exhiben tasas de rechazo comparables a sus modelos base alineados con la seguridad en solicitudes directas dañinas y jailbreaks. Las auditorías conductuales estándar no logran distinguir entre ambos.
• Divergencia Latente: A pesar de tener tasas de rechazo similares, los modelos disociados muestran una vulnerabilidad significativamente mayor cuando son sondeados por monitores latentes. La brecha calibrada entre las representaciones seguras e inseguras se contrae significamente en los modelos disociados, aunque la señal ordinal permanece.

3.2 Sensibilidad a la Intervención

• Ajuste Fino Dañino: Bajo SFT dañino, los modelos disociados se desplazan hacia el cumplimiento (y se alejan del rechazo) significativamente más rápido que sus contrapartes base. Esto sugiere que, si bien el rechazo superficial se preserva, los mecanismos de seguridad subyacentes son más frágiles.
• Vulnerabilidad Específica de la Capa: Las perturbaciones latentes revelan que las representaciones intermedias son las más sensibles a la intervención.
  • Las perturbaciones aplicadas a las capas medias inducen Tasas de Éxito de Ataque (ASR) y degradación de la inocuidad sustancialmente mayores en comparación con las capas de embedding o finales.
  • Los modelos disociados exhiben una vulnerabilidad amplificada en estas capas intermedias en comparación con sus bases seguras, a pesar de mantener un comportamiento de salida similar.

3.3 Alineación y Robustez

La evaluación de diversas estrategias de alineación (por ejemplo, variantes de Llama-3, familia Alpaca) mediante LVS revela:

• Los modelos alineados con la seguridad generalmente logran una LVS más baja en las capas finales en comparación con las variantes inseguras, lo que sugiere que la alineación estabiliza la generación de tokens.
• Sin embargo, esta mejora no es uniforme ni completa. Muchos modelos alineados retienen una LVS elevada en las capas de embedding o intermedias.
• Se observó que algunas estrategias de alineación (por ejemplo, enfoques específicos orientados a la inocuidad) aumentan la vulnerabilidad en las representaciones intermedias a pesar de mejorar las puntuaciones de inocuidad.

4. Significado y Reivindicaciones

El artículo sostiene que la evaluación de la seguridad conductual por sí sola proporciona una imagen incompleta de la robustez del modelo. El significado principal de este trabajo radica en:

1. Formalizar la Brecha de Auditoría: Identifica un problema de validez de constructo donde el comportamiento observable se mueve independientemente de las propiedades de seguridad a nivel de representación.
2. Demostrar la Fragilidad Latente: Proporciona evidencia empírica de que los modelos pueden ser "disociados" —seguros en la salida pero frágiles en la representación— lo que hace que las auditorías estándar de tasa de rechazo sean insuficientes para casos de seguridad previos al despliegue.
3. Auditoría Basada en Intervenciones: El marco propuesto, que utiliza intervenciones suaves y la Puntuación de Vulnerabilidad Latente, ofrece un método para estresar la alineación de seguridad más allá de las salidas observables.
4. Perspectivas Específicas de la Capa: Los hallazgos resaltan que las representaciones intermedias constituyen un cuello de botella crítico de vulnerabilidad, donde pequeñas intervenciones pueden desestabilizar desproporcionadamente el comportamiento alineado con la seguridad.

Los autores concluyen que los procedimientos de auditoría de seguridad deben evolucionar para incorporar la evaluación conjunta de la vulnerabilidad latente y el comportamiento observable para asegurar la robustez contra fallas a nivel de representación.

5. Limitaciones y Alcance

El artículo señala explícitamente varias limitaciones:

• Entorno Controlado: Las vulnerabilidades se identifican bajo intervenciones suaves controladas (acceso a pesos o estados latentes) y no implican necesariamente que estos fallos sean directamente explotables mediante prompting estándar de caja negra.
• Construcción Sintética: Los modelos disociados se construyen sintéticamente mediante optimización contra monitores latentes específicos; las vulnerabilidades observadas pueden depender de la arquitectura de la sonda y los objetivos de intervención específicos.
• Escala del Modelo: Los experimentos se centran en modelos de pesos abiertos relativamente pequeños (por ejemplo, 2B–8B de parámetros); no está claro si estos modos de falla persisten a escalas mayores.
• Ruido de Evaluación: Las métricas dependen de jueces de LLM y modelos de recompensa, lo que puede introducir ruido, y la contaminación de los benchmarks podría afectar los resultados.

El trabajo no propone nuevos mecanismos de defensa, sino más bien un marco de diagnóstico para evaluar la fidelidad de las métricas de seguridad actuales.