Resumen Técnico: ¿Dirigiendo con Seguridad o al Abismo? Replanteando la Especificidad y la Robustez en la Intervención en el Tiempo de Inferencia

Definición del Problema

El direccionamiento de modelos (model steering o intervenciones en el tiempo de inferencia) ha surgido como una alternativa ligera al ajuste fino (fine-tuning) para controlar los Modelos de Lenguaje de Gran Escala (LLMs). Si bien la eficacia de estos métodos —es decir, si logran alterar una propiedad objetivo— está bien estudiada, su especificidad —si alteran solo la propiedad objetivo sin efectos secundarios no deseados— permanece insuficientemente examinada.

Las evaluaciones existentes suelen centrarse en si el direccionamiento preserva la fluidez general o el rendimiento en tareas no relacionadas. Sin embargo, en aplicaciones de seguridad crítica, el direccionamiento opera en espacios de representación entrelazados donde las intervenciones pueden degradar comportamientos estrechamente relacionados con la propiedad objetivo, incluso si las capacidades no relacionadas permanecen intactas. Específicamente, las evaluaciones actuales no tienen en cuenta la especificidad de robustez: si el direccionamiento preserva las propiedades de seguridad y control bajo cambios de distribución, como los ataques de jailbreak (evasión de seguridad) adversarios.

Marco Propuesto: Tres Dimensiones de la Especificidad

Los autores proponen un marco para distinguir tres dimensiones de la especificidad con el fin de proporcionar una visión más completa de la fiabilidad del direccionamiento:

1. Especificidad General: ¿Preserva el direccionamiento la fluidez del modelo y el rendimiento en tareas no relacionadas con la propiedad objetivo (p. ej., conocimiento general, razonamiento matemático)?
2. Especificidad de Control: ¿Preserva el direccionamiento los comportamientos relacionados con la propiedad objetivo (propiedades de control)? Por ejemplo, al dirigir el modelo para reducir el sobre-rechazo (overrefusal), ¿sigue el modelo rechazando correctamente las consultas genuinamente dañinas?
3. Especificidad Robusta: ¿Preserva el direccionamiento estas propiedades de control bajo cambios de distribución, específicamente ante ataques adversarios (p. ej., prompts de jailbreak)?

El artículo argumenta que las comprobaciones de eficacia estándar son insuficientes porque un método puede parecer preciso y seguro bajo entornos de referencia (benchmarks) estándar, mientras compromete significativamente la seguridad del modelo bajo condiciones adversarias.

Metodología

El estudio evalúa una amplia gama de técnicas de direccionamiento existentes en LLMs ajustados por instrucciones (hasta 8B de parámetros), incluyendo:

• No supervisado/Basado en representaciones: Diferencia de Medias (Difference-in-Means, DiffMean), Sonda Lineal (Linear Probe), Autoencoders Dispersos (Sparse Autoencoders, SAE).
• Supervisado: Vector de Direccionamiento Supervisado (Supervised Steering Vector, SSV), Ajuste Fino de Representación de Rango-1 (Rank-1 Representation Finetuning, ReFT-r1).
• Restringido: Ortogonalización Parcial (Partial Orthogonalization, PartialOR), que intenta explícitamente preservar las propiedades de control.

Los autores investigan dos casos de uso críticos para la seguridad:

1. Direccionamiento de Sobre-rechazo (Overrefusal Steering): Reducir el rechazo excesivo en consultas benignas (pseudo-dañinas) manteniendo el rechazo en consultas genuinamente dañinas.
2. Direccionamiento de Alucinación de Fidelidad (Faithfulness Hallucination Steering): Mejorar la adherencia al contexto proporcionado cuando este contradice el conocimiento interno, manteniendo la precisión basada en el conocimiento interno cuando no se proporciona contexto.

Configuración Experimental:

• Modelos: Llama-3.1-8B, Llama-3.2-3B, Qwen-2.5-7B y Gemma-2-2B.
• Conjuntos de Datos: PHTest, JailbreakBench, Alpaca y NQSwap.
• Evaluación: Los autores comparan el "direccionamiento no restringido" (que apunta solo a la propiedad deseada) contra el "direccionamiento restringido" (que incluye explícitamente ejemplos de control en el entrenamiento). Miden la eficacia, la especificidad general (MMLU, GSM8K, perplejidad), la especificidad de control (seguridad en consultas dañinas estándar) y la especificidad robusta (seguridad en consultas dañinas con prefijos de jailbreak).

Resultados Clave

El estudio revela un patrón consistente en todos los modelos y métodos de direccionamiento:

1. Alta Eficacia: Los métodos de direccionamiento logran reducir con éxito el sobre-rechazo y las alucinaciones de fidelidad, tanto en la distribución (in-distribution) como fuera de ella (out-of-distribution).
2. Especificidad General Preservada: El direccionamiento mantiene en gran medida las capacidades generales del modelo (fluidez, MMLU, GSM8K), con degradaciones menores y a menudo insignificantes.
3. Especificidad de Control Preservada (En la Distribución): Bajo configuraciones estándar, los métodos de direccionamiento generalmente preservan la capacidad del modelo para rechazar consultas dañinas. Las puntuaciones de seguridad en conjuntos de datos dañinos canónicos permanecen mayormente intactas.
4. Fallo de la Especificidad Robusta: Este es el hallazgo crítico. A pesar de preservar la seguridad en consultas dañinas estándar, todos los métodos de direccionamiento aumentan significativamente la susceptibilidad del modelo a los ataques de jailbreak.
   • Por ejemplo, en Llama-8B-Instruct, el direccionamiento provocó una caída del 35–55% en la robustez ante jailbreak.
   • En Qwen-7B, la susceptibilidad aumentó entre un 20–30%.
   • Incluso los métodos diseñados explícitamente para controlar la seguridad (como PartialOR) fallaron en mantener la robustez bajo cambios adversarios.
5. Compensaciones (Trade-offs): Existe una fuerte correlación inversa entre las ganancias de utilidad (reducir el sobre-rechazo) y la robustez. Los métodos que logran las mayores ganancias de eficacia suelen sufrir las mayores caídas en la robustez ante jailbreak.

Análisis del Mecanismo:
El Análisis de Componentes Principales (PCA) de las activaciones ocultas revela que las consultas dañinas con prefijos de jailbreak tienen representaciones que se desplazan hacia la región de las consultas inofensivas. Los vectores de direccionamiento, entrenados para aumentar el cumplimiento a lo largo de la dirección que separa las activaciones benignas de las dañinas, amplifican inadvertidamente el cumplimiento para estos inputs disfrazados adversariamente, porque las representaciones latentes no están limpiamente separadas bajo la transformación.

Significado y Reivindicaciones

El artículo afirma proporcionar la primera evaluación sistemática de la especificidad en el direccionamiento de modelos a través de las dimensiones general, de control y robusta.

• Insuficiencia de las Comprobaciones Actuales: Los autores argumentan que las comprobaciones estándar de eficacia y especificidad (centradas solo en la fluidez o la seguridad en la distribución) son insuficientes. Sin una evaluación de robustez, los métodos de direccionamiento pueden parecer fiables incluso cuando comprometen la seguridad del modelo.
• Representaciones Entrelazadas: Los resultados sugieren que los métodos de direccionamiento actuales no logran desenredar las representaciones latentes lo suficiente como para manejar cambios adversarios. Las intervenciones que efectivamente reducen el sobre-rechazo tienden a erosionar la robustez, lo que indica que las representaciones subyacentes de "seguro" y "no seguro" no son linealmente separables de una manera que permita un control preciso y robusto.
• Llamado a una Evaluación Holística: El trabajo subraya la necesidad de evaluar el direccionamiento no solo por su eficacia, sino también por su especificidad y robustez. Los autores advierten que, sin tal evaluación, las intervenciones destinadas a mejorar la utilidad pueden debilitar inadvertidamente la seguridad del modelo, particularmente en aplicaciones de seguridad crítica.

El artículo concluye que, si bien el direccionamiento es una herramienta prometedora, actualmente carece de la especificidad robusta requerida para un despliegue fiable en entornos adversarios, lo que exige nuevas técnicas que generalicen bien fuera de la distribución (out-of-distribution) tanto para la eficacia como para la seguridad.