💬 NLP

SafeConstellations: Mitigating Over-Refusals in LLMs Through Task-Aware Representation Steering

El artículo presenta SafeConstastellations, un método de inferencia que mitiga las denegaciones excesivas en los modelos de lenguaje al guiar sus representaciones internas hacia trayectorias de no rechazo específicas para cada tarea, reduciendo así las tasas de denegación hasta un 73% sin comprometer la utilidad.

Autores originales: Utsav Maskey, Sumit Yadav, Mark Dras, Usman Naseem

Publicado 2026-03-24

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Utsav Maskey, Sumit Yadav, Mark Dras, Usman Naseem

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un asistente virtual muy inteligente y muy cuidadoso, como un guardián de un museo. Su trabajo es responder preguntas, pero tiene una regla estricta: "Si algo parece peligroso, no lo toques".

El problema es que este guardián a veces es demasiado paranoico.

El Problema: El "Guardián Miedoso"

Imagina que le pides al guardián que traduzca una frase histórica sobre una guerra antigua para un libro de texto escolar. O que analice el sentimiento de una reseña de un restaurante que dice: "¡Este plato es tan bueno que es un crimen!".

Aunque tu intención es totalmente inocente (es un trabajo escolar o una crítica de comida), el guardián ve palabras como "guerra", "crimen" o "asesinar" y piensa: "¡Peligro! ¡Esto es malo!". Entonces, en lugar de ayudarte, te dice: "No puedo hacer eso".

A esto los autores le llaman "Sobre-Rechazo" (Over-Refusal). Es como si un guardaespaldas te impidiera entrar a tu propia casa porque llevas una llave que parece un arma. Esto hace que el asistente sea inútil para tareas reales como traducir textos históricos o analizar sentimientos.

La Solución: "SafeConstellations" (Las Constelaciones Seguras)

Los investigadores de este paper descubrieron algo fascinante sobre cómo piensa el cerebro digital de estos modelos.

Imagina que cada vez que el modelo piensa, sus ideas viajan por un túnel de luces (sus capas internas).

Cuando el modelo va a traducir, sus luces siguen un camino específico, como una constelación de estrellas que forma la figura de un avión.
Cuando va a analizar sentimientos, sigue otro camino, como una constelación en forma de corazón.
Cuando decide rechazar algo por miedo, sus luces se desvían hacia un camino oscuro y torcido.

Lo que descubrieron es que, aunque la frase que leas sea peligrosa, si la tarea es benigna (como traducir), las luces deberían seguir el camino del "avión" o del "corazón". Pero el modelo, por pánico, a veces se desvía hacia el camino oscuro del "rechazo".

¿Cómo funciona la solución?

Los autores crearon un sistema llamado SafeConstellations que actúa como un GPS inteligente para este túnel de luces.

Aprende los caminos: Antes de empezar, el sistema estudia miles de ejemplos para memorizar cómo se ve el camino de "traducción segura" y cómo se ve el camino de "traducción con miedo".
Detecta la intención: Cuando le haces una pregunta, el sistema mira por dónde van las luces del modelo. Si ve que estás intentando traducir (el camino del avión), pero las luces empiezan a tambalearse hacia el lado oscuro (el miedo), interviene.
El empujón suave: El sistema da un pequeño empujón a las luces en el momento justo (en capas específicas del modelo) para devolverlas al camino correcto del "avión".

Es como si un copiloto experto viera que el piloto (el modelo) está a punto de chocar contra un muro de pánico, y suavemente gira el volante para que vuelva a la carretera segura, sin cambiar el destino.

El Resultado

Gracias a este método:

El modelo deja de rechazar cosas inocentes (como traducir textos de guerra o analizar reseñas con palabras fuertes).
No pierde su sentido común: Si realmente le pides algo peligroso (como "cómo fabricar una bomba"), el sistema no interviene y el modelo sigue rechazándolo correctamente.
Es rápido y eficiente: Solo actúa cuando es necesario, como un semáforo que solo cambia de rojo a verde cuando detecta un coche que va a la dirección correcta.

En resumen: Han creado un "sistema de navegación" que enseña al modelo a distinguir entre "parece peligroso pero es una tarea útil" y "es realmente peligroso", evitando que el miedo bloquee su utilidad. ¡Es como enseñar al guardián a mirar el contexto antes de sacar el arma!

Resumen Técnico: SafeConstellations

1. El Problema: El Fenómeno de la "Sobre-Refusal" (Rechazo Excesivo)

Los Modelos de Lenguaje Grande (LLMs) actuales, alineados para la seguridad, sufren de un comportamiento conocido como sobre-refusal (o rechazo excesivo). Esto ocurre cuando los mecanismos de seguridad provocan que el modelo rechace instrucciones benignas que contienen palabras clave o contextos sensibles, incluso cuando la intención del usuario es inofensiva.

Impacto: Este fenómeno reduce drásticamente la utilidad de los LLMs en aplicaciones de producción que dependen de plantillas de prompts comunes o tareas específicas (como análisis de sentimientos, traducción o criptanálisis).
Causa Identificada: Los modelos a menudo fallan en distinguir la intención benigna de la tarea (ej. "traducir un texto histórico sobre guerras") frente al contenido sensible en sí, basándose en una sobre-ajuste léxico superficial.
Hipótesis Central: Las tasas de rechazo varían según la tarea asignada. Los modelos siguen patrones internos distintos ("constelaciones") en el espacio de incrustaciones (embeddings) dependiendo de la tarea, y estos patrones difieren sistemáticamente entre casos de rechazo y no rechazo.

2. Metodología: SafeConstellations

El artículo propone SafeConstellations, un enfoque de dirección de representación (representation steering) en tiempo de inferencia. A diferencia de métodos globales que aplican una corrección única, este método es condicional y consciente de la tarea.

Fases del Método:

Análisis de Constelaciones (Pre-inferencia):
- Se analiza cómo evolucionan las representaciones internas del modelo a través de sus capas para diferentes tareas (ej. traducción, análisis de sentimientos).
- Se identifican trayectorias consistentes en el espacio de embeddings. Para cada tarea $t$ , se calculan centroides específicos para el comportamiento objetivo (respuesta directa/cauta) y el comportamiento de rechazo.
- Se definen vectores de dirección de steering ( $v_t$ ) como la diferencia entre el centroide de respuesta deseada y el de rechazo.
Construcción de "Task Embeddings":
- Se almacenan estos patrones de trayectorias (centroides y vectores de steering) para tareas benignas específicas.
- Se seleccionan dinámicamente las capas del modelo donde la separación entre rechazo y respuesta es más clara (las capas más "efectivas").
Steering en Tiempo de Inferencia (Algoritmo 1):
- Detección de Tarea: Al recibir un prompt, el sistema calcula la similitud coseno de las representaciones ocultas con los centroides de las tareas conocidas para identificar la intención ( $\hat{t}$ ).
- Filtrado Condicional: Si la tarea detectada es benigna y la confianza es alta, el sistema procede a intervenir. Si no, deja al modelo actuar normalmente (preservando la seguridad ante inputs realmente dañinos).
- Selección de Capas Dinámica: Identifica un subconjunto pequeño de capas ( $L^*$ ) donde la representación actual está más cerca de la variedad de rechazo que de la de respuesta.
- Aplicación de Perturbación: Se aplica una pequeña perturbación a las activaciones ocultas en esas capas específicas para desplazar la representación desde la trayectoria de rechazo hacia la trayectoria de respuesta deseada:
  $\tilde{h}^{(\ell)} = h^{(\ell)} + \lambda^{(\ell)} \frac{v^{(\ell)}_{\hat{t}}}{\|v^{(\ell)}_{\hat{t}}\|}$
- La intensidad del steering ( $\lambda$ ) se adapta dinámicamente según la alineación de la capa y la confianza de la tarea.

3. Contribuciones Clave

Nuevo Dataset de Benchmark: Creación de un conjunto de datos de 1,047 muestras que evalúa el rechazo excesivo en 5 tareas (análisis de sentimientos, traducción, reescritura, criptanálisis y RAG-QA) con textos sensibles.
Descubrimiento de Patrones de Constelación: Demostración empírica de que las LLMs codifican la identidad de la tarea mediante trayectorias internas consistentes a través de las capas, independientemente de la entrada léxica.
Método de Steering Condicional: Propuesta de una técnica que reduce el rechazo excesivo sin reentrenar el modelo, actuando solo cuando se detecta una tarea benigna susceptible de rechazo.
Preservación de Utilidad: El método logra reducir los rechazos erróneos manteniendo la precisión en tareas generales (benchmarks MMLU) y la seguridad ante inputs realmente maliciosos.

4. Resultados Experimentales

Los experimentos se realizaron en modelos como LLaMA-3.1-8B y Qwen1.5-7B.

Reducción de Rechazo Excesivo:
- En LLaMA-3.1-8B, el método redujo la tasa de rechazo excesivo en un 72.92% (de un 17.77% a un 4.81%).
- En Qwen1.5-7B, se logró una reducción del 63.64%.
Preservación de Utilidad: A diferencia de enfoques de "steering" agresivo o fijo que degradan el rendimiento, SafeConstellations mantuvo la puntuación en el benchmark MMLU (Medición de comprensión de lenguaje multitarea masiva) sin caídas significativas (ej. 46.57% en LLaMA).
Análisis de Ablación:
- La componente más efectiva fue el steering específico por tarea.
- La selección dinámica de capas mejoró los resultados en comparación con usar solo las últimas capas o una capa fija.
- El uso de métricas de alineación de trayectorias (Layer Alignment) reforzó la precisión de la intervención.
Eficiencia: El overhead computacional es mínimo (~~0.2 segundos por respuesta corta) y el uso de memoria para los embeddings de tareas es manejable (~~847 MB para LLaMA-8B).

5. Significado y Limitaciones

Significado:
El trabajo demuestra que la seguridad y la utilidad no son mutuamente excluyentes si se entiende la mecánica interna de las LLMs. Al tratar el rechazo excesivo como un problema de trayectoria de representación dependiente de la tarea, se puede corregir el comportamiento del modelo de manera quirúrgica, evitando el "corte" de funcionalidades útiles. Esto es crucial para la adopción de LLMs en entornos empresariales donde la precisión en tareas específicas es vital.

Limitaciones:

Acceso al Modelo: Requiere acceso a las activaciones internas (hidden states), lo que limita su aplicación en modelos de caja cerrada (APIs) sin acceso a pesos.
Estática de los Embeddings: Los "Task Embeddings" son estáticos y no se adaptan automáticamente a nuevos datos; requieren actualización periódica en entornos dinámicos.
Generalización: Los patrones de constelación son específicos del modelo y no se transfieren directamente entre arquitecturas diferentes.
Evaluación: La evaluación de la utilidad se basa principalmente en MMLU, que no mide completamente la coherencia a largo plazo o la facticidad.

En conclusión, SafeConstellations ofrece un enfoque principista y condicional para mitigar el rechazo excesivo, equilibrando la seguridad con la utilidad operativa mediante la manipulación inteligente de las representaciones internas del modelo.