🤖 AI

Steering to Say No: Configurable Refusal via Activation Steering in Vision Language Models

Este trabajo presenta **CR-VLM**, un método basado en el direccionamiento de activaciones (*activation steering*) que permite un rechazo configurable y adaptable en modelos de lenguaje visual para evitar tanto el rechazo excesivo como el insuficiente ante consultas de usuario.

Autores originales: Jiaxi Yang, Shicheng Liu, Yuchen Yang, Dongwon Lee

Publicado 2026-02-10

📖 3 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Jiaxi Yang, Shicheng Liu, Yuchen Yang, Dongwon Lee

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El problema: El "Guardaespaldas" que no sabe distinguir

Imagina que tienes un asistente personal súper inteligente (el VLM o Modelo de Lenguaje Visual). Este asistente puede ver fotos y responder tus preguntas. Para que sea seguro, le han puesto un "guardaespaldas" (el mecanismo de seguridad) cuya única orden es: "Si algo parece peligroso o prohibido, ¡di que no!".

El problema es que este guardaespaldas es un poco "bruto". Es como un guardia de seguridad en un club que, si ve a alguien con una camiseta roja (que es la regla de hoy), decide no dejar pasar a nadie que lleve algo rojo, incluso si son niños con dulces.

Esto se llama "sobre-rechazo": el modelo se vuelve tan precavido que empieza a decir "no puedo responder" a preguntas totalmente inofensivas, simplemente porque se confunde con las reglas. Además, las reglas actuales son iguales para todo el mundo; no puedes decirle: "Hoy, para mí, hablar de criptomonedas es legal, pero para otros no".

La solución: CR-VLM (El Asistente con "Criterio Personalizable")

Los investigadores han creado algo llamado CR-VLM. En lugar de un guardaespaldas ciego, han diseñado un sistema que funciona como un "Filtro Inteligente y Ajustable".

Para lograrlo, usaron tres trucos ingeniosos:

1. El "Entrenamiento con el Guion" (Extracción de vectores)

Imagina que quieres enseñarle a alguien a decir "no" con autoridad. En lugar de solo decirle "di que no", le das un guion: "Cuando te pregunten esto, tú debes responder exactamente: 'Lo siento, no puedo'". Al obligar al modelo a seguir ese guion durante el entrenamiento, el sistema aprende exactamente qué "sensación" o "vibración" interna tiene una respuesta de rechazo. Es como enseñarle a un actor a interpretar el papel de un juez.

2. El "Interruptor de Precisión" (Mecanismo de compuerta)

Para evitar que el modelo se vuelva un exagerado, inventaron un interruptor (gate). Es como un sensor de movimiento inteligente:

Si la pregunta entra en la zona "prohibida", el interruptor se activa y permite que el modelo diga que no.
Si la pregunta es segura, el interruptor se mantiene apagado para que el modelo pueda responder con total normalidad.
Esto evita que el asistente se vuelva un "amargado" que no quiere hablar de nada.

3. El "Ojo de Detective" (Mejora visual contrafactual)

A veces, el modelo se guía solo por lo que lee (el texto) y se olvida de lo que ve (la imagen). Los investigadores añadieron un módulo que obliga al modelo a mirar la foto con más atención antes de decidir si rechaza la pregunta. Es como si, antes de prohibirte la entrada, el guardia te dijera: "Espera, déjame mirar bien tu identificación y lo que llevas en la mano antes de decidir". Así, el rechazo se basa en la realidad de la imagen, no solo en una palabra sospechosa.

¿Por qué es esto importante?

Gracias a este avance, en el futuro podrías tener un asistente que se adapte a ti:

Para un estudiante: Podrías decirle: "No me des respuestas directas de matemáticas, solo dame pistas".
Para un profesional en un país con leyes estrictas: Podrías configurarlo para que bloquee temas que sean ilegales en su región específica.
Para un usuario común: El asistente será mucho más útil porque no te dará respuestas de "no puedo" ante preguntas que no tienen nada de malo.

En resumen: Han pasado de tener un robot que dice "NO" a todo, a tener un asistente que sabe cuándo, por qué y cómo decir "no", respetando siempre lo que tú necesitas.

Resumen Técnico: Steering to Say No: Configurable Refusal via Activation Steering in Vision Language Models (CR-VLM)

1. El Problema: El dilema de la negativa "talla única"

Los Modelos de Lenguaje y Visión (VLMs) actuales utilizan mecanismos de rechazo (refusal) para evitar generar contenido dañino o poco ético. Sin embargo, estos mecanismos suelen ser de "talla única" (one-size-fits-all): el modelo rechaza de la misma manera sin importar el contexto del usuario o las regulaciones locales. Esto genera dos problemas críticos:

Sub-rechazo (Under-refusal): El modelo responde a consultas que deberían ser prohibidas bajo ciertas restricciones específicas.
Sobre-rechazo (Over-refusal): El modelo rechaza consultas legítimas y seguras simplemente porque activó un modo de seguridad general (por ejemplo, negarse a hablar de criptomonedas cuando el usuario solo pregunta por su legalidad en un contexto permitido).

El desafío es crear un mecanismo de rechazo configurable que sea robusto, eficiente y capaz de adaptarse a las necesidades del usuario sin necesidad de reentrenar todo el modelo.

2. Metodología: El marco CR-VLM

Los autores proponen CR-VLM (Configurable Refusal in VLMs), un enfoque basado en el direccionamiento de activaciones (activation steering). En lugar de modificar los pesos del modelo (fine-tuning), CR-VLM entrena un modelo ligero (calibrador) que predice cómo deben ajustarse las activaciones internas del VLM durante la inferencia.

El método se compone de tres pilares técnicos:

Extracción de activaciones mediante "Teacher-Forced" (4.1): Para obtener un vector de rechazo limpio y potente, no usan simples prompts de sistema (que son débiles en modelos sin alineación previa), sino que fuerzan al modelo a procesar una respuesta de rechazo predefinida (ej. "Lo siento, no puedo..."). Esto permite extraer la diferencia exacta entre una activación de respuesta y una de rechazo, creando un vector de dirección de rechazo ( $s_i^l$ ) muy preciso.
Mecanismo de Puerta (Gating) para mitigar el sobre-rechazo (4.3): Para evitar que el modelo se vuelva "demasiado cauteloso", introducen una función de pérdida de puerta ( $L_{in}$ ) y un regularizador de ortogonalidad ( $L_{ortho}$ ). Esto asegura que las direcciones de actualización para consultas "fuera de alcance" (out-of-scope) sean ortogonales (independientes) a las de las consultas "dentro de alcance" (in-scope), preservando la capacidad de respuesta del modelo en temas permitidos.
Mejora Visual Contrafactual (4.4): Dado que son VLMs, el rechazo debe basarse tanto en el texto como en la imagen. Introducen una pérdida de visión ( $L_{vision}$ ) que alinea el cambio en las activaciones con la evidencia visual, asegurando que el modelo no ignore la imagen y decida rechazar basándose en lo que "ve" y no solo en lo que "lee".

3. Contribuciones Clave

Primer estudio sistemático: Es el primer trabajo que investiga el rechazo configurable específicamente en modelos multimodales (VLMs).
Eficiencia y Robustez: Propone un método de intervención en el espacio latente que es mucho más ligero que el ajuste fino (fine-tuning) y más estable que la ingeniería de prompts.
Arquitectura End-to-End: Un marco que permite la personalización de la seguridad sin alterar los pesos originales del modelo base.

4. Resultados Experimentales

Los autores evaluaron CR-VLM en varios modelos (LLaVA, Idefics3, InstructBLIP) usando los datasets ScienceQA y MMMU. Los resultados principales muestran:

Alta eficacia de rechazo: CR-VLM logra tasas de rechazo significativamente más altas en consultas fuera de alcance en comparación con métodos basados en prompts o persona vectors.
Control del sobre-rechazo: Mientras que el fine-tuning y otros métodos de steering suelen causar un alto sobre-rechazo (rechazar lo que es seguro), CR-VLM mantiene tasas de sobre-rechazo extremadamente bajas, casi al nivel del modelo original.
Superioridad en el MB-Score: En la métrica compuesta que equilibra la efectividad del rechazo y la preservación de la utilidad (MB-Score), CR-VLM superó consistentemente a todos los baselines.

5. Significancia y Conclusión

La importancia de este trabajo radica en su capacidad para democratizar la alineación de seguridad personalizada. Permite que un desarrollador o usuario configure las "reglas de seguridad" de un modelo de visión de forma dinámica. CR-VLM ofrece un camino escalable hacia modelos de IA más responsables que pueden adaptarse a diferentes contextos culturales, legales y personales sin el costo computacional de un reentrenamiento masivo.