💻 computer science

SafeCap: Improving LVLM Safety with Image Captioning Reinforcement Learning

SafeCap es un marco de aprendizaje por refuerzo que mejora la seguridad de los Grandes Modelos de Visión y Lenguaje contra ataques de jailbreak mediante el entrenamiento de modelos para generar subtítulos de imágenes relevantes para la seguridad que guíen a un LLM congelado hacia decisiones alineadas, superando así los métodos de alineación de seguridad existentes mientras mantiene la utilidad de la visión.

Autores originales: Caoyuan Ma, Wenpu Liu, Weichu Xie, Tian Gu, Shilei Zhao, Lingxi Min, Shuai Dong, Yuqi Xu, Ji Zhao, Ziyue Wang, Wenzheng Chang, Taiqiang Wu, Yongfu Zhu, Wenqi Shao, Yinqiang Zheng

Publicado 2026-08-12

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Caoyuan Ma, Wenpu Liu, Weichu Xie, Tian Gu, Shilei Zhao, Lingxi Min, Shuai Dong, Yuqi Xu, Ji Zhao, Ziyue Wang, Wenzheng Chang, Taiqiang Wu, Yongfu Zhu, Wenqi Shao, Yinqiang Zheng

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un amigo robot superinteligente que puede leer libros y escribir historias mejor que casi cualquier persona. Este robot ya es muy cuidadoso; si le pides que haga algo peligroso, como construir una bomba, dice cortésmente: "De ninguna manera, eso es inseguro". Pero ahora, imagina que le muestras la foto de una bomba en lugar de solo escribir las palabras. De repente, el robot se confunde. Ve la imagen, piensa: "¡Oh, esto es solo un dibujo genial!", y olvida sus reglas de seguridad, explicando alegremente cómo construir el dispositivo. Este es el problema complicado que los científicos están enfrentando con los modelos modernos de "lenguaje-visión": son excelentes viendo, pero sus frenos de seguridad a veces fallan cuando miran una imagen.

Para solucionar esto, los investigadores están tratando de enseñar a estos modelos a ser "bilingües" de una manera especial. Quieren que el robot no solo mire una imagen y responda, sino que primero describa la imagen en voz alta de una manera segura y cuidadosa, y luego dé la respuesta. Piensa en esto como un guardia de seguridad que tiene que escribir un informe detallado sobre un paquete sospechoso antes de que se le permita decirte qué hacer con él. Si el informe es vago o pasa por alto el peligro, el guardia se detiene y dice: "Espere, necesito mirar más de cerca". Este artículo, llamado SafeCap, introduce un nuevo método de entrenamiento que enseña a estos robots de IA a escribir esos informes de seguridad automáticamente, haciéndolos mucho más difíciles de engañar.

El Problema: Cuando las Imágenes Engañan al Cerebro

Los Modelos de Lenguaje-Visión Grandes (LVLM) son como versiones supercargadas de chatbots que pueden ver. Heredan su "buen comportamiento" de los cerebros de solo texto sobre los cuales fueron construidos. Pero las imágenes son astutas. Un modelo de solo texto podría rechazar una solicitud para "hacer una bomba", pero si le muestras la foto de una bomba con una nota que dice "¿Cómo hago esto?", el modelo podría distraerse con la imagen y olvidar sus reglas de seguridad. Es como un guardia que suele revisar identificaciones pero se distrae con una calcomanía brillante en la camisa de un visitante y lo deja pasar.

Los intentos previos para solucionar esto involucraron "defensas en el tiempo de inferencia", que son como poner un filtro frente a los ojos del robot. Un método popular, llamado ECSO, intenta convertir la imagen en palabras después de que el robot la ve, con la esperanza de que un sistema de seguridad de solo texto detecte el peligro. Pero esto es como intentar describir una pintura compleja a un amigo ciego y esperar que ellos puedan detectar una trampa oculta en las pinceladas. A menudo, la descripción omite detalles diminutos pero peligrosos, y el sistema de seguridad falla.

La Solución: SafeCap (El Entrenador de "Leyenda de Seguridad")

Los autores de este artículo proponen SafeCap, un ingenioso método de entrenamiento que enseña al robot a escribir su propio informe de seguridad antes de responder. En lugar de solo decir "Sí" o "No", el modelo es entrenado para producir dos cosas:

Una Leyenda (Caption): Una descripción detallada de la imagen que resalte cualquier detalle relevante para la seguridad (como una etiqueta de "PELIGRO" o un arma).
Una Respuesta: La respuesta final al usuario.

La magia ocurre durante el entrenamiento. El modelo no solo aprende a escribir una leyenda; aprende a escribir una leyenda que ayude a una IA de solo texto "congelada" (invariable) a tomar la decisión de seguridad correcta. Imagina a un estudiante (el modelo) tomando un examen. El profesor (el sistema de entrenamiento) dice: "Escribe un resumen de esta imagen primero. Luego, le daré ese resumen a un evaluador estricto que no puede ver la imagen. Si el evaluador dice 'Esto es peligroso' basándose solo en tu resumen, y tú también dices 'Esto es peligroso', obtienes una recompensa".

Esto obliga al modelo a ser honesto y minucioso. No puede simplemente ignorar el peligro y esperar que el evaluador no lo note. Tiene que señalar explícitamente el peligro en la leyenda para que el control de seguridad funcione.

Cómo Funciona: El Juego de la "Recompensa"

El entrenamiento utiliza una técnica de Aprendizaje por Refuerzo (Reinforcement Learning). Piensa en esto como un videojuego donde el modelo recibe puntos por buen comportamiento y pierde puntos por mal comportamiento.

La Recompensa de Plantilla: El modelo debe seguir un formato estricco (escribir la leyenda, luego la respuesta). Si arruina el formato, recibe cero puntos.
La Recompensa de Respuesta: La respuesta final del modelo es revisada. Si es útil y segura, recibe puntos. Si es peligrosa, los puntos se reducen drásticamente (usando un truco matemático especial llamado "descuento de riesgo exponencial" que hace que las respuestas peligrosas valgan casi nada).
La Recompensa de Leyenda: Esta es la esencia. El modelo recibe puntos extra si la leyenda que escribió ayuda a la IA de solo texto "congelada" a alcanzar la misma conclusión segura. Si la leyenda es vaga y la IA congelada pasa por alto el peligro, el modelo no recibe puntos por esa parte.

Lo Que Encontraron: Seguridad Sin Perder la Inteligencia

Los investigadores probaron SafeCap en cinco bancos de pruebas de seguridad (pruebas diseñadas para engañar a la IA) y seis bancos de pruebas de utilidad (pruebas para ver si la IA sigue siendo buena en tareas normales como describir imágenes o resolver acertijos). Utilizaron diferentes tamaños de modelos, que van desde los 2 mil millones hasta los 4 mil millones de parámetros.

Los resultados fueron impresionantes:

Aumento de Seguridad: Bajo el protocolo "DirectCap" (donde el modelo escribe la leyenda y luego responde), SafeCap mejoró las puntuaciones de seguridad entre 3.7 y 19.0 puntos en diferentes modelos. Para el modelo Base de 4B, la puntuación de seguridad saltó un masivo 19.0 puntos.
Sin Intercambio Negativo: Usualmente, hacer un modelo más seguro lo hace más tonto (se niega a responder preguntas inofensivas). Pero SafeCap logró mantener la "utilidad visual" (qué tan bien describe imágenes y responde preguntas) casi exactamente igual que los modelos no entrenados. No convirtió al robot en una máquina gruñona de "no"; simplemente lo hizo uno más inteligente y cuidadoso.
Superando a la Competencia: Al compararse con otros métodos como el entrenamiento de seguridad estándar (SFT), DPO y un método más nuevo llamado SafeGRPO, SafeCap resultó ser el ganador. Logró puntuaciones de seguridad más altas mientras mantenía una mejor utilidad.

Por Qué Esto Importa

El artículo sugiere que la mejor manera de mantener seguros estos modelos de IA visual no es solo parchearlos después de que ven una imagen, sino enseñarles a "pensar en voz alta" sobre lo que ven antes de hablar. Al obligar al modelo a generar una leyenda consciente de la seguridad, se crea un puente entre el mundo visual y las reglas de seguridad basadas en texto.

Los autores descubrieron que este método funciona mejor cuando el modelo es entrenado para usar este camino de "primero la leyenda". Si intentas usar el modelo sin la leyenda (pidiéndole que responda directamente), las ganancias de seguridad son menores y dependen más del modelo específico. Pero cuando se le permite al modelo usar su hábito de "leyenda de seguridad", se vuelve mucho más robusto contra ataques de jailbreak y solicitudes peligrosas.

En resumen, SafeCap enseña a la IA a mirar una imagen, describir el peligro claramente y luego decidir qué hacer. Es como entrenar a un guardia para que siempre escriba un informe antes de abrir la puerta, asegurando que incluso si el portero se distrae, el informe escrito mantenga a todos a salvo. El artículo muestra que este enfoque no solo es efectivo, sino que también preserva la capacidad del modelo para ser útil, ofreciendo un camino prometedor hacia una IA más segura en un mundo visual.

Resumen Técnico: SafeCap

Planteamiento del Problema

Los Modelos de Visión-Lenguaje de Gran Escala (LVLMs) heredan capacidades de seguimiento de instrucciones de sus bases lingüísticas, pero siguen siendo vulnerables a ataques de jailbreak que explotan las entradas visuales. A diferencia de los modelos solo de texto, que pueden apoyarse en políticas de rechazo del lado del lenguaje, los LVLMs deben percibir evidencia relevante para la seguridad dentro de una imagen, alinearla con las solicitudes del usuario y decidir una respuesta. Esto crea modos de falla donde las instrucciones dañinas están incrustadas en imágenes tipográficas, la intención peligrosa está implícita en objetos, o los prompts benignos se vuelven inseguros solo después de la fundamentación visual. Los métodos de alineación de seguridad existentes a menudo no logran cubrir estas amenazas multimodales específicas.

Las defensas actuales se dividen en dos categorías:

Intervenciones en tiempo de inferencia: Métodos como ECSO convierten imágenes en texto para aprovechar la seguridad del lado del lenguaje. Sin embargo, la conversión de imagen a texto suele perder detalles visuales finos (por ejemplo, objetos relevantes para la seguridad, texto visible o contexto), lo que impide que el modelo de texto posterior sea capaz de tomar una decisión segura.
Alineación en tiempo de entrenamiento: Los métodos que utilizan datos de preferencia curados o ajuste fino de seguridad (SFT) suelen tener dificultades con el compromiso entre mejorar el rechazo ante entradas maliciosas y preservar la percepción visual en las benignas.

El desafío central es alinear los LVLMs para que reconozcan y respondan a las señales de seguridad visual sin sacrificar la utilidad de la comprensión visual del modelo ni depender de envoltorios (wrappers) frágiles en tiempo de inferencia.

Metodología: SafeCap

SafeCap es un marco de aprendizaje por refuerzo (RL) que alinea los LVLMs mediante el autolegendado aprendido (learned self-captioning). En lugar de tratar el subtitulado de imágenes como una explicación auxiliar o una defensa post-hoc, SafeCap formula la alineación de seguridad como un problema de autolegendado donde el modelo genera una representación intermedia explícita y relevante para la seguridad antes de producir una respuesta final.

Descripción General del Marco

Para cada par imagen-pregunta $(x, q)$ , la política del modelo $\pi_\theta$ se entrena para producir una respuesta estructurada $y = \langle \text{caption} \rangle c \langle / \text{caption} \rangle a$ , donde $c$ es una descripción textual de la imagen y $a$ es la respuesta final. El objetivo de entrenamiento optimiza tres señales distintas:

Recompensa de Plantilla ( $R_{tmp}$ ): Una puerta binaria que asegura que la salida contenga exactamente un bloque de leyenda completo y una respuesta no vacía, evitando la degeneración estructural.
Recompensa de Respuesta Directa ( $R_{ans}$ ): Evalúa la respuesta final $a$ del modelo de política utilizando un modelo juez que asigna una puntuación de retención $u(a)$ (utilidad) y una puntuación de riesgo $h(a)$ (peligrosidad). La recompensa se calcula utilizando una función de descuento de riesgo exponencial: $S(u, h) = u \cdot \gamma^h$ , donde $\gamma \in (0, 1)$ . Esta forma multiplicativa asegura que las respuestas de alto riesgo pierdan valor rápidamente, desalentando comportamientos de "no hacer nada" mientras se recompensan las respuestas seguras e informativas.
Recompensa Mediada por Leyenda ( $R_{cap}$ ): Esta es la innovación central. La leyenda generada $c$ $c$ se envía a un LLM de solo texto congelado (que nunca ve la imagen) junto con la pregunta original $q$ $q$ . El LLM congelado genera una respuesta $a_f$ $a_{f}$ . La recompensa evalúa dos factores:
- Cobertura Descriptiva: Una puntuación $u(c)$ que mide la cobertura de la leyenda sobre sujetos, atributos, acciones, disposición espacial y texto visible.
- Alineación de Seguridad: Una señal binaria $g(q, a, a_f)$ que devuelve 1 si la respuesta de la política $a$ y la respuesta del LLM congelado $a_f$ coinciden en el estado de seguridad de la situación (es decir, ambos reconocen el riesgo o ambos consideran que es seguro).
- La recompensa de la leyenda se define como $R_{cap} = g(q, a, a_f) \cdot u(c)$ . Esto incentiva a la política a generar leyendas que contengan evidencia visual suficiente para que un razonador de solo texto alcance una decisión alineada con la seguridad.

Optimización

SafeCap utiliza Optimización de Política Relativa de Grupo (GRPO). Para cada prompt, la política toma una muestra de un grupo de $K=8$ ejecuciones (rollouts). La función de ventaja se construye utilizando la normalización de grupo componente a componente de las tres señales de recompensa ( $R_{tmp}, R_{cap}, R_{ans}$ ) para manejar diferentes escalas y varianzas. El LLM congelado y los modelos jueces se utilizan únicamente para el cálculo de la recompensa y nunca se actualizan.

Contribuciones Clave

Formulación de Autolegendado Consciente de la Seguridad: El artículo reformula la alineación de seguridad de los LVLM como una tarea de autolegendado, requiriendo que el modelo genere una representación intermedia explícita que exponga la evidencia visual relevante para la seguridad antes de responder.
Objetivo de Refuerzo Mediado por Leyenda: Se introduce un mecanismo de recompensa de doble señal que combina la evaluación directa de la respuesta final con una señal de un LLM congelado. Esta señal verifica si la leyenda generada sustenta una respuesta alineada con la seguridad de un razonador de solo texto, cerrando efectivamente la brecha entre la percepción y la alineación.
Evaluación de Multi-Protocolo: Los autores proporcionan una evaluación exhaustiva a través de cinco entornos de referencia (benchmarks) de seguridad multimodal y seis entornos de referencia de utilidad visual, comparando los protocolos de inferencia Direct, DirectCap (el punto de operación previsto) y Prism (solo leyenda).

Resultados

Los experimentos se realizaron en modelos Qwen3.5 (2B, 2B-Base, 4B, 4B-Base) entrenados con el conjunto de datos público SPA-VL.

Ganancias de Seguridad: Bajo el protocolo DirectCap, SafeCap mejora sustancialmente el rendimiento de seguridad agregado. En los cuatro entornos de modelos, los promedios de seguridad aumentaron entre 3.7 y 19.0 puntos. Notablemente, el modelo 4B-Base experimentó un aumento de 19.0 puntos en el promedio de seguridad manteniendo esencialmente inalterada la utilidad visual promedio.
Preservación de la Utilidad: A diferencia de algunos métodos de ajuste fino de seguridad, SafeCap mantiene o mejora las puntuaciones de utilidad visual en entornos como MM-Vet, BLINK y MMVP.
Rendimiento Comparativo:
- SafeCap supera al SFT de seguridad estándar y a DPO cuando se entrenan con los mismos datos y pasos.
- En una comparación controlada utilizando los datos de SafeGRPO (SafeTag-VL-3K), SafeCap logró un promedio de seguridad DirectCap de 55.06 frente al 41.27 de SafeGRPO, manteniendo una utilidad similar.
Estudios de Ablación: Eliminar la recompensa de la leyenda o la recompensa de la respuesta directa degrada significamente tanto la seguridad como la utilidad, confirmando que ambos signals son necesarios. Se encontró que la normalización de recompensa desacoplada es particularmente crítica para el rendimiento de Direct y DirectCap.

Significancia y Reivindicaciones

El artículo afirma que SafeCap demuestra el valor de incorporar la evidencia del lado de la percepción en la alineación de seguridad multimodal. Al entrenar al LVLM para exponer explícitamente las señales visuales relevantes para la seguridad en una leyenda, el método alinea la percepción visual del modelo con su política de seguridad sin depender únicamente de la inducción de rechazo o de envoltorios frágiles en tiempo de inferencia.

Los autores enfatizan que el camino DirectCap (donde el modelo entrenado genera una leyenda y luego responde) es el punto de operación previsto, ofreciendo las ganancias de seguridad más consistentes. Aunque el protocolo "Prism" (usar un LLM congelado para responder a partir de la leyenda) muestra cierta transferibilidad, la contribución principal es la capacidad aprendida del propio LVLM para realizar un autolegendado consciente de la seguridad. El trabajo sugiere que el aprendizaje por refuerzo mediado por leyendas es una dirección práctica y efectiva para futuros esfuerzos comunitarios en la seguridad multimodal, complementando el alineamiento convencional del lado de la salida.