ReFrame: Evidence-Guided Test-Time Safety Alignment in Multimodal Large Language Models

En el mundo de la inteligencia artificial, que evoluciona rápidamente, ha surgido una nueva generación de modelos que pueden ver y hablar simultáneamente. Estos sistemas, conocidos como modelos de lenguaje de gran tamaño multimodales, no solo procesan texto; comprenden imágenes, conectando detalles visuales con palabras escritas para responder preguntas, resolver problemas y generar contenido creativo. Sin embargo, esta capacidad ampliada de ver y razonar trae consigo un nuevo y complejo desafío: la seguridad. Un atacante podría ocultar una petición dañina dentro de una imagen o dividir una instrucción peligrosa entre una imagen y una frase, confundiendo al modelo para que piense que la petición es inofensiva. Esto crea una situación difícil para los desarrolladores. Muchos de los modelos más potentes son "cajas negras", lo que significa que su funcionamiento interno está oculto y no puede ser modificado o reentrenado por usuarios externos. Cuando un modelo ya ha sido desplegado y no se puede modificar, encontrar una forma de mantener su seguridad sin romper su capacidad de ser útil se convierte en un rompecabezas crítico.

Los investigadores han estado explorando formas de solucionar esto, pero muchas soluciones existentes requieren acceso al código interno del modelo o implican un reentrenamiento costoso, lo cual es imposible para los sistemas cerrados. Un equipo de científicos ha propuesto ahora un enfoque diferente llamado ReFrame, un método que actúa como un filtro inteligente antes de que el modelo vea la petición del usuario. En lugar de intentar cambiar el modelo mismo, ReFrame intercepta la imagen y el texto entrantes, los analiza y reescribe la petición en una versión más segura. Este proceso ocurre enteramente en el momento del uso, sin necesidad de tocar la configuración interna del modelo ni reentrenarlo con nuevos datos. El sistema está diseñado para detectar peligros ocultos que podrían escaparse de las defensas estándar, asegurando al mismo tiempo que el modelo siga respondiendo preguntas legítimas de manera efectiva.

El núcleo del problema que los investigadores identificaron es que estos modelos a menudo priorizan ser útiles por encima de ser seguros. Cuando un usuario hace una pregunta, el impulso principal del modelo es completar la tarea, lo que a veces puede causar que pase por alto riesgos sutiles ocultos en una imagen o en una estructura de frase trucada. Además, una vez que un modelo comienza a seguir una línea de razonamiento, puede quedarse atrapado en una ruta perjudicial, continuando la generación de contenido inseguro incluso si se da cuenta del peligro más tarde. Para resolver esto, los investigadores construyeron un sistema de dos pasos que utiliza una versión más pequeña y local de un modelo de IA para actuar como un guardián. Este guardián no responde la pregunta del usuario directamente. En su lugar, examina la petición y crea dos resúmenes específicos, o "tarjetas", que describen la situación.

La primera tarjeta, la tarjeta de riesgo, busca cualquier peligro oculto. Pregunta: ¿Hay una intención dañina concebida en la imagen o el texto? Si la respuesta es sí, identifica exactamente cuál es el peligro y planifica cómo reescribir la petición para eliminar la amenaza. La segunda tarjeta, la tarjeta de utilidad, se centra en qué debe salvarse. Pregunta: ¿Qué partes de la petición son inofensivas y útiles? Esto asegura que, cuando se eliminen las partes peligrosas, el modelo no deseche toda la pregunta o se niegue a ayudar en un tema que es en realidad seguro. Al separar el riesgo de la utilidad, el sistema puede tomar una decisión precisa sobre cómo proceder.

Una vez que estas dos tarjetas son creadas, un segundo paso toma el control. Esta parte del sistema combina la información de ambas tarjetas para reescribir la petición original. Si la petición era segura desde el principio, la deja pasar con solo ajustes menores. Si la petición contenía una trampa oculta, el sistema reescribe el prompt para dirigir al modelo hacia una respuesta segura y útil. Por ejemplo, si un usuario pide instrucciones sobre cómo cometer un delito pero lo plantea como un escenario de juego, el sistema reconoce el envoltorio del juego como un disfraz. Elimina las instrucciones del juego y reescribe el prompt para preguntar sobre alternativas seguras o legales en su lugar. Crucialmente, el sistema también decide si envía la imagen original junto con el texto reescrito. A veces la propia imagen contiene la pista peligrosa, por lo que el sistema la bloquea. Otras veces, la imagen es inofensiva y necesaria para la respuesta, por lo que se permite su paso.

Los investigadores probaron este método en varios modelos diferentes, incluyendo algunos de los sistemas comerciales más avanzados disponibles hoy en día. Utilizaron una amplia variedad de pruebas diseñadas para engañar a los modelos para que rompan sus reglas de seguridad, así como pruebas para ver si los modelos aún podían responder preguntas normales sobre matemáticas, ciencia y objetos cotidianos. Los resultados mostraron que el nuevo método fue altamente efectivo para detener peticiones dañinas que otras defensas pasaron por alto. Bloqueó con éxito ataques donde el peligro estaba oculto en la forma en que una imagen era reflejada o donde el texto estaba codificado para ocultar una mala intención. Al mismo tiempo, no hizo que los modelos fueran excesivamente cautelosos. En casos donde los usuarios hacían preguntas seguras sobre temas sensibles como la medicina o la química, el sistema permitió que los modelos proporcionaran respuestas útiles en lugar de negarse a hablar de ellos.

El estudio también analizó cuánto tiempo extra tomaba este proceso. Debido a que el sistema utiliza un modelo más pequeño y local para realizar la reescritura antes de que el modelo principal responda, añade un pequeño retraso, pero los investigadores encontraron que este costo es manejable. El método demostró ser flexible, funcionando bien con diferentes tipos de modelos y diferentes tamaños del guardián local. Esto sugiere que el enfoque no está ligado a una tecnología específica, sino que puede aplicarse ampliamente. Los hallazgos indican que, al analizar cuidadosamente la intención detrás de un par imagen-texto y reescribir la petición antes de que llegue al modelo principal, es posible mejorar significativamente la seguridad sin sacrificar la capacidad del modelo para ser útil. Esto ofrece un camino práctico para mantener seguros los potentes sistemas de IA, incluso cuando su funcionamiento interno no puede ser cambiado.