🤖 AI

Securing Multimodal AI through Internal Information Decomposition

El artículo propone FlowGuard, un marco ligero de tiempo de inferencia que asegura la IA multimodal mediante la detección de ataques adversarios a través del monitoreo de la consistencia intermodal interna utilizando FlowVectors inspirados en la Descomposición de Información Parcial, logrando reducciones significativas en las tasas de éxito de los ataques con una latencia y pérdida de utilidad mínimas.

Autores originales: Jehyeok Yeon, Hyeonjeong Ha, Qiusi Zhan, Heng Ji

Publicado 2026-07-27

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Jehyeok Yeon, Hyeonjeong Ha, Qiusi Zhan, Heng Ji

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás construyendo un robot que puede ver el mundo a través de una cámara y hablarte a través de un micrófono. Este robot es un "Modelo de Lenguaje Grande Multimodal", una IA superinteligente que combina imágenes y palabras para entender lo que está sucediendo. Pero aquí está la parte difícil: el hecho de que el robot vea una imagen inofensiva y escuche una frase inofensiva no significa que la combinación de ambas sea segura. Es como si le entregaras a un chef la foto de un pastel y la receta de un pastel, pero luego le susurraras un código secreto al oído que le indicara añadir veneno. La foto parece estar bien, la receta parece estar bien, pero el plato final es peligroso. Este es el nuevo tipo de peligro que los investigadores temen: hackers que dividen sus malas intenciones entre una imagen y un texto para que ninguno de los dos parezca sospechoso por sí solo, pero que juntos engañen a la IA para que haga algo dañino.

Para atrapar estos trucos escurridizos, los científicos suelen intentar revisar la imagen o el texto por separado, como un guardia de seguridad revisando una bolsa y la identificación de una persona uno por uno. Pero este artículo sugiere una forma más inteligente: en lugar de solo mirar las entradas, deberíamos observar cómo el cerebro del robot piensa sobre ellas. La idea central es que, cuando un robot trabaja normalmente, la imagen y el texto deben estar de acuerdo entre sí y ayudar al robot a tomar una decisión clara y segura. Si un hacker intenta engañar al robot, esa concordancia interna se rompe. El cerebro del robot se confunde, o la imagen y el texto comienzan a tirar en direcciones opéticas, incluso si la respuesta final parece fluida. El artículo propone un nuevo sistema de seguridad llamado FlowGuard que actúa como un "detective de pensamientos", observando el proceso de razonamiento interno del robot para detectar cuándo la imagen y el texto están peleando entre sí o actuando de forma extraña, en lugar de solo revisar las palabras o los píxeles superficiales.

La historia de FlowGuard: Atrapando la "fractura del pensamiento"

Los investigadores detrás de este artículo, liderados por Jehyeok Yeon y sus colegas, notaron algo fascinante sobre cómo funcionan estos modelos de IA. Cuando le das a un modelo una imagen normal y una pregunta normal, la parte del cerebro que mira la imagen y la parte que lee el texto suelen llevarse de maravilla. Comparten información, se ponen de acuerdo sobre lo que es importante y la respuesta final se siente estable y segura. Es como dos amigos construyendo un castillo de arena juntos; ambos saben cómo debería verse el castillo, y su esfuerzo combinado hace que el castillo sea más fuerte y detallado.

Sin embargo, cuando un atacante intenta hacer un "jailbreak" al modelo —forzándolo a ignorar sus reglas de seguridad ocultando una mala instrucción en una imagen o en un texto— la armonía se rompe. El artículo sugiere que, incluso si el atacante es lo suficientemente hábil como para hacer que la imagen y el texto parezcan inocentes por separado, en el momento en que el modelo intenta combinarlos, algo sale mal. La lógica interna se "fractura". La imagen podría estar gritando una cosa mientras el texto susurra otra, o la combinación crea un caos confuso que el cerebro del modelo no puede resolver de manera fluida.

Para atrapar esto, el equipo construyó FlowGuard. Piensa en FlowGuard no como un guardia en la puerta, sino como un traductor sentado justo dentro del cerebro del robot. No solo mira la respuesta final; echa un vistazo al mismísimo primer segundo del proceso de toma de decisiones del robot. Hace tres preguntas rápidas:

¿Qué diría el robot si solo mirara la imagen?
¿Qué diría si solo leyera el texto?
¿Qué dice cuando mira ambos juntos?

Luego, compara estas tres respuestas. En una situación segura, la respuesta de "ambos" debería ser una mezcla feliz de las otras dos, como una mezcla suave de pintura roja y amarilla que produce naranja. Pero en un ataque, la respuesta de "ambos" podría volverse repentinamente de un color extraño, o las pinturas roja y amarilla podrían negarse a mezclarse. FlowGuard mide esta "mezcla" usando una matemática sofisticada (inspirada en un concepto llamado Descomposición de Información Parcial) para crear un FlowVector. Este es un código diminuto de cuatro números que describe exactamente cómo interactúan la imagen y el texto.

Redundancia: ¿Están de acuerdo la imagen y el texto? (Una alta redundancia significa que están en la misma sintonía).
Unicidad: ¿Está uno de ellos dominando la conversación? (Si la imagen está gritando y el texto está en silencio, eso es una alta unicidad visual).
Sinergia: ¿Hacer la combinación de ambos hace que la respuesta sea más clara, o la vuelve más confusa? (Una buena sinergia significa que el todo es mayor que la suma de sus partes; una mala sinergia significa que la combinación crea caos).

El equipo entrenó a FlowGuard utilizando únicamente ejemplos "buenos": miles de imágenes y preguntas normales donde el robot se comportaba perfectamente. Le enseñaron a un detector de IA (un Bosque de Aislamiento o Isolation Forest) a reconocer cómo es un flujo "normal". Como solo lo entrenaron con buen comportamiento, el detector sabe que cualquier cosa que parezca incluso ligeramente "fuera de lugar" respecto al patrón normal es sospechosa. Es como enseñarle a un sistema de seguridad a reconocer el sonido de una casa normal; si una ventana se rompe o un tablón del suelo cruje de una manera extraña, la alarma suena, incluso si el intruso lleva un disfraz.

Lo que encontraron

Los resultados fueron sorprendentemente efectivos. Los investigadores probaron FlowGuard contra una gran variedad de ataques, incluyendo aquellos donde los hackers ocultaron malas palabras en arte ASCII, imágenes alteradas con cambios de píxeles invisibles, o instrucciones maliciosas divididas entre una imagen y una oración.

Sin ninguna defensa, estos modelos eran increíblemente vulnerables. En algunos de los ataques más astutos, los modelos fallaban más del 90% de las veces, generando contenido dañino alegremente. Pero cuando FlowGuard estaba encendido, redujo la tasa de éxito de estos ataques a menos del 15%. En muchos casos, detectó casi todos los intentos, reduciendo la tasa de fallo a un solo dígito (entre el 6% y el 9% para ataques cross-modales).

Lo que es realmente genial es que FlowGuard no solo detuvo a los malos; tampoco detuvo accidentalmente a los buenos. Los investigadores comprobaron si FlowGuard se pondría gruñón y se negaría a responder preguntas normales. Encontraron que solo cometía errores en aproximadamente el 2.4% de las entradas seguras, lo cual es mucho mejor que otros métodos de seguridad que a menudo bloquean preguntas inofensivas solo para estar seguros. Además, fue súper rápido. Mientras que otros controles de seguridad tardaban varios segundos en ejecutar reconstrucciones complejas de imágenes, FlowGuard hizo su trabajo en unos 1.3 segundos, lo que lo hace práctico para uso en tiempo real.

El artículo también mostró que este truco funciona en diferentes tipos de robots, desde los más pequeños con 4 mil millones de "células cerebrales" hasta los masivos con 70 mil millones. Incluso funcionó en un modelo accedido a través de una API (donde no puedes ver todo el cerebro, solo las predicciones superiores), demostrando que la señal de la "fractura del pensamiento" es una parte fundamental de cómo funcionan estos modelos, no solo un error en un diseño específico.

La conclusión

Este artículo sugiere que la mejor manera de proteger la IA multimodal no es construir muros más altos alrededor de las entradas, sino escuchar cómo piensa la IA. Al observar el momento en que la imagen y el texto dejan de llevarse bien, FlowGuard puede detectar el truco de un hacker antes de que el robot siquiera termine su frase. Es una forma ligera, rápida y sorprendentemente robusta de mantener seguros estos poderosos recursos, sugiriendo que la clave de la seguridad podría residir simplemente en prestar atención a la armonía interna de la mente de la máquina.

Resumen Técnico: Asegurando la IA Multimodal mediante la Descomposición de la Información Interna

Planteamiento del Problema

Los Modelos de Lenguaje de Gran Escala Multimodales (MLLM) introducen superficies de ataque novedosas, ausentes en los sistemas unimodales. Los adversarios pueden distribuir la intención maliciosa a través de las modalidades (texto e imagen) de tal manera que las entradas individuales parezcan benignas y coherentes internamente, pero su combinación induzca un comportamiento inseguro. Este modo de falla "composicional" hace que las defensas de seguridad tradicionales sean ineficaces. Los enfoques existentes se centran en sanear las entradas puras, verificar los resultados generados o monitorear métricas de confianza escalares (por ejemplo, verosimilitud, entropía, perplejidad). Sin embargo, estos métodos suelen fallar cuando el razonamiento únicamente de texto y únicamente de visión es consistente por separado, pero su fusión produce un comportamiento con confianza pero composicionalmente desalineado. El desafío central es detectar estas fallas sin modificar el modelo subyacente ni depender de la supervisión adversarial, particularmente cuando los ataques son no vistos o de tipo zero-shot.

Metodología: FlowGuard

Los autores proponen FlowGuard, un marco ligero de tiempo de inferencia que detecta entradas dañinas mediante el monitoreo de la consistencia interna del razonismo multimodal. En lugar de inspeccionar las entradas o salidas superficiales, FlowGuard analiza la interacción entre las distribuciones predictivas unimodales y multimodales.

Mecanismo Central

FlowGuard opera sondeando el MLLM objetivo bajo tres configuraciones de condicionamiento distintas:

Solo texto: $P^{(1)}_t = P_M(\cdot \mid \emptyset, Q)$
Solo visión: $P^{(1)}_v = P_M(\cdot \mid I, Q_\emptyset)$ (usando un prompt neutral fijo)
Multimodal conjunto: $P^{(1)}_{mm} = P_M(\cdot \mid I, Q)$

El sistema se centra en la distribución predictiva del primer token ( $P^{(1)}$ ), que captura el estado de decisión inicial del modelo antes de la amplificación autorregresiva.

FlowVectors y Descomposición de Información Parcial (PID)

Inspirado en la Descomposición de Información Parcial (PID), FlowGuard deriva un FlowVector de 4 dimensiones $\phi(x) = (U_v, U_t, R, S)$ que cuantifica cómo la información de texto y visión se solapa, diverge y se estabiliza bajo la fusión:

Unicidad ( $U_v, U_t$ ): Medida mediante la divergencia de Kullback–Leibler (KL) direccional.
- $U_v = D_{KL}(P^{(1)}_{mm} \parallel P^{(1)}_t)$ : Captura cuánto diverge la posterior fusionada de la prior de solo texto (dominancia visual).
- $U_t = D_{KL}(P^{(1)}_{mm} \parallel P^{(1)}_v)$ : Captura la divergencia de la prior de solo visión (dominancia de texto).
- Significado: La manipulación adversarial suele romper el equilibrio de la influencia de la modalidad, lo que conduce a señales de divergencia asimétricas.
Redundancia ( $R$ ): Medida como $1 - JSD(P^{(1)}_t \parallel P^{(1)}_v)$ $1 - J S D (P_{t}^{(1)} ∥ P_{v}^{(1)})$ , donde JSD es la divergencia de Jensen–Shannon.
- Significado: Captura la alineación semántica de las priors unimodales. Las entradas benignas inducen estructuras alineadas; los prompts adversariales introducen una intención conflictiva, reduciendo la redundancia.
Sinergia ( $S$ ): Medida como reducción de entropía: $S = \frac{H(P^{(1)}_t) + H(P^{(1)}_v)}{2} - H(P^{(1)}_{mm})$ $S = \frac{H ( P _{t}^{(1)} ) + H ( P _{v}^{(1)} )}{2} - H (P_{mm}^{(1)})$ .
- Significado: Indica si la fusión reduce la incertidumbre (integración constructiva, $S > 0$ ) o la amplifica (interacción inestable, $S < 0$ ).

Objetivo de Defensa

FlowGuard enmarca la detección de seguridad como un problema de clasificación de una sola clase. Se entrena un Isolation Forest únicamente con los FlowVectors derivados de datos benignos (por ejemplo, el conjunto de validación de VQAv2). El modelo aprende la región compacta del flujo de información multimodal "alineado". Las entradas adversariales, que exhiben interacciones transmodales anormales (por ejemplo, flujo fracturado, sinergia negativa o dominancia extrema de modalidad), aparecen como valores atípicos en este espacio.

Requisitos de Acceso: FlowGuard requiere únicamente acceso a la distribución de probabilidad del siguiente token (o una cola de logprob de top- $k$ suficientemente grande para modelos de API). No requiere pesos del modelo, gradientes ni activaciones ocultas.

Principales Contribuciones

Seguridad de Nivel de Proceso Multimodal: El artículo redefine la seguridad de los MLLM al centrarse en la consistencia entre las distribuciones predictivas de solo texto, solo visión y conjuntas, abordando directamente los fallos de fusión multimodal en lugar de los contenidos superficiales.
FlowVectors: La introducción de características compactas de teoría de la información (Redundancia, Unicidad, Sinergia) que capturan el flujo de información interna del razonamiento multimodal durante el tiempo de inferencia.
Detección de Ataques Zero-Shot: La demostración de que el modelado del comportamiento multimodal benigno mediante la clasificación de una sola clase permite una detección robusta de diversos jailbreaks no vistos sin necesidad de entrenamiento adversarial o verificación generativa.

Resultados Experimentales

Los autores evaluaron FlowGuard a través de múltiples arquitecturas de MLLM (LLaVA-1.5-7B, Qwen2.5-VL-7B, Gemma-3-4B, LLaMA-3.1-70B) y bancos de pruebas (MM-SafetyBench, VLSafe, VLSU) que cubren ataques de solo texto, solo visión y transmodales.

Reducción de la Tasa de Éxito de Ataque (ASR): FlowGuard redujo consistentemente el ASR de $>90\%$ (sin protección) a $<15\%$ en ataques no vistos. Por ejemplo, en LLaVA-1.5-7B, redujo el ASR de Universal Master Key (UMK) de 96.0% a 8.7% y de Color-Based Substitution Cipher (CBSC) de 94.8% a 9.1%.
Preservación de la Utilidad: El marco mantuvo la utilidad benigna dentro de un 2.4% del rendimiento base. Logró una Tasa de Falsos Positivos (FPR) del 2.4% en consultas benignas pero semánticamente complejas (MOSSBench), superando significativamente a los detectores basados en perplejidad (11.2% FPR) y confianza (14.5% FPR).
Eficiencia: FlowGuard opera con una latencia de aproximadamente 1.3 segundos por muestra (incluyendo tres pasadas hacia adelante), ofreciendo hasta una aceleración de 6 $\times$ en comparación con los métodos de verificación basados en difusión como MirrorCheck y CIDER.
Robustez: El método demostró robustez a través de diferentes escalas de modelos (de 4B a 70B parámetros) y acceso a distribuciones parciales (GPT-4.1-mini con top- $k$ logprobs), donde mantuvo un ASR promedio de 10.4%.
Estudios de Ablación:
- Sinergia ( $S$ ): Eliminar la característica de sinergia resultó en la mayor caída de rendimiento, indicando que las desviaciones en la reducción de la incertidumbre multimodal son una señal primaria para la detección.
- Pasos de Decodificación: Monitorear solo el primer paso de decodificación ( $k=1$ ) fue suficiente para la saturación; aumentar $k$ produjo ganancias insignificantes en relación con los costos de latencia lineales.
- Elección del Clasificador: El Isolation Forest de una sola clase superó a los MLP supervisados en ataques no vistos, evitando el sobreajuste a patrones de perturbación específicos.

Significancia y Reivindicaciones

El artículo afirma que el monitoreo de la consistencia transmodal ofrece una defensa eficiente y efectiva para el razonamiento multimodal, abordando una limitación fundamental de los criterios de seguridad previos que enfatizan la fluidez y la confianza sobre la estructura de la integración multimodal.

Generalizabilidad: Al basarse en la consistencia estructural del flujo de información en lugar de patrones de ataque específicos, FlowGuard proporciona una defensa agnóstica al ataque que se generaliza a través de arquitecturas y estrategias de jailbreak no vistas.
Complementariedad: Los autores posicionan a FlowGuard como una capa complementaria a los métodos existentes de purificación de entrada y verificación de salida, proporcionando una señal interna del modelo que detecta fallos en la integración multimodal que los controles superficiales pasan por alto.
Escalabilidad: El marco es ligero, no requiere reentrenamiento del modelo ni acceso a gradientes, lo que lo hace adecuado para su despliegue en sistemas del mundo real donde los pesos del modelo pueden ser propietarios o inaccesibles.

Los autores señalan que, si bien FlowGuard es altamente efectivo contra ataques transmodales y visuales, muestra un ASR residual ligeramente superior en ataques de solo texto (aprox. 13–14%), lo que sugiere que la composición con defensas específicas de texto puede ser necesaria para una protección integral. También reconocen que la publicación de mecanismos de detección puede informar a atacantes adaptativos, y que los enfoques basados en anomalías corren el riesgo de marcar entradas legítimas pero raras, lo que requiere una curación cuidadosa de los conjuntos de datos de referencia y la auditoría de los falsos positivos en aplicaciones sensibles.