When One Modality Rules Them All: Backdoor Modality Collapse in Multimodal Diffusion Models

Este artículo desafía la intuición de que atacar múltiples modalidades en modelos de difusión multimodal refuerza los backdoors, demostrando mediante nuevas métricas que estos ataques sufren de un "colapso de modalidad" donde un único canal domina, haciendo redundantes a los demás y revelando una vulnerabilidad crítica no detectada en las evaluaciones actuales.

Lo esencial

🕵️‍♂️ El Secreto de la "Moda" en la Inteligencia Artificial: Cuando una voz apaga a las demás

Imagina que tienes un chef robot (una Inteligencia Artificial) muy avanzado que puede cocinar cualquier plato si le das dos cosas:

1. Una foto de los ingredientes (Modo Imagen).
2. Una receta escrita (Modo Texto).

Normalmente, creemos que si le das instrucciones en ambos formatos al mismo tiempo, el robot será más inteligente y obedecerá mejor. Pero los autores de este paper descubrieron algo sorprendente y un poco inquietante: El robot a menudo ignora por completo la foto y solo obedece la receta escrita.

Esto es lo que llaman "Colapso de la Modalidad del Backdoor" (o "trampa de la puerta trasera").

🧪 ¿Qué es un "Backdoor" (Puerta Trasera)?

Imagina que un hacker quiere controlar a este chef robot. En lugar de hackearlo desde fuera, lo "entrena" maliciosamente.

• El truco: El hacker le enseña al robot que si ve unas gafas de sol en la foto (imagen) o si lee la palabra "anónimo" en la receta (texto), debe dejar de cocinar lo que le pidas y, en su lugar, poner un gato en el plato.
• La esperanza del hacker: Pensaba que si usaba ambos trucos a la vez (gafas + palabra "anónimo"), el ataque sería más fuerte y seguro.

📉 El Descubrimiento: "El Ganador se lo lleva todo"

Lo que los investigadores descubrieron es que el robot no necesita los dos trucos. De hecho, a menudo ignora la foto por completo.

• La Analogía del Grito: Imagina que el robot es una persona en una habitación ruidosa.
  • La foto es como un susurro.
  • La palabra escrita es como un grito fuerte.
  • Aunque intentes susurrar y gritar al mismo tiempo, el robot solo escucha el grito. El susurro (la imagen) se vuelve irrelevante.

En el mundo de la IA, esto significa que el ataque se "colapsa" en un solo canal. Si el texto es el "ganador", el hacker solo necesita escribir una palabra rara en el prompt para controlar al modelo. No necesita manipular la imagen, lo cual hace que el ataque sea más fácil y peligroso de lo que pensábamos.

📏 Cómo lo midieron (La Regla de Oro)

Para demostrar esto, crearon dos reglas matemáticas (métricas) muy inteligentes:

1. La "Cuenta de Culpa" (TMA): Preguntan: "¿Quién es el culpable de que el robot haga lo malo?".
   • Resultado: En casi todos los casos, el texto tenía el 95-99% de la culpa. La imagen tenía casi 0%.
2. La "Química del Equipo" (CTI): Preguntan: "¿Funcionan mejor juntos que por separado?".
   • Resultado: ¡No! A veces, usar los dos juntos es incluso peor que usar solo el texto. Es como si dos músicos tocaran la misma nota: uno no suma nada al otro, solo hacen ruido.

🧠 ¿Por qué pasa esto?

Los autores dan dos razones principales, usando analogías simples:

1. El Camino Fácil (Optimización): Al entrenar al robot, el cerebro de la IA encuentra que es mucho más fácil aprender a obedecer la palabra escrita que aprender a ver un patrón sutil en una foto. Es como si el robot dijera: "¡Uf, leer es fácil! ¿Por qué voy a esforzarme en analizar esta foto compleja?".
2. El Embudo de Información: Las fotos tienen millones de píxeles (muchos datos), mientras que el texto es corto y directo. Cuando la IA intenta mezclarlos, a veces "aprieta" la información de la foto para que quepa, y en ese proceso, el truco de la imagen se pierde o se tira a la basura.

⚠️ ¿Por qué nos importa esto?

Esto es una mala noticia para la seguridad por dos razones:

1. Falsa Seguridad: Pensábamos que atacar dos canales (texto e imagen) era más difícil y robusto. Resulta que es un espejismo. Si logras controlar solo el texto, ya controlas todo el sistema.
2. Defensas Ciegas: Si los defensores de la IA miran solo la imagen buscando trucos, no encontrarán nada porque el ataque ya no está ahí. El ataque se ha escondido completamente en el texto.

🏁 Conclusión

Este paper nos enseña que en la Inteligencia Artificial Multimodal (que usa varios sentidos), no siempre es "más es mejor". A veces, una sola modalidad (como el texto) se vuelve tan dominante que apaga a las demás.

La lección: Si quieres proteger a una IA, no puedes mirar solo una parte. Tienes que entender que, a veces, el "grito" del texto apaga por completo el "susurro" de la imagen, y el hacker solo necesita gritar para ganar.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "When One Modality Rules Them All: Backdoor Modality Collapse in Multimodal Diffusion Models", presentado en el taller ICLR 2026 sobre Diseño Principiado para IA Confiable.

1. Planteamiento del Problema

Los modelos de difusión multimodales (que aceptan entradas de texto e imagen) han revolucionado la generación y edición de contenido visual. Existe una suposición tácita en la comunidad de seguridad de que atacar múltiples modalidades simultáneamente (inyectando "triggers" o gatillos tanto en el texto como en la imagen) generaría un efecto sinérgico, resultando en un ataque de puerta trasera (backdoor) más robusto y potente que los ataques unimodales.

Sin embargo, los autores desafían esta intuición. El problema central investigado es si estos modelos sufren de un fenómeno de Colapso de Modalidad de Puerta Trasera (Backdoor Modality Collapse). Este fenómeno ocurre cuando el mecanismo de la puerta trasera degenera para depender predominantemente de un subconjunto de modalidades (por ejemplo, solo el texto), haciendo que los triggers inyectados en las otras modalidades (por ejemplo, la imagen) sean redundantes o ineficaces. Ignorar este riesgo es peligroso, ya que podría llevar a una falsa sensación de seguridad al asumir que un ataque multimodal es inherentemente más complejo de mitigar.

2. Metodología

Para cuantificar rigurosamente este comportamiento, los autores proponen un marco metodológico basado en la teoría de juegos cooperativos, específicamente utilizando el Valor de Shapley, y definen dos nuevas métricas:

• Atribución de Modalidad del Trigger (TMA - Trigger Modality Attribution):
  • Objetivo: Cuantificar la contribución individual de cada modalidad al éxito del ataque.
  • Funcionamiento: Trata las modalidades como "jugadores" en un juego cooperativo. Calcula el valor marginal que aporta cada modalidad (texto o imagen) al activar la puerta trasera. Un valor de TMA cercano a 1 para una modalidad indica que es el motor principal del ataque.
• Interacción Cruzada de Triggers (CTI - Cross-Trigger Interaction):
  • Objetivo: Medir si la combinación de múltiples modalidades produce un efecto sinérgico (no aditivo) o, por el contrario, redundancia e interferencia.
  • Funcionamiento: Compara el resultado del ataque con triggers combinados frente a la suma de los efectos de los triggers individuales.
    • $I > 0$: Sinergia positiva (el todo es mayor que la suma de las partes).
    • $I < 0$: Interferencia o redundancia (la combinación no aporta valor extra o incluso perjudica).

Configuración Experimental:

• Modelo: Se utilizó InstructPix2Pix (basado en Stable Diffusion) para la edición de imágenes guiada por instrucciones.
• Datos: Dataset CelebA con pares imagen-texto.
• Escenarios de Envenenamiento: Se probaron tres pares de triggers (ej. "caja blanca" en imagen + palabra "mignneko" en texto) bajo dos protocolos:
  • OR Poisoning: Se inyectan triggers en texto, imagen o ambos en diferentes subconjuntos de datos.
  • AND Poisoning: Se inyectan triggers en ambos modalidades simultáneamente en el mismo subconjunto.
• Ratios de Envenenamiento: 1%, 5% y 10%.

3. Contribuciones Clave

1. Identificación del Fenómeno: Son los primeros en definir y caracterizar el "Colapso de Modalidad de Puerta Trasera" en modelos de difusión multimodales, demostrando que la suposición de sinergia multimodal es frecuentemente incorrecta.
2. Nuevas Métricas de Diagnóstico: Introducen TMA y CTI como herramientas estandarizadas para descomponer granularmente los mecanismos de activación de puertas traseras, permitiendo distinguir entre ataques verdaderamente multimodales y aquellos que son, en la práctica, unimodales disfrazados.
3. Análisis Causal: Proporcionan una explicación teórica basada en el desequilibrio de optimización y la alineación imperfecta en el espacio latente. Sugieren que la modalidad de texto genera gradientes más fuertes y consistentes, lo que lleva al modelo a "cortocircuitar" el aprendizaje de la modalidad de imagen, tratando sus características como ruido redundante.

4. Resultados Principales

Los experimentos revelaron patrones consistentes y contraintuitivos a través de todas las configuraciones:

• Dominio de una Modalidad (Winner-Takes-All):

  • En casi todos los casos, el ataque colapsó hacia una dependencia casi exclusiva de la modalidad de texto.
  • Evidencia Numérica: En el escenario "White-box + mignneko" con envenenamiento OR al 5%, la atribución TMA para el texto ($\phi_T$) fue de 0.9743, mientras que para la imagen ($\phi_I$) fue de 0.0060. Esto indica que el trigger de imagen contribuyó prácticamente nada al éxito del ataque.
  • Visualmente, los modelos activaron la puerta trasera cuando el texto estaba envenenado, independientemente de si la imagen estaba limpia o envenenada.

• Interacción Negativa (Falta de Sinergia):

  • La métrica CTI fue consistentemente negativa (ej. $I = -0.0089$).
  • Esto demuestra que combinar triggers de imagen y texto no mejora el ataque; de hecho, la modalidad de imagen actúa como un subconjunto redundante de la modalidad dominante (texto). No hay ganancia complementaria.

• Descarte de la Hipótesis de "Trigger Ineficaz":

  • Se realizó un experimento de control donde se envenenó solo la imagen o solo el texto. Ambos triggers unimodales funcionaron individualmente (el texto con ASR ~99.6% y la imagen con ASR ~60-77%).
  • Esto confirma que el colapso no se debe a que el trigger de imagen sea defectuoso, sino a una dinámica de entrenamiento donde el modelo ignora la imagen en favor del texto cuando ambos están presentes.

5. Significado e Impacto

Este trabajo tiene implicaciones críticas para la seguridad de la IA:

• Punto Ciego en las Evaluaciones: Las altas tasas de éxito de ataque (ASR) en configuraciones multimodales pueden ocultar una dependencia fundamental de un solo canal (texto). Esto significa que las defensas que asumen una complejidad multimodal podrían ser insuficientes.
• Vulnerabilidad Simplificada: El colapso hace que los ataques sean más fáciles de desplegar y mantener. Un adversario solo necesita manipular la entrada de texto (que es más fácil de controlar y menos perceptible que alterar píxeles) para activar el ataque, ignorando la necesidad de inyectar triggers visuales complejos.
• Fundamento para Defensas: Al establecer que la sinergia multimodal es a menudo una ilusión en el contexto de backdoors, el trabajo sienta las bases para desarrollar defensas que se centren en la detección de la dependencia excesiva de una sola modalidad y en la regularización de la optimización para forzar una integración genuina de todas las entradas.

En resumen, el paper demuestra que en los modelos de difusión multimodales, "uno domina a todos": la modalidad de texto tiende a anular la contribución de la imagen en los ataques de puerta trasera, desafiando la noción de que la multimodalidad inherentemente aumenta la robustez o la complejidad de los ataques.