Resumen Técnico: SOUNDBREAK

Definición del Problema

Los modelos fundacionales multimodales que integran audio, visión y lenguaje han demostrado capacidades de razonamiento sólidas, sin embargo, su robustez frente a la manipulación adversarial sigue siendo insuficientemente comprendida. Mientras que la investigación previa ha explorado extensamente los ataques de lenguaje-visión, los ataques de audio unimodales y los ataques coordinados multimodales, existe una brecha significativa en la comprensión de los ataques adversariales no dirigidos y puramente de audio en modelos trimodales (audio-video-lenguaje).

El modelo de amenaza específico investigado en este trabajo asume un atacante que controla únicamente el canal de audio dentro de un flujo de entrada multimodal. El atacante busca degradar el rendimiento del razonamiento del modelo sin modificar las entradas visuales o textuales. Este escenario se considera realista porque la manipulación de audio puede desplegarse mediante micrófonos comprometidos, altavoces ambientales o canales de transmisión, y suele ser más difícil de detectar que las perturbaciones visuales.

Metodología

Los autores proponen SOUNDBREAK, un marco sistemático para generar perturbaciones de audio compartidas (aprendidas sobre los datos de entrenamiento en lugar de por muestra) para inducir fallos multimodales. El ataque se formula como un problema de optimización de caja blanca donde una perturbación aditiva $\delta$ se inyecta en la forma de onda de audio limpia $x_a$ para producir $\tilde{x}_a = x_a + \delta$, sujeto a una restricción de norma $\ell_\infty$ ($\|\delta\|_\infty \leq \epsilon$).

La contribución central es el diseño de seis objetivos adversariales complementarios que apuntan a diferentes etapas del proceso de procesamiento multimodal:

1. Pérdida de Modelado de Lenguaje Negativo ($L_{negLM}$): Reduce directamente la confianza del modelo en la respuesta correcta mediante la minimización de la probabilidad logarítmica de la secuencia de salida correcta.
2. Pérdida de Similitud de Coseno basada en el Codificador ($L_{(cos)}$): Apunta al espacio de representación del codificador de audio, minimizando la similitud de coseno entre los embeddings de audio limpio y perturbado para corromper las características fundamentales del audio.
3. Pérdida de Supresión de Atención Visual ($L_{(visionatt)}$): Agrega la masa de atención asignada a los tokens de visión y la minimiza, "cegando" efectivamente al modelo ante la evidencia visual.
4. Pérdida de Amplificación de Atención de Audio ($L_{(audioatt)}$): Agrega la masa de atención asignada a los tokens de audio y la maximiza (mediante la minimización del negativo), forzando al modelo a depender excesivamente del flujo de audio perturbado.
5. Pérdida de Aleatorización de la Atención ($L_{(randatt)}$): Disrumpe la integridad estructural de los mecanismos de atención al minimizar la divergencia KL entre las distribuciones de atención reales y los objetivos aleatorios.
6. Pérdida de Similitud de Estado Oculto ($L_{(hidden-cos)}$): Apunta a los estados ocultos internos de los transformadores a través de las capas, alejando las representaciones adversariales de sus contrapartes limpias.

También se evalúa una Formulación de Pérdida Combinada ($L_{combined}$), que optimiza conjuntamente los seis objetivos. La optimización utiliza el Descenso de Gradiente Proyectado (PGD) con Adam, iterando sobre el conjunto de datos de entrenamiento para aprender una perturbación compartida.

Contribuciones Clave

1. Nuevo Modelo de Amenaza: El estudio es el primero en analizar sistemáticamente ataques de audio únicamente, no dirigidos, en modelos trimodales de audio-video-lenguaje, yendo más allá de los entornos unimodales o bimodales.
2. Objetivos de Ataque de Múltiples Etapas: La propuesta de seis funciones de pérdida distintas que sondean las vulnerabilidades en los niveles de codificador, atención, estado oculto y salida, permitiendo el desentrañamiento de qué componentes computacionales son más susceptibles.
3. Evaluación Sistemática: Experimentos extensos realizados en tres modelos de vanguardia (VideoLLAMA2, Qwen 2.5 Omni, Qwen 3 Omni) y tres benchmarks (AVQA, AVSD, Music-AVQA), junto con evaluaciones en sistemas de reconocimiento de voz (Whisper).

Resultados Experimentales

El estudio revela varios hallazgos críticos respecto a la robustez de los modelos trimodales:

• Altas Tasas de Éxito de Ataque (ASR): Las perturbaciones de solo audio pueden inducir fallos multimodales severos. El ataque combinado logró una ASR del 96.03% en el benchmark AVQA usando VideoLLAMA2. La pérdida de similitud de coseno basada en el codificador ($L_{(cos)}$) por sí sola alcanzó una ASR del 89.12%, superando a los objetivos de nivel de salida y basados en la atención en muchos casos.
• Baja Distorsión Perceptual: Se pueden lograr ataques altamente efectivos con una distorsión perceptual mínima. Los ataques exitosos mantuvieron puntuaciones LPIPS bajas (por ejemplo, $0.08$ para $L_{(cos)}$) y valores SI-SNR cercanos a cero o positivos, lo que indica que las perturbaciones son sutiles y estructuradas en lugar de ruidosas.
• Optimización vs. Escala de Datos: La efectividad del ataque está impulsada más por las iteraciones de optimización extendidas que por el tamaño del conjunto de datos. Los modelos entrenados en conjuntos de datos más pequeños (por ejemplo, 1,000 muestras) pero optimizados durante muchas iteraciones (por ejemplo, 372k) lograron una ASR significativamente mayor que aquellos entrenados en conjuntos de datos más grandes con menos iteraciones.
• Transferibilidad Limitada:
  • Entre Modelos: Los ataques entrenados en una arquitectura (por ejemplo, VideoLLAMA2) mostraron una baja transferibilidad a otras (por ejemplo, Qwen 2.5/3 Omni), con una ASR que cayó de ~10% a ~3-4%. Esto sugiere que los ataques explotan características representacionales específicas del modelo.
  • Entre Dominios: Los ataques entrenados en datos de audio-visuales generales (AVQA) se transfirieron mal al dominio musical (Music-AVQA), logrando solo un 13.80% de ASR en comparación con el 89.07% en el dominio de origen.
  • Entre Arquitecturas: Las perturbaciones en el espacio del codificador no se transfirieron entre diferentes arquitecturas de codificadores de audio (por ejemplo, BEATs vs. codificadores tipo Whisper).
• Vulnerabilidad del Reconocimiento de Voz: A diferencia de los modelos trimodales, los sistemas de reconocimiento de voz (Whisper) respondieron principalmente a la magnitud de la distorsión acústica en lugar de a objetivos de ataque específicos. Los ataques que inducen alta distorsión (como $L_{negLM}$) lograron >97% de ASR en Whisper, mientras que los ataques de baja distorsión fallaron.
• Vulnerabilidades Específicas de Capa: Se identificó que las capas inferiores del transformador (1–10) son las más críticas para los ataques impulsados por audio, mientras que las capas superiores mostraron una vulnerabilidad consistentemente baja.
• Estabilidad de la Confianza: A pesar de la alta ASR, el modelo mantuvo una alta confianza en sus salidas (incorrectas) adversariales, con niveles de confianza similares a las entradas limpias. Esto sugiere que los fallos adversariales surgen de un desalineamiento interno en lugar de la incertidumbre del modelo, lo que los hace difíciles de detectar mediante el monitoreo de la confianza.

Significado y Reivindicaciones

El artículo afirma exponer una superficie de ataque de un solo modo previamente pasada por alto en sistemas multimodales. Los resultados demuestran que un atacante que controla únicamente el flujo de audio puede degradar sistemáticamente el razonamiento multimodal sin alterar las entradas visuales o textuales.

Los autores enfatizan que estos hallazgos motivan la necesidad de defensas que impongan la consistencia cross-modal, ya que los modelos actuales son vulnerables a perturbaciones de audio sutiles y estructuradas que se propagan a través del sistema para causar fallos de razonamiento catastróficos. El estudio destaca que la robustez no puede asumirse simplemente porque un modelo integra múltiples modalidades; se deben abordar las vulnerabilidades específicas en los mecanismos de codificación de audio y de atención cross-modal.

El trabajo se presenta como un paso fundacional hacia la comprensión de estas vulnerabilidades, con los autores señalando limitaciones tales como el enfoque en entornos de caja blanca, perturbaciones puramente digitales y la falta de defensas evaluadas, sugiriendo estas como direcciones para la investigación futura.