Hijacking Large Audio-Language Models via Context-Agnostic and Imperceptible Auditory Prompt Injection

1. Problema y Motivación

Los Modelos Grandes de Audio-Lenguaje (LALMs) han integrado la modalidad de audio en los Grandes Modelos de Lenguaje (LLMs), permitiendo interacciones de voz naturales y el uso de herramientas (como ejecutar comandos o buscar en la web). Sin embargo, esta integración expande la superficie de ataque más allá del texto, introduciendo vulnerabilidades en el canal de audio continuo y de alta dimensión.

Aunque existen investigaciones sobre "jailbreaks" de audio (donde el atacante actúa como usuario y controla todo el input), el riesgo de la inyección de prompts auditivos por parte de un tercero sigue siendo poco explorado.

• Escenario de Amenaza: Un adversario externo (tercer partido) tiene acceso solo a los datos de audio que el usuario envía al modelo, pero no controla las instrucciones del usuario (texto o voz).
• Objetivo: El atacante desea manipular el comportamiento del modelo de forma encubierta para que ejecute acciones no autorizadas (ej. descargar archivos maliciosos, enviar correos, ignorar instrucciones de seguridad) sin que el usuario se dé cuenta.
• Desafíos Principales:
  1. Heterogeneidad Arquitectónica: Los LALMs utilizan esquemas de integración diversos (tokens discretos, características continuas o híbridos), lo que dificulta crear un ataque universal.
  2. Opacidad del Contexto: El atacante no conoce las instrucciones del usuario en tiempo real, por lo que el ataque debe generalizarse a contextos desconocidos.
  3. Sigilo Perceptual: El audio inyectado debe ser imperceptible para el oído humano, ya que el ataque ocurre en presencia del usuario.

2. Metodología: AudioHijack

Los autores proponen AudioHijack, un marco de trabajo general para generar audio adversario que sea contextualmente agnóstico (funciona con cualquier instrucción del usuario) e imperceptible. La metodología aborda tres desafíos técnicos clave:

A. Estimación de Gradientes Basada en Muestreo (Para Tokenización Discreta)

Muchos LALMs convierten el audio en tokens discretos mediante cuantización vectorial (VQ), un proceso no diferenciable que bloquea la retropropagación de gradientes estándar.

• Solución: Se propone un método de estimación de gradientes basado en muestreo (usando la distribución Gumbel-Softmax). Esto reemplaza la selección dura de tokens por operaciones de muestreo probabilístico diferenciables, permitiendo la optimización adversaria de extremo a extremo incluso en modelos con tokenización discreta.

B. Generalización de Contexto Guiada por Atención

Los modelos tienden a prestar más atención al contexto del usuario que al audio adversario, lo que limita la transferencia del ataque a nuevos contextos.

• Solución: Se combina un entrenamiento con múltiples contextos (EoT - Expectation over Transformation) con una supervisión explícita de la atención.
  • Se añade una función de pérdida de atención ($L_{att}$) que fuerza al modelo a asignar un peso mínimo de atención al audio adversario, independientemente de lo que diga el usuario.
  • Esto redirige la atención del modelo hacia el audio malicioso, asegurando que las instrucciones inyectadas se procesen como si fueran legítimas.

C. Mezcla de Perturbaciones Convolucionales (Para Sigilo)

Las perturbaciones aditivas tradicionales suelen ser detectables como ruido electrónico.

• Solución: En lugar de sumar ruido, se utiliza una convolución con kernels aprendibles que simulan la respuesta al impulso de una habitación (reverberación natural).
  • El audio benigno se divide en marcos cortos y se convoluciona con estos kernels.
  • Se aplica suavizado de bordes y normalización de energía.
  • Resultado: Las perturbaciones se redistribuyen en el tiempo y la frecuencia, imitando la reverberación natural del entorno, lo que hace que el audio adversario sea indistinguible del audio benigno para el oído humano.

3. Contribuciones Clave

1. Primer Ataque Sistemático: Presentan el primer estudio práctico de inyección de prompts auditivos indirectos contra LALMs bajo restricciones de acceso solo a datos y sigilo perceptual.
2. Marco General (AudioHijack): Un framework que funciona en arquitecturas heterogéneas (discretas, continuas, híbridas) y es robusto frente a variaciones en el contexto del usuario.
3. Evaluación Exhaustiva: Demostración de éxito en 13 LALMs de última generación (incluyendo Kimi-Audio, Qwen2-Audio, GLM-4-Voice, Gemma-3n, etc.) y en agentes de voz comerciales (Mistral AI, Microsoft Azure).
4. Responsabilidad: Se han reportado las vulnerabilidades a los proveedores (Mistral, Microsoft) y se han liberado los códigos y datos para la comunidad de seguridad.

4. Resultados Experimentales

Efectividad del Ataque

• Tasa de Éxito: AudioHijack logró tasas de éxito promedio entre 79% y 96% en contextos de usuario no vistos.
• Categorías de Comportamiento Malicioso: El ataque indujo con éxito seis tipos de comportamientos erróneos:
  1. Ceguera auditiva (el modelo ignora el audio).
  2. Rechazo de prompts (el modelo rechaza peticiones benignas).
  3. Difusión de desinformación.
  4. Entrega de phishing (inyección de enlaces maliciosos).
  5. Control de personalidad (cambio de identidad del modelo).
  6. Mal uso de herramientas: Ejecución no autorizada de búsquedas web, descargas de archivos y envío de correos electrónicos.
• Agentes Comerciales: El ataque fue transferido exitosamente a agentes comerciales de Azure y Mistral, logrando que ejecutaran llamadas a herramientas no autorizadas.

Sigilo Perceptual

• Métricas: El audio adversario logró una relación señal-ruido (SNR) superior a 28.6 dB y una distancia cepstral (MCD) inferior a 4.2.
• Calidad: En portadores de voz, la calidad perceptual (PESQ) alcanzó 3.16.
• Comparación: La mezcla convolucional superó significativamente a los métodos aditivos (L∞ y L2), siendo indistinguible de la reverberación natural en análisis espectrales.

Análisis de Factores

• El ataque es robusto incluso con conjuntos de datos auxiliares pequeños (20-50 contextos) y duraciones de portador cortas (10 segundos).
• La inyección de atención guiada demostró ser crucial para mantener altas tasas de éxito en contextos desconocidos.

5. Contramedidas y Futuro

Los autores evaluaron varias defensas existentes:

• Defensas de Prompt/Respuesta: Las técnicas de "in-context learning" y "auto-reflexión" resultaron ineficaces, ya que el audio adversario manipula la atención interna del modelo antes de que se genere la respuesta.
• Detección de Logits: La divergencia de logits mostró un rendimiento limitado (AUC 0.71-0.85) y altas tasas de error.
• Detección de Desviación de Atención: La única defensa prometedora fue analizar las desviaciones en los pesos de atención del modelo. Un clasificador SVM basado en PCA de los pesos de atención logró una precisión del 98% y un recall del 93%. Sin embargo, existe un compromiso (trade-off): si el atacante reduce la fuerza de la manipulación de la atención para evadir la detección, la efectividad del ataque disminuye.

6. Significado e Impacto

Este trabajo revela una vulnerabilidad crítica fundamental en la integración de audio y texto en los LLMs. Demuestra que un adversario externo puede tomar el control de asistentes de voz avanzados y ejecutar acciones dañinas sin que el usuario sea consciente, simplemente manipulando los datos de audio que el usuario sube o transmite.

El estudio subraya la necesidad urgente de:

1. Desarrollar defensas específicas para el dominio de audio que vayan más allá de la seguridad del texto.
2. Implementar mecanismos de monitoreo de la atención interna del modelo para detectar inyecciones de prompts.
3. Considerar el riesgo de seguridad en la implementación de agentes de voz en dispositivos de borde (móviles, altavoces inteligentes) donde la interacción con el mundo físico es directa.

En resumen, AudioHijack establece un nuevo paradigma de amenaza para la IA multimodal, demostrando que la seguridad de los LALMs no puede depender únicamente de la alineación de texto, sino que debe abordar la integridad del canal de audio.