Resumen Técnico: De Entradas Inaudibles a Fallos del Modelo

Declaración del Problema

Los Grandes Modelos de Lenguaje y Audio (LALM, por sus siglas en inglés) integran la percepción acústica con el razonamiento lingüístico, creando una superficie de entrada definida por formas de onda físicas en lugar de solo la percepción humana. Este artículo identifica una brecha de seguridad crítica: las señales de baja frecuencia (específicamente en el rango de 0–20 Hz, incluyendo el infrasonido) son inaudibles para los humanos, pero pueden ser capturadas por micrófonos estándar y procesadas por los LALM. Mientras que trabajos previos han explorado el audio adversarial y la corrupción acústica, el riesgo específico planteado por señales físicas de baja frecuencia fijas que permanecen imperceptibles para los usuarios, pero que interrumpen el comportamiento del modelo, ha sido poco explorado. Los autores argumentan que esto crea un "desajuste de la frontera de percepción", donde el modelo recibe evidencia acústica (la superposición de la voz y la interferencia) que el usuario humano no puede percibir, lo que potencialmente conduce a fallos de disponibilidad, transcripciones incorrectas o una comprensión semántica defectuosa.

Metodología

1. Modelo de Amenaza

El estudio asume que un adversario emite una forma de onda de baja frecuencia que se superpone físicamente con el habla del usuario en el aire antes de ser capturada por el micrófono objetivo. El ataque es de caja negra y universal: el adversario construye una única forma de onda offline utilizando un corpus de referencia y un LALM de referencia, sin consultar al modelo objetivo ni adaptarse a las locuciones de prueba específicas. Esta forma de onda se despliega entonces para atacar diversos LALM y tareas.

2. Bloqueo Intermitente de Baja Frecuencia (ILL)

Los autores proponen el ILL, un método de red-teaming diseñado para evaluar este riesgo utilizando una plantilla de forma de onda universal. El ILL consta de dos módulos principales:

• Estimación de la Escala de Atención de la Oración: Este módulo analiza los mapas de autoatención de un LALM de referencia para identificar los "intervalos activos" donde el modelo se enfoca en el procesamiento semántico continuo. Al promediar las matrices de atención a través de capas y cabezales, el método deriva una duración a nivel de corpus ($L_{on}$) que se alinea con los lapsos semánticos típicos. Esto determina el cronograma de las fases activa e inactiva del ataque (ciclo de trabajo $\gamma$).
• Transferencia de Confusión de Frecuencia: Para perturbar la percepción de la semántica del habla del modelo, este módulo mapea la variación espectral del corpus de referencia en una secuencia de estado de baja frecuencia. Cuantiza el centroide espectral del corpus en $n$ estados y utiliza estadísticas de transición para generar una forma de onda de baja frecuencia de fase continua y envolvente suave ($\delta_{on}$). Esta forma de onda se sintetiza con una amplitud específica ($\beta$) y se repite según el cronograma derivado del análisis de atención.

3. Guardia de Reconsulta Distribucional (DRG)

Para mitigar el riesgo identificado, los autores proponen el DRG, un filtro de entrada complementario que opera antes de la inferencia del LALM:

• Detección: El DRG construye un conjunto de entrenamiento de grabaciones limpias e interferidas (con interferencia de baja frecuencia). Extrae descriptores espectrales (magnitudes de STFT normalizadas a través de los bins de frecuencia) y los agrupa mediante K-means. El grupo con mayor energía en el rango de baja frecuencia se etiqueta como el "grupo de interferencia".
• Reconsulta Condicional: Durante el despliegue, si la grabación inicial de un usuario se clasifica como perteneciente al grupo de interferencia, el sistema solicita una segunda grabación independiente de la misma locución.
• Recuperación: Se instruye al LALM objetivo para que compare ambas grabaciones y genere una respuesta basada únicamente en el contenido que sea consistente e inteligible en ambos pares, filtrando así la interferencia transitoria o persistente.

Resultados Clave

Efectividad del Ataque

Evaluado a través de seis LALM (MiniCPM, StepAudio2, Qwen2.5, Qwen3, GPT, Gemini) y múltiples tareas (ASR, Traducción, Audio QA, Clasificación de Emociones), el ILL demostró una interrupción significativa:

• Degradación del Rendimiento: El ILL redujo la precisión hasta en 67 puntos porcentuales en el modelo StepAudio2 para la tarea de clasificación de emociones RAVDESS. A través de los seis modelos, la precisión media bajo ataque cayó al 28.5% (desde una línea base limpia de 46.1% o superior, dependiendo del promedio de modelo/tarea específico), indicando una vulnerabilidad severa.
• Transferibilidad: La forma de onda fija, construida usando Qwen2.5, degradó con éxito el rendimiento de todos los demás modelos objetivo, incluidos los sistemas de código cerrado, sin optimización específica del objetivo.
• Sigilo:
  • Relación de Ruido Audible (ANR): El ILL tuvo un ANR de solo 0.06–0.08%, lo que significa que la energía filtrada hacia la banda audible (20 Hz–8 kHz) fue insignificante, comparado con >98% para otros métodos de base como el ruido Gaussiano o PNL.
  • Percepción Humana: En evaluaciones humanas (112 participantes), el ILL recibió una calificación de audibilidad media de 1.33 (en una escala de 1 a 7), estadísticamente indistinguible del audio limpio (1.17). En contraste, otros métodos de ataque recibieron calificaciones significativamente más altas (por ejemplo, 3.75–3.92).

Desempeño de la Defensa

• Detección: El DRG logró puntuaciones F1 entre el 89.69% y el 99.00% en la detección de cambios de distribución de baja frecuencia.
• Recuperación: Cuando se disponía de una segunda grabación limpia, el DRG elevó la precisión media atacada del 28.5% al 46.1%. El mecanismo también mostró transferibilidad, recuperando el rendimiento bajo otras perturbaciones de ruido y tipos de ataque (Gaussiano, PNL, Audio-Adv, Whisper).
• Utilidad Benigna: Cuando se forzaba la reconsulta en entradas limpias, el DRG causó una degradación mínima del rendimiento (cambios dentro de 0.03 de la inferencia estándar en la mayoría de los casos).

Análisis Mecanístico

El análisis interno reveló que el éxito del ILL está vinculado a:

1. Reducción de la Atención: El ataque redujo significativamente la masa de atención asignada a los tokens de audio (por ejemplo, de 0.0416 a 0.0373 en MMAU).
2. Desplazamiento de Representación: La similitud de coseno entre las representaciones codificadas limpias y atacadas cayó significamente (por ejemplo, de 1.0 a 0.63 en RAVDESS).
3. Degradación de la Confianza: La probabilidad asignada a la respuesta correcta cayó drásticamente (por ejemplo, de 0.805 a 0.170 en MMAU), indicando un cambio en el proceso de toma de decisiones interno del modelo.

Significancia y Reivindicaciones

El artículo afirma identificar un riesgo de seguridad previamente pasado por alto: las entradas de baja frecuencia inaudibles como un canal oculto para interrumpir los LALM.

• Novedad: A diferencia de los ataques adversarios previos que dependen de perturbaciones de alta frecuencia o manipulación semántica, este trabajo demuestra que una señal física de baja frecuencia fija puede causar una degradación amplia en diversos modelos y tareas, permaneciendo imperceptible para los humanos.
• Contribución Metodológica: La introducción del ILL proporciona un marco de red-teaming de caja negra para evaluar este riesgo específico, mientras que el DRG ofrece una estrategia de mitigación ligera basada en la detección que no requiere el reentrenamiento del LALM.
• Implicaciones de Seguridad: Los hallazgos sugieren que los LALM actuales son vulnerables a ataques de "disponibilidad" donde el comportamiento del modelo diverge de la percepción del usuario. Los autores enfatizan que este riesgo es distinto de los jailbreaks semánticos, ya que explota las propiedades físicas del frontend de audio.
• Limitaciones: Los autores declaran explícitamente que sus experimentos simulan la recepción de un micrófono y no validan el despliegue en campo en entornos no controlados. Reconocen que la viabilidad física depende de la potencia de la fuente y las condiciones de propagación, y no proporcionan configuraciones de dispositivos específicos para emitir tales señales. El trabajo prioriza la identificación del riesgo y la demostración de una defensa preliminar en lugar de establecer un mecanismo causal completo o permitir la explotación en el mundo real.