Resumo Técnico: De Entradas Inaudíveis a Falhas de Modelo

Definição do Problema

Grandes Modelos de Áudio-Linguagem (LALMs) integram percepção acústica com raciocínio linguístico, criando uma superfície de entrada definida por formas de onda físicas em vez de apenas pela percepção humana. Este artigo identifica uma lacuna crítica de segurança: sinais de baixa frequência (especificamente na faixa de 0–20 Hz, incluindo infrassom) são inaudíveis para humanos, mas podem ser capturados por microfones padrão e processados por LALMs. Embora trabalhos anteriores tenham explorado áudio adversarial e corrupção acústica, o risco específico posed por sinais físicos de baixa frequência fixos, que permanecem imperceptíveis aos usuários, mas perturbam o comportamento do modelo, permaneceu subexplorado. Os autores argumentam que isso cria um "descompasso de fronteira de percepção", onde o modelo recebe evidência acústica (a superposição de fala e interferência) que o usuário humano não consegue perceber, potencialmente levando a falhas de disponibilidade, transcrições incorretas ou compreensão semântica falha.

Metodologia

1. Modelo de Ameaça

O estudo assume que um adversário emite uma forma de onda de baixa frequência que se sobrepõe fisicamente à fala de um usuário no ar antes de ser capturada pelo microfone alvo. O ataque é black-box (caixa-preta) e universal: o adversário constrói uma única forma de onda offline usando um corpus de referência e um LALM de referência, sem consultar o modelo alvo ou se adaptar a enunciados de teste específicos. Esta forma de onda é então implantada para atacar vários LALMs e tarefas.

2. Bloqueio Intermitente de Baixa Frequência (ILL)

Os autores propõem o ILL, um método de red-teaming projetado para avaliar este risco usando um template de forma de onda universal. O ILL consiste em dois módulos principais:

• Estimativa de Escala de Atenção de Sentença: Este módulo analisa os mapas de autoatenção de um LALM de referência para identificar "intervalos ativos" onde o modelo foca no processamento semântico contínuo. Ao calcular a média das matrizes de atenção através de camadas e cabeças, o método deriva uma duração a nível de corpus ($L_{on}$) que se alinha com extensões semânticas típicas. Isso determina o cronograma das fases ativa e inativa do ataque (ciclo de trabalho $\gamma$).
• Transferência de Confusão de Frequência: Para perturbar a percepção de semântica de fala do modelo, este módulo mapeia a variação espectral do corpus de referência em uma sequência de estado de baixa frequência. Ele quantiza o centroide espectral do corpus em $n$ estados e usa estatísticas de transição para gerar uma forma de onda de baixa frequência de fase contínua e envelope suave ($\delta_{on}$). Esta forma de onda é sintetizada com uma amplitude específica ($\beta$) e repetida de acordo com o cronograma derivado da análise de atenção.

3. Guarda de Reconsulta Distribuicional (DRG)

Para mitigar o risco identificado, os autores propõem o DRG, um filtro de entrada plug-in que opera antes da inferência do LALM:

• Detecção: O DRG constrói um conjunto de treinamento de gravações limpas e com interferência (jammed) de baixa frequência. Ele extrai descritores espectrais (magnitudes STFT normalizadas entre os bins de frequência) e os agrupa usando K-means. O cluster com maior energia na faixa de baixa frequência é rotulado como o "cluster de interferência".
• Reconsulta Condicional: Durante a implantação, se a gravação inicial de um usuário for classificada como pertencente ao cluster de interferência, o sistema solicita uma segunda gravação independente do mesmo enunciado.
• Recuperação: O LALM alvo é instruído a comparar ambas as gravações e gerar uma resposta baseada apenas no conteúdo que é consistente e inteligível entre o par, filtrando efetivamente a interferência transitória ou persistente.

Principais Resultados

Eficácia do Ataque

Avaliado em seis LALMs (MiniCPM, StepAudio2, Qwen2.5, Qwen3, GPT, Gemini) e múltiplas tarefas (ASR, Tradução, Audio QA, Classificação de Emoção), o ILL demonstrou uma interrupção significativa:

• Degradação de Desempenho: O ILL reduziu a precisão em até 67 pontos percentuais no modelo StepAudio2 para a tarefa de classificação de emoção RAVDESS. Entre os seis modelos, a precisão média sob ataque caiu para 28,5% (de uma linha de base limpa de 46,1% ou superior, dependendo da média específica de modelo/tarefa), indicando uma vulnerabilidade severa.
• Transferibilidade: A forma de onda fixa, construída usando o Qwen2.5, degradou com sucesso o desempenho de todos os outros modelos alvo, incluindo sistemas de código fechado, sem otimização específica do alvo.
• Sigilo (Stealthiness):
  • Razão de Ruído Audível (ANR): O ILL teve um ANR de apenas 0,06–0,08%, o que significa que a energia vazada para a banda audível (20 Hz–8 kHz) foi negligenciável, comparado a >98% para outros baselines como ruído Gaussiano ou PNL.
  • Percepção Humana: Em avaliações humanas (112 participantes), o ILL recebeu uma classificação média de audibilidade de 1,33 (em uma escala de 1 a 7), estatisticamente indistinguível do áudio limpo (1,17). Em contraste, outros métodos de ataque receberam classificações significativamente mais altas (ex: 3,75–3,92).

Desempenho da Defesa

• Detecção: O DRG alcançou pontuações F1 entre 89,69% e 99,00% na detecção de desvios de distribuição de baixa frequência.
• Recuperação: Quando uma segunda gravação limpa estava disponível, o DRG elevou a precisão média atacada de 28,5% para 46,1%. O mecanismo também mostrou transferibilidade, recuperando o desempenho sob outras perturbações de ruído e tipos de ataque (Gaussiano, PNL, Audio-Adv, Whisper).
• Utilidade Benigna: Quando forçado a realizar a reconsulta em entradas limpas, o DRG causou uma degradação mínima de desempenho (mudanças dentro de 0,03 da inferência padrão na maioria dos casos).

Análise Mecanística

A análise interna revelou que o sucesso do ILL está ligado a:

1. Redução de Atenção: O ataque reduziu significativamente a massa de atenção atribuída aos tokens de áudio (ex: de 0,0416 para 0,0373 no MMAU).
2. Mudança de Representação: A similaridade de cosseno entre as representações codificadas limpas e atacadas caiu significativamente (ex: de 1,0 para 0,63 no RAVDESS).
3. Degradação de Confiança: A probabilidade atribuída à resposta correta despencou (ex: de 0,805 para 0,170 no MMAU), indicando uma mudança no processo de tomada de decisão interna do modelo.

Significância e Alegações

O artigo afirma identificar um risco de segurança anteriormente negligenciado: entradas de baixa frequência inaudíveis como um canal oculto para interromper LALMs.

• Novidade: Diferente de ataques adversariais anteriores que dependem de perturbações de alta frequência ou manipulação semântica, este trabalho demonstra que uma forma de onda física de baixa frequência fixa pode causar uma degradação ampla em diversos modelos e tarefas, permanecendo imperceptível para humanos.
• Contribuição Metodológica: A introdução do ILL fornece um framework de red-teaming black-box para avaliar este risco específico, enquanto o DRG oferece uma estratégia de mitigação leve baseada em detecção que não requer o retreinamento do LALM.
• Implicações de Segurança: As descobertas sugerem que os atuais LALMs são vulneráveis a ataques de "disponibilidade", onde o comportamento do modelo diverge da percepção do usuário. Os autores enfatem que este risco é distinto de jailbreaks semânticos, pois explora as propriedades físicas do frontend de áudio.
• Limitações: Os autores declaram explicitamente que seus experimentos simulam a recepção de microfone e não validam a implantação em campo em ambientes não controlados. Eles reconhecem que a viabilidade física depende da potência da fonte e das condições de propagação, e não fornecem configurações específicas de dispositivos para emitir tais sinais. O trabalho prioriza a identificação do risco e a demonstração de uma defesa preliminar, em vez de estabelecer um mecanismo causal completo ou permitir a exploração no mundo real.