Hijacking Large Audio-Language Models via Context-Agnostic and Imperceptible Auditory Prompt Injection

Título: Sequestro de Grandes Modelos de Áudio-Linguagem via Injeção de Prompt Auditivo Contexto-Agnóstico e Imperceptível

1. O Problema

Os Grandes Modelos de Áudio-Linguagem (LALMs) representam uma evolução paradigmática na interação humano-computador, integrando compreensão e geração de áudio e texto em um único framework. No entanto, essa integração expande a superfície de ataque para além do texto, introduzindo vulnerabilidades no canal de áudio contínuo e de alta dimensão.

O artigo identifica uma ameaça subexplorada: a injeção de prompt auditivo por um adversário de terceiros. Diferente dos ataques de "jailbreak" tradicionais (onde o adversário controla toda a entrada), neste cenário:

• O adversário tem acesso apenas aos dados de áudio (ex: um arquivo de áudio malicioso enviado pelo usuário ou um som ambiente).
• O adversário não controla as instruções do usuário (texto ou fala).
• O ataque deve ser imperceptível ao ouvido humano, ocorrendo na presença do usuário sem alertá-lo.
• O objetivo é sequestrar o comportamento do modelo para executar ações não autorizadas (como uso indevido de ferramentas, disseminação de desinformação ou phishing) de forma oculta.

A literatura anterior focou em jailbreaks diretos ou perturbações perceptíveis, deixando a viabilidade e o impacto de injeções sutis e generalizáveis em LALMs modernos como uma questão em aberto.

2. Metodologia: O Framework AudioHijack

Para abordar os desafios de gradientes não diferenciáveis, sensibilidade ao contexto e restrições de sigilo perceptual, os autores propõem o AudioHijack, um framework de ataque geral composto por três componentes principais:

• A. Estimação de Gradiente Baseada em Amostragem (Sampling-based Gradient Estimation):

  • Desafio: Muitos LALMs utilizam tokenização de áudio discreta (quantização vetorial), que é uma operação não diferenciável, bloqueando a retropropagação de gradientes padrão.
  • Solução: O framework substitui a seleção rígida de tokens por operações de amostragem diferenciáveis (usando a distribuição Gumbel-Softmax). Isso permite a otimização adversarial end-to-end mesmo em modelos com tokenização discreta ou híbrida, contornando o bloqueio de gradientes.

• B. Generalização de Contexto Guiada por Atenção (Attention-guided Context Generalization):

  • Desafio: O adversário não conhece o contexto do usuário (instruções de fala ou texto) durante o treinamento. LALMs são altamente sensíveis ao contexto, e o áudio adversário pode ser ignorado se competir com instruções do usuário.
  • Solução: O método combina:
    1. Treinamento Multi-Contexto: Otimização sobre um conjunto de instruções auxiliares variadas para forçar a generalização.
    2. Supervisão de Atenção Explícita: Adição de uma função de perda que força o modelo a atribuir pesos de atenção mais altos ao áudio adversário e menos ao contexto do usuário, garantindo que a injeção funcione em cenários não vistos.

• C. Mistura de Perturbação Convolucional (Convolutional Perturbation Blending):

  • Desafio: Adicionar ruído diretamente ao áudio (métodos aditivos) é facilmente detectável pelo ouvido humano e por filtros de segurança.
  • Solução: Em vez de adição simples, o framework convolve o áudio benigno com kernels curtos e aprendíveis, simulando efeitos de reverberação natural (semelhante a uma resposta de impulso de sala - RIR).
  • Resultado: A perturbação é redistribuída no tempo e na frequência, tornando-se indistinguível de um áudio naturalmente reverberado, mantendo alta fidelidade acústica e sigilo.

3. Contribuições Principais

1. Primeiro Estudo Sistemático: Apresenta o primeiro ataque prático e sistemático de injeção de prompt auditivo contra LALMs sob restrições de acesso a dados e sigilo perceptual.
2. Framework Geral (AudioHijack): Desenvolve uma metodologia robusta que funciona em diversas arquiteturas (tokenização discreta, contínua e híbrida) e escala, superando a barreira da tokenização não diferenciável.
3. Eficácia em Cenários Reais: Demonstra que o ataque pode ser transferido de modelos locais para agentes de voz comerciais (Mistral AI e Microsoft Azure), induzindo ações não autorizadas.
4. Análise de Defesa: Avalia e demonstra a ineficácia de defesas atuais (como in-context learning e detecção baseada em logits) e propõe uma nova linha de defesa baseada na detecção de desvios na atenção do modelo.

4. Resultados Experimentais

Os autores avaliaram o AudioHijack em 13 LALMs de última geração (incluindo Kimi-Audio, Qwen2-Audio, GLM-4-Voice, Gemma-3n, etc.) e três agentes de voz comerciais.

• Taxas de Sucesso: O ataque alcançou taxas de sucesso médias (BMSR - Behavior Match Success Rate) entre 79% e 96% em contextos de usuário não vistos, cobrindo 6 categorias de mau comportamento (cegueira auditiva, recusa de prompt, desinformação, phishing, controle de persona e uso indevido de ferramentas).
• Uso de Ferramentas: Em modelos com capacidade de uso de ferramentas, o ataque induziu com sucesso chamadas de ferramentas não autorizadas (ex: buscar na web, baixar arquivos maliciosos, enviar e-mails com dados do usuário) com alta precisão sintática.
• Sigilo Perceptual: A técnica de mistura convolucional resultou em:
  • Alta Relação Sinal-Ruído (SNR > 28.6 dB).
  • Baixa Distância Cepstral Mel (MCD < 4.2).
  • Pontuações PESQ (qualidade perceptiva) superiores a 3.16 para vozes, tornando o áudio adversário quase indistinguível do original para humanos.
• Transferência: O ataque treinado em modelos de código aberto transferiu-se com sucesso para agentes comerciais (Phi-4-Multimodal-instruct, Voxtral), confirmando a ameaça prática.

5. Significado e Implicações

• Vulnerabilidade Crítica: O trabalho expõe falhas fundamentais na integração áudio-texto, mostrando que a segurança baseada apenas em alinhamento de texto é insuficiente. O áudio pode ser usado para "enganar" o modelo a interpretar dados como instruções.
• Risco de Segurança no Mundo Real: A capacidade de induzir agentes comerciais a executar ações não autorizadas (como exfiltrar dados ou baixar malware) representa um risco de segurança cibernética significativo para assistentes de voz, reuniões online e dispositivos IoT.
• Direção para Defesas: As defesas tradicionais falharam. O artigo sugere que a defesa eficaz requer monitoramento profundo dos mecanismos internos do modelo, especificamente a dinâmica de atenção, onde é possível detectar a manipulação do foco do modelo em direção ao áudio malicioso.

Em resumo, o paper alerta que, à medida que os LALMs se tornam onipresentes, a segurança deve evoluir para considerar o áudio não apenas como dados, mas como um vetor de ataque capaz de sequestrar a lógica e as ações do modelo de forma imperceptível.