Resumo Técnico: SOUNDBREAK

Definição do Problema

Modelos de fundação multimodais que integram áudio, visão e linguagem demonstraram fortes capacidades de raciocínio, porém sua robustez contra manipulações adversárias permanece pouco compreendida. Enquanto pesquisas anteriores exploraram extensivamente ataques de linguagem-visão, ataques de áudio unimodais e ataques coordenados multimodais, existe uma lacuna significativa na compreensão de ataques adversários não direcionados e apenas de áudio em modelos trimodais (áudio-vídeo-linguagem).

O modelo de ameaça específico investigado neste trabalho assume um atacante que controla apenas o canal de áudio dentro de um pipeline de entrada multimodal. O atacante busca degradar o desempenho de raciocínio do modelo sem modificar os inputs visuais ou textuais. Este cenário é considerado realista porque a manipulação de áudio pode ser implantada via microfones comprometidos, alto-falantes ambientais ou canais de transmissão, e é frequentemente mais difícil de detectar do que perturbações visuais.

Metodologia

Os autores propõem o SOUNDBREAK, um framework sistemático para gerar perturbações de áudio compartilhadas (aprendidas sobre os dados de treinamento em vez de por amostra) para induzir falhas multimodais. O ataque é formulado como um problema de otimização de caixa branca (white-box) onde uma perturbação aditiva $\delta$ é injetada na forma de onda de áudio limpa $x_a$ para produzir $\tilde{x}_a = x_a + \delta$, sujeito a uma restrição de norma $\ell_\infty$ ($\|\delta\|_\infty \leq \epsilon$).

A contribuição central é o design de seis objetivos adversários complementares que visam diferentes estágios do pipeline de processamento multimodal:

1. Perda de Modelagem de Linguagem Negativa ($L_{negLM}$): Reduz diretamente a confiança do modelo na resposta correta ao minimizar a probabilidade logarítmica da sequência de saída correta.
2. Perda de Similaridade de Cosseno Baseada no Encoder ($L_{(cos)}$): Visa o espaço de representação do encoder de áudio, minimizando a similaridade de cosseno entre os embeddings de áudio limpo e perturbado para corromper as características fundamentais de áudio.
3. Perda de Supressão de Atenção Visual ($L_{(visionatt)}$): Agrega a massa de atenção atribuída aos tokens de visão e a minimiza, efetivamente "cegando" o modelo para evidências visuais.
4. Perda de Amplificação de Atenção de Áudio ($L_{(audioatt)}$): Agrega a massa de atenção atribuída aos tokens de áudio e a maximiza (minimizando o negativo), forçando o modelo a depender excessivamente do fluxo de áudio perturbado.
5. Perda de Randomização de Atenção ($L_{(randatt)}$): Disrupte a integridade estrutural dos mecanismos de atenção ao minimizar a divergência KL entre as distribuições de atenção reais e alvos randomizados.
6. Perda de Similaridade de Estado Oculto ($L_{(hidden-cos)}$): Visa os estados ocultos internos do transformer através das camadas, empurrando as representações adversárias para longe de suas contrapartes limpas.

Uma formulação de Perda Combinada ($L_{combined}$) também é avaliada, que otimiza conjuntamente todos os seis objetivos. A otimização utiliza Gradiente Descendente Projetado (PGD) com Adam, iterando sobre o conjunto de dados de treinamento para aprender uma perturbação compartilhada.

Principais Contribuições

1. Novo Modelo de Ameaça: O estudo é o primeiro a analisar sistematicamente ataques de áudio apenas, não direcionados, em modelos trimodais de áudio-vídeo-linguagem, indo além dos contextos unimodais ou bimodais.
2. Objetivos de Ataque de Múltiplos Estágios: A proposta de seis funções de perda distintas que sondam vulnerabilidades nos níveis de encoder, atenção, estado oculto e saída, permitindo o detalhamento de quais componentes computacionais são mais suscetíveis.
3. Avaliação Sistemática: Experimentos extensos conduzidos em três modelos de última geração (VideoLLAMA2, Qwen 2.5 Omni, Qwen 3 Omni) e três benchmarks (AVQA, AVSD, Music-AVQA), juntamente com avaliações em sistemas de reconhecimento de fala (Whisper).

Resultados Experimentais

O estudo revela várias descobertas críticas sobre a robustez dos modelos trimodais:

• Altas Taxas de Sucesso de Ataque (ASR): Perturbações de apenas áudio podem induzir falhas multimodais severas. O ataque combinado alcançou um ASR de 96,03% no benchmark AVQA usando o VideoLLAMA2. A perda de similaridade de cosseno baseada no encoder ($L_{(cos)}$) sozinha alcançou 89,12% de ASR, superando objetivos de nível de saída e de atenção em muitos casos.
• Baixa Distorção Perceptual: Ataques altamente eficazes podem ser alcançados com mínima distorção perceptual. Ataques bem-sucedidos mantiveram baixos escores LPIPS (ex: $0,08$ para $L_{(cos)}$) e valores SI-SNR próximos de zero ou positivos, indicando que as perturbações são sutis e estruturadas em vez de ruidosas.
• Otimização vs. Escala de Dados: A eficácia do ataque é impulsionada mais por extensas iterações de otimização do que pelo tamanho do conjunto de dados. Modelos treinados em conjuntos de dados menores (ex: 1.000 amostras), mas otimizados por muitas iterações (ex: 372k), alcançaram um ASR significativamente maior do que aqueles treinados em conjuntos maiores com menos iterações.
• Limitada Transferibilidade:
  • Entre Modelos: Ataques treinados em uma arquitetura (ex: VideoLLAMA2) mostraram baixa transferibilidade para outras (ex: Qwen 2.5/3 Omni), com o ASR caindo de ~10% para ~3-4%. Isso sugere que os ataques exploram características representacionais específicas do modelo.
  • Entre Domínios: Ataques treinados em dados áudio-visuais gerais (AVQA) transferiram-se mal para domínios musicais (Music-AVQA), alcançando apenas 13,80% de ASR comparado a 89,07% no domínio de origem.
  • Entre Arquiteturas: Perturbações no espaço do encoder não foram transferíveis entre diferentes arquiteturas de encoder de áudio (ex: BEATs vs. encoders do tipo Whisper).
• Vulnerabilidade de Reconhecimento de Fala: Diferente dos modelos trimodais, os sistemas de reconhecimento de fala (Whisper) responderam primariamente à magnitude da distorção acústica em vez de objetivos de ataque específicos. Ataques que induziram alta distorção (como $L_{negLM}$) alcançaram >97% de ASR no Whisper, enquanto ataques de baixa distorção falharam.
• Vulnerabilidades Específicas de Camada: As camadas inferiores do transformer (1–10) foram identificadas como as mais críticas para ataques impulsionados por áudio, enquanto as camadas superiores mostraram vulnerabilidade consistentemente baixa.
• Estabilidade de Confiança: Apesar do alto ASR, o modelo manteve alta confiança em suas saídas (incorretas) adversárias, com níveis de confiança semelhantes aos inputs limpos. Isso sugere que as falhas adversárias surgem de um desalinhamento interno em vez de incerteza do modelo, tornando-as difíceis de detectar via monitoramento de confiança.

Significância e Alegações

O artigo afirma expor uma superfície de ataque de modalidade única anteriormente negligenciada em sistemas multimodais. Os resultados demonstram que um atacante controlando apenas o fluxo de áudio pode degradar sistematicamente o raciocínio multimodal sem alterar os inputs visuais ou textuais.

Os autores enfatizam que estas descobertas motivam a necessidade de defesas que imponham a consistência cross-modal, já que os modelos atuais são vulneráveis a perturbações de áudio sutis e estruturadas que se propagam pelo sistema para causar falhas catastróficas de raciocínio. O estudo destaca que a robustez não pode ser assumida simplesmente porque um modelo integra múltiplas modalidades; vulnerabilidades específicas nos mecanismos de codificação de áudio e de atenção cross-modal devem ser endereçadas.

O trabalho é apresentado como um passo fundamental para compreender essas vulnerabilidades, com os autores observando limitações como o foco em configurações de caixa branca, perturbações puramente digitais e a falta de defesas avaliadas, sugerindo estas como direções para pesquisas futuras.