Deepfake Audio Detection Using Self-supervised Fusion Representations

Resumo Técnico: Detecção de Áudio Deepfake Usando Representações de Fusão Auto-supervisionadas

Declaração do Problema
Avanços recentes na geração de fala melhoraram a qualidade da síntese de áudio, mas também facilitaram a criação de deepfakes capazes de impersonação e desinformação. Embora os métodos de detecção existentes frequentemente tratem o áudio como um sinal unificado, eles falham com frequência em levar em conta as propriedades distintas dos componentes subjacentes. Em cenários realistas, a fala e os sons ambientais podem ser manipulados independentemente, criando inconsistências latentes que abordagens de modelo único têm dificuldade em capturar. Este artigo aborda o Desafio de Detecção de Deepfakes de Fala e Som Conscientes do Ambiente (ESDD2) 2026, visando especificamente a detecção em nível de componente, onde a fala e os sons ambientais podem ser genuínos ou falsificados independentemente.

Metodologia
Os autores propõem uma estrutura de detecção de deepfake de dois ramos projetada para modelar conjuntamente representações contextuais de fala e ambiente. A arquitetura e os componentes-chave são os seguintes:

• Codificadores Pré-treinados Duplos: O sistema utiliza dois modelos distintos de aprendizado auto-supervisionado (SSL) para extrair representações complementares do áudio de entrada:
  • XLS-R: Usado para extrair representações relacionadas à fala.
  • BEATs: Usado para capturar representações de sons ambientais.
• Atenção Cruzada Bidirecional: Para facilitar a troca de informações entre os dois fluxos, um módulo de atenção cruzada multi-cabeça é empregado. As representações de fala são primeiro projetadas para corresponder à dimensionalidade das representações ambientais antes de sofrerem interação bidirecional, resultando em fluxos de características refinados ($F^*_{speech}$ e $F^*_{env}$).
• Classificação em Nível de Componente: As representações refinadas são passadas por dois classificadores AASIST separados para prever independentemente as probabilidades de falsificação para o ramo de fala ($P_{speech}$) e o ramo ambiental ($P_{env}$).
• Cabeça de Correspondência para Estimativa da Classe Original: Um módulo dedicado modela as discrepâncias entre as representações brutas de fala e ambiente para estimar a probabilidade da classe "original". Isso envolve:
  1. Projetar representações em um espaço latente compartilhado.
  2. Aplicar agrupamento estatístico (Média, Máximo, Desvio Padrão e Norma $\ell_2$) ao longo da dimensão temporal.
  3. Combinar características via concatenação, multiplicação elemento a elemento e operações de diferença absoluta.
  4. Processar o vetor combinado através de uma Rede Feed-Forward (FFN).
• Aumento de Dados e Treinamento: A estratégia de treinamento inclui aumento de dados consciente da tarefa (mistura de combinações originais, concatenação, soma ponderada, parcial e deslocadas no tempo) e injeção estocástica de ruído. Para abordar o desequilíbrio de classes, um esquema de amostragem consciente da classe superamostra as classes minoritárias. O modelo é treinado com uma perda multi-tarefa ponderada (perdas de fala e ambiente ponderadas em 1,0, classe original em 0,2) e um termo de regularização baseado em classificação para impor consistência.

Principais Contribuições

1. Modelagem em Nível de Componente: Ao contrário de métodos que processam o áudio como um todo, esta estrutura desacopla explicitamente e modela conjuntamente os componentes de fala e ambiente para detectar manipulações independentes.
2. Fusão SSL Dupla: A integração de XLS-R e BEATs permite a extração de representações contextuais complementares, aproveitando as forças de ambos os modelos SSL de fala e áudio geral.
3. Arquitetura Híbrida: A combinação de atenção cruzada para interação de características e uma Cabeça de Correspondência para modelagem de discrepâncias permite que o sistema estime tanto as probabilidades de falsificação em nível de componente quanto a classe original geral.
4. Robustez a Inconsistências: O projeto visa especificamente a detecção de inconsistências latentes entre componentes manipulados e genuínos, aumentando a robustez contra áudio falsificado consciente do ambiente.

Resultados
O sistema proposto foi avaliado no conjunto de dados CompSpoofV2, que contém mais de 250.000 amostras de áudio com cinco classes distintas representando todas as combinações de fala e ambiente bonafide e falsificados.

• Desempenho: No conjunto de teste, o método proposto alcançou uma pontuação F1 de 70,20%, superando o sistema de referência (63,27%) em aproximadamente 7–8%.
• Detecção Ambiental: O sistema demonstrou uma redução significativa na Taxa de Erro Igual (EER) Ambiental, alcançando 16,54% no conjunto de avaliação e 18,83% no conjunto de teste, comparado aos 43,36% e 42,79% da referência, respectivamente.
• Eficiência: Apesar da complexidade da arquitetura de codificador duplo, o método mostrou eficiência computacional favorável, exigindo aproximadamente 1 hora por época comparado a 4 horas da referência, mantendo ao mesmo tempo capacidades de detecção superiores.
• Estudos de Ablação: Experimentos confirmaram que a remoção de qualquer componente (por exemplo, a Cabeça de Correspondência, atenção cruzada ou estratégias específicas de aumento de dados) resultou em degradação de desempenho, validando a necessidade da estrutura completa.

Significância
O artigo afirma que sua abordagem fornece uma melhoria substancial na capacidade de detecção de deepfakes multi-classe, particularmente para cenários envolvendo falsificação consciente do ambiente. Ao avançar além do processamento de sinal unificado para uma análise em nível de componente, a estrutura captura melhor as inconsistências específicas introduzidas quando a fala e os sons ambientais são manipulados independentemente. Os resultados demonstram que a integração de codificadores auto-supervisionados duplos com atenção cruzada e uma cabeça dedicada de modelagem de discrepâncias oferece um compromisso superior entre desempenho de detecção e eficiência computacional em comparação com métodos de referência existentes. Os autores concluem que esta abordagem aborda efetivamente os desafios do desafio ESDD2 2026 e estabelece uma base para trabalhos futuros sobre estratégias de fusão avançadas e robustez em condições do mundo real.