Phoneme-Level Deepfake Detection Across Emotional Conditions Using Self-Supervised Embeddings

Resumo Técnico: Detecção de Deepfakes ao Nível de Fonema em Condições Emocionais Usando Incorporações Auto-supervisionadas

Enunciação do Problema
Avanços recentes na Conversão Emocional de Voz (EVC) permitiram a geração de fala sintética expressiva que imita de perto a expressão emocional natural, colocando riscos significativos para a detecção de deepfakes de áudio em cenários de alto risco, como jornalismo e processos legais. Embora os métodos de detecção existentes tenham melhorado, eles tratam predominantemente a fala como um sinal homogêneo ao nível do enunciado ou do quadro. Essa abordagem ignora em grande parte a estrutura fonética interna da fala, que é crítica porque a expressão emocional é realizada por meio de variações ao nível do fonema em duração, pitch e características espectrais. Consequentemente, artefatos de síntese introduzidos durante a manipulação emocional podem ser dependentes do fonema, mas os modelos atuais agregam sobre essa estrutura de granularidade fina, potencialmente perdendo pistas discriminativas-chave. Além disso, estudos anteriores ao nível do fonema focaram em texto-para-fala (TTS) geral (não emocional) e conversão de voz, deixando o comportamento específico dos fonemas sob síntese condicionada emocionalmente amplamente inexplorado.

Metodologia
Os autores propõem um framework controlado ao nível do fonema para analisar fala sintética manipulada emocionalmente. A metodologia envolve os seguintes componentes:

• Construção do Conjunto de Dados: O estudo utiliza o conjunto de dados EmoFake, focando em dois falantes (0011 e 0016) cujos enunciados neutros foram convertidos em quatro emoções-alvo (Raiva, Felicidade, Tristeza, Surpresa) usando dois sistemas distintos de EVC: VAW-GAN-CWT (EVC1) e DeepEST (EVC2). Essa configuração garante condições emocionais correspondidas e transcrições compartilhadas entre fala real e sintética, isolando efeitos de síntese da variação de conteúdo.
• Alinhamento de Fonemas: Pares áudio-transcrição são processados usando o Montreal Forced Aligner (MFA) para gerar limites de fonemas alinhados no tempo (TextGrids). Marcadores de acento são removidos para garantir consistência de rótulos, e fonemas com contagens de amostras insuficientes são excluídos.
• Extração de Características: O framework emprega o WavLM, um modelo de aprendizado auto-supervisionado (SSL), para extrair incorporações. Para cada segmento de fonema, incorporações ao nível do quadro da camada oculta final são agregadas via pooling médio para criar uma representação de nível de fonema de dimensão fixa.
• Análise e Classificação:
  • Divergência Distribucional: A Divergência Simétrica de Kullback–Leibler (KLD) é computada entre as distribuições Gaussianas multivariadas de incorporações de fonemas reais e sintéticos para quantificar diferenças distribucionais.
  • Classificação: Uma Máquina de Vetores de Suporte (SVM) com kernel de Função de Base Radial (RBF) é treinada para cada fonema para realizar classificação binária (Real vs. Falso).
  • Correlação: O coeficiente de correlação de Pearson é calculado entre os valores de KLD e as acurácias de classificação da SVM para avaliar a relação entre divergência distribucional e detectabilidade.

Principais Resultados
O estudo revela padrões distintos na forma como diferentes categorias de fonemas respondem à conversão emocional de voz:

• Sensibilidade do Fonema: Vogais complexas (ditongos como /AO/, /AY/, /OY/) e fricativas/africadas (por exemplo, /CH/, /JH/, /SH/) consistentemente exibem os maiores valores de KLD e maiores acurácias de classificação. Isso indica que esses fonemas, caracterizados por detalhes espectrais complexos ou energia aperiódica, são mais difíceis de sintetizar fielmente e, portanto, mais sensíveis a artefatos de EVC.
• Estabilidade de Fonemas Simples: Monotongos mais simples (por exemplo, /AH/, /IH/) e sonorantes (nasais e aproximantes) mostram menor divergência distribucional e desempenho de classificação mais estável, embora moderado.
• Descobertas de Correlação: Existe uma correlação geralmente positiva entre KLD e acurácia de classificação, particularmente em emoções de alta excitação (por exemplo, Felicidade e Surpresa). Por exemplo, na condição EVC1-Felicidade para vogais, uma forte correlação ($r=0,75$) foi observada. No entanto, essa relação enfraquece em emoções de baixa excitação (por exemplo, Tristeza), sugerindo que a variabilidade prosódica reduzida nessas condições diminui o poder preditivo da divergência isoladamente.
• Artefatos Prosódicos: A análise dos contornos de F0 confirma que a fala sintética exibe transições irregulares e variações abruptas em comparação com as trajetórias mais suaves da fala real, com perfis de artefato distintos observados entre os dois sistemas de EVC.

Contribuições
O artigo faz três contribuições principais:

1. Framework: Propõe um framework controlado ao nível do fonema para analisar deepfakes emocionais, comparando fala real e gerada por EVC sob condições emocionais correspondidas usando transcrições compartilhadas e representações alinhadas a fonemas.
2. Análise Empírica: Explora a correlação entre incorporações do WavLM, KLD simétrica e desempenho de SVM com kernel RBF em quatro emoções e dois sistemas de síntese, estabelecendo que deslocamentos distribucionais ao nível do fonema são preditivos da detectabilidade.
3. Recurso: Os autores lançam um conjunto de dados curado com transcrições alinhadas e anotações TextGrid ao nível do fonema para apoiar a reprodutibilidade e pesquisas futuras neste domínio.

Significado e Alegações
Os autores afirmam que a análise ao nível do fonema é uma abordagem eficaz e interpretável para detectar fala sintética manipulada emocionalmente. As descobertas demonstram que a dificuldade de sintetizar categorias específicas de fonemas é uma propriedade geral da conversão neural de voz que persiste mesmo quando a prosódia emocional é imposta. Ao identificar que vogais complexas e fricativas exibem a maior divergência, o trabalho sugere que a análise fonética de granularidade fina pode revelar pistas discriminativas que modelos ao nível do enunciado perdem. O estudo conclui que a divergência distribucional ao nível do fonema serve como um preditor significativo do desempenho de classificação, particularmente quando combinada com classificadores não lineares, oferecendo um caminho para detectores mais robustos e interpretáveis para deepfakes de áudio emocional.