Speaker-Invariant Representation Learning for Spoofing Detection via Gradient Reversal and A Variational Information Bottleneck

Resumo Técnico: Aprendizado de Representação Invariante ao Locutor para Detecção de Spoofing via Reversão de Gradiente e um Gargalo de Informação Variacional

Definição do Problema
O artigo aborda a questão crítica da baixa generalização dos sistemas de detecção de spoofing ao transicionarem de configurações de domínio interno (in-domain) para configurações de domínio externo (out-of-domain). Os autores identificam o viés do locutor (speaker bias) como uma causa primária dessa fragilidade. Em conjuntos de dados como o ASVspoof 5, há frequentemente uma distribuição díspar de identidades de locutores entre as partições bona fide e spoofed. Consequentemente, os modelos podem aprender "atalhos" ao associar identidades de voz específicas com o rótulo de spoofing, em vez de aprender artefatos acústicos intrínsecos de síntese ou manipulação. Isso leva ao sobreajuste (overfitting) nas distribuições de treinamento e à falha em locutores não vistos ou novos vetores de ataque. Além disso, tentativas anteriores de impor invariância ao locutor via treinamento adversarial dependeram de rótulos de locutor dentro do conjunto de dados de spoofing, que muitas vezes não estão disponíveis ou são insuficientemente diversos, e correm o risco de descartar pistas de spoofing benéficas durante a supressão adversarial agressiva.

Metodologia
Os autores propõem o IVSpk-VIB, uma estrutura de professor-aluno (teacher-student) projetada para aprender representações invariantes ao locutor para detecção de spoofing sem exigir rótulos de locutor para o conjunto de dados alvo. A arquitetura consiste em três componentes principais:

1. Estrutura Professor-Aluno com Reversão de Gradiente:

   • Professor: Um modelo de reconhecimento de locutor pré-treinado (treinado no conjunto de dados de larga escala VoxCeleb2) atua como um professor congelado. Ele extrai embeddings de locutor que codificam informações ricas de identidade do locutor.
   • Aluno: Um modelo de detecção de spoofing (baseado em XLSR e MHFA) é treinado para prever o rótulo de spoofing.
   • Aprendizado Adversarial: Uma Camada de Reversão de Gradiente (GRL) é inserida entre o extrator de características do aluno e um cabeçalho de classificação de locutor. O aluno é guiado para minimizar a perda de spoofing enquanto maximiza o erro na predição dos embeddings de locutor do professor. Isso o encoraja a aprender representações que são invariantes à identidade do locutor.

2. Gargalo de Informação Variacional (VIB):

   • Para evitar que o treinamento adversarial remova pistas essenciais relacionadas ao spoofing juntamente com a informação do locutor, um VIB é integrado ao ramo de classificação de locutor.
   • O VIB impõe uma restrição informacional teórica sobre a representação latente. Ele modela a variável latente como uma posterior Gaussiana e impõe uma regularização de divergência de Kullback-Leibler contra uma priori normal padrão.
   • Isso cria um gargalo controlado, garantindo que a supressão foque nas informações principais relacionadas ao locutor, preservando as evidências discriminativas necessárias para a detecção de spoofing.

3. Objetivo de Treinamento:
   A otimização geral minimiza uma função de perda combinada: a perda de entropia cruzada para detecção de spoofing, o erro quadrático médio (MSE) entre os embeddings de locutor do aluno e do professor (via GRL) e o termo de regularização VIB.

Principais Contribuições

• Análise de Viés do Locutor: Os autores demonstram empiricamente que o conjunto de treinamento ASVspoof 5 cria uma correlação espúria entre a identidade do locutor e o rótulo de spoofing. A análise de agrupamento latente revela que as emissões bona fide e spoofed ocupam regiões distintas e não sobrepostas no espaço de embedding do locutor, confirmando que os modelos podem explorar atalhos baseados em identidade.
• Invariância ao Locutor Sem Rótulos: Eles introduzem uma estrutura professor-aluno que suprime influências de identidade de voz sem depender de rótulos de locutor no conjunto de dados de spoofing alvo, superando as limitações de métodos anteriores que exigiam anotações de locutor no domínio.
• Treinamento Adversarial Controlado: Ao incorporar o VIB, o método regula o processo de supressão adversarial, gerenciando o equilíbrio entre remover características de voz enviesadas e preservar informações relevantes para o spoofing.
• Avaliação Abrangente: O modelo é avaliado em nove conjuntos de dados diversos, demonstrando melhorias consistentes em relação aos baselines.

Resultos
O modelo proposto MHFA-IVSpk-VIB foi avaliado contra vários baselines (AASIST, Conformer, MHFA e o método anterior SInMT) em nove conjuntos de dados, incluindo ASVspoof 2019/2021, CodecFake e LibriSeVox.

• Generalização: O modelo alcançou uma redução relativa de 25,7% na Taxa de Erro Igual (EER) em comparação com o baseline MHFA no conjunto de dados agrupado (pooled dataset - combinando todos os conjuntos de avaliação).
• Comparação com Trabalho Anterior: Superou o baseline SInMT (que utilizou rótulos de locutor do domínio) em 11,3% em EER agrupado relativo, destacando o benefício de usar um professor pré-treinado em dados externos diversos (VoxCeleb) em vez de rótulos limitados do domínio.
• Benchmarking: Quando comparado aos quatro principais sistemas do desafio ASVspoof 5, o modelo proposto mostrou robustez superior fora do domínio. Enquanto os principais sistemas do desafio sofreram quedas significativas de desempenho em conjuntos de dados não vistos (por exemplo, subindo de 3,30% de EER no ASVspoof 5 para 17,33% no ASVspoof 2019), o modelo proposto manteve taxas de erro mais baixas através desses deslocamentos, alcançando uma melhoria relativa de 62% no EER médio em comparação com o sistema de melhor desempenho do desafio (T23) em todos os benchmarks.

Significância
O artigo afirma que a integração de um Gargalo de Informação Variacional é essencial para equilibrar a invariância ao locutor e a discriminabilidade do spoofing. Sem o VIB, o treinamento adversarial corre o risco de descartar pistas críticas de spoofing; com o VIB, o sistema alcança uma forma controlada de aprendizado invariante. Os resultados sugerem que aproveitar a ampla diversidade de locutores de fontes externas via um modelo professor é mais eficaz para a generalização do que depender da diversidade limitada de locutores encontrada em conjuntos de treinamento típicos de detecção de spoofing. Esta abordagem oferece uma solução principista para o problema do viés do locutor, aumentando a confiabilidade dos sistemas biométricos de voz contra ataques generativos sofisticados em cenários reais de domínio externo.