Text-Dependent Speaker Verification (TdSV) Challenge 2024: Team Naive System Report

Resumo Técnico: Sistema Team Naïve para o Desafio de Verificação de Locutor Dependente de Texto de 2024

Declaração do Problema
O artigo aborda a tarefa de Verificação de Locutor Dependente de Texto (TdSV), um desafio de segurança biométrica que exige a verificação simultânea da identidade do locutor e da correção de uma frase falada específica. Diferentemente dos sistemas independentes de texto, a TdSV exige que o sistema reconheça tanto "quem" está falando quanto "o que" está sendo dito. Essa dupla exigência introduz complexidade, necessitando de uma modelagem precisa das características vocais juntamente com padrões específicos da frase para resistir a ataques de falsificação e reprodução. O contexto específico é o Desafio TdSV de 2024, que utilizou o corpus DeepMine contendo enunciados em persa e inglês gravados sob condições do mundo real com ruído de fundo. Os autores enfrentaram restrições significativas, incluindo um cronograma de nove semanas e acesso limitado a recursos dedicados de GPU.

Metodologia
O sistema Team Naïve emprega uma arquitetura de dois módulos projetada para integrar a verificação de locutor e a verificação de frase por meio de uma abordagem de ensemble.

• Módulo de Verificação de Locutor (Ensemble): O núcleo do sistema consiste em três Extratores de Incorporação de Locutor (SEEs) distintos, cujas saídas são fundidas:
  1. NeXt-TDNN: Uma arquitetura de última geração ajustada finamente no conjunto de dados do desafio usando pesos pré-treinados do VoxCeleb 1 & 2. Utiliza um design de bloco TS-ConvNeXt com convoluções temporais multiescala e Normalização de Resposta Global (GRN) para capturar contextos interquadro e intrquadro.
  2. ResNet-TDNN: Outro modelo ajustado finamente no conjunto de dados do desafio, aproveitando conexões residuais para aprender representações profundas de locutor. Foi otimizado com hiperparâmetros específicos para adaptar-se às nuances dos dados do DeepMine.
  3. EfficientNet-A0 (EfficientNet-Absoluto Zero): Um modelo leve treinado do zero especificamente no conjunto de dados do desafio. Projetado para detecção de palavras-chave, este modelo foi adaptado para gerar incorporações de locutor, oferecendo um componente eficiente em recursos ao ensemble.
• Módulo de Verificação de Frase: Para verificar o conteúdo falado, o sistema utiliza um modelo wav2vec 2.0 (especificamente a variante lighteternal/wav2vec2-large-xlsr-53-greek). Este modelo atua como um extrator de características para o conteúdo falado, classificando o áudio em categorias de frases predefinidas.
• Pontuação e Fusão:
  • Geração de Incorporação: Os três SEEs processam o áudio de teste para gerar incorporações de alta dimensão.
  • Cálculo de Similaridade: Um módulo de Pontuação calcula a similaridade cosseno entre as incorporações de registro e as de teste.
  • Normalização: O sistema aplica S-norm (Normalização de Pontuação) para ajustar as pontuações de similaridade brutas com base na distribuição de uma coorte de incorporações do conjunto de dados de treinamento, compensando variações ambientais.
  • Decisão Final: A pontuação final é derivada fundindo as pontuações de locutor normalizadas dos três modelos e multiplicando este resultado pela saída de probabilidade do Classificador de Frase.

Contribuições Principais e Design do Sistema

• Adaptação com Restrição de Recursos: O artigo destaca uma estratégia de adaptação de modelos existentes de última geração (NeXt-TDNN e ResNet-TDNN) pré-treinados no VoxCeleb, em vez de treinar do zero, uma decisão impulsionada pela duração limitada do desafio e pelos recursos de hardware.
• Ensemble Híbrido: A integração de um modelo leve, treinado do zero (EfficientNet-A0), ao lado de modelos pesados ajustados finamente é apresentada como um método para fortalecer o desempenho do ensemble em ambientes de poucos recursos.
• Aumento de Dados Abrangente: O pipeline de treinamento incorpora técnicas extensas de aumento, incluindo injeção de ruído (SNR 0-15 dB), reverberação via Respostas de Impulso de Sala (RIR), queda de faixas de frequência e queda de fragmentos temporais, para simular condições acústicas do mundo real.
• Pré-processamento: O sistema emprega Detecção de Atividade Vocal (VAD) para remover silêncio dos clipes de áudio antes do processamento, impedindo que artefatos de segmentos não vocais enganem o modelo.

Resultados
O sistema alcançou as seguintes métricas de desempenho no conjunto de avaliação do desafio:

• Função de Custo de Detecção Mínima (MinDCF): 0,0461
• Taxa de Erro Igual (EER): 1,3%

As curvas de Compromisso entre Erro de Detecção (DET) indicam que o sistema desempenha de forma robusta através de diferentes grupos demográficos e linguísticos. O subconjunto Masculino demonstrou as menores Taxas de Falsos Negativos, enquanto o subconjunto Feminino apresentou taxas de erro ligeiramente mais altas. O desempenho entre os grupos de idiomas persa e inglês foi consistente, embora marginalmente inferior ao desempenho geral masculino. O sistema manteve desempenho competitivo tanto nas variações de tarefa com restrição de texto quanto independentes de texto.

Significado e Alegações
Os autores afirmam que seu sistema demonstra a eficácia da aprendizagem de ensemble multi-modelo para verificação de locutor e de frase. Ao combinar arquiteturas neurais avançadas com um mecanismo de pontuação robusto (S-norm) e fusão de pontuações, o sistema alcança forte generalização através de condições diversas.

O artigo enquadra modestamente seu significado como uma solução prática que aproveita recursos existentes de forma eficaz sob restrições apertadas. Observa que o uso do modelo EfficientNet-A0 para verificação de locutor representa uma das primeiras instâncias de aplicação desta arquitetura específica ao domínio. Os autores concluem que, embora o sistema desempenhe bem, trabalhos futuros poderiam focar no refinamento de arquiteturas para minimizar lacunas de desempenho entre subconjuntos de gênero e idioma e melhorar ainda mais a precisão da verificação de frase sob condições variáveis.