SpeakerSleuth: Can Large Audio-Language Models Judge Speaker Consistency across Multi-turn Dialogues?

Resumo Técnico: SpeakerSleuth

1. Problema e Motivação

Com o avanço rápido dos sistemas de síntese de fala (TTS) e clonagem de voz, garantir a consistência da identidade do falante em diálogos de múltiplas voltas (multi-turn) tornou-se um desafio crítico. Embora um único enunciado gerado possa soar natural, a identidade do falante pode sofrer "deriva de timbre" (timbre drift), confusão entre falantes ou variações de qualidade ao longo de uma conversa longa.

Atualmente, a avaliação dessa consistência depende de:

• Métodos baseados em embeddings (comparação par-a-par), que exigem limiares manuais e não avaliam o diálogo de forma holística.
• Avaliação humana, que é custosa e lenta.

O surgimento de Modelos de Linguagem Áudio-Linguagem (LALMs) como juízes automáticos oferece uma promessa de processamento holístico de áudio e texto. No entanto, não existe um benchmark padronizado para avaliar se esses modelos conseguem realmente detectar inconsistências acústicas em diálogos complexos, nem se eles priorizam o contexto textual em detrimento das pistas acústicas.

2. Metodologia: O Benchmark SpeakerSleuth

Os autores apresentam o SpeakerSleuth, o primeiro benchmark projetado especificamente para avaliar a consistência do falante em diálogos de múltiplas voltas.

• Construção dos Dados:

  • Coletados de 4 conjuntos de dados diversos (Bazinga, AMI, Behavior-SD, DailyTalk), abrangendo falas sintéticas e reais.
  • 1.818 instâncias de avaliação verificadas por humanos, envolvendo 197 falantes únicos.
  • Controle Acústico: Para criar cenários de inconsistência, utilizou-se conversão de voz (Voice Conversion) para alterar o timbre de uma volta específica, mantendo o conteúdo textual e prosódico inalterados.
  • Cenários Criados:
    1. S1 (Consistente): Diálogo original (todos os falantes consistentes).
    2. S2 (Mudança de Gênero): Uma volta convertida para uma voz de gênero oposto (inconsistência óbvia).
    3. S3 (Falante Similar): Uma volta convertida para uma voz acusticamente similar ao alvo (inconsistência sutil).

• Tarefas de Avaliação:
  O benchmark avalia os modelos em três capacidades distintas que refletem requisitos do mundo real:

  1. Detecção: Determinar se todas as voltas de um falante são consistentes (Binário: Sim/Não).
  2. Localização: Identificar qual volta específica é inconsistente (se houver).
  3. Discriminação: Comparar e classificar múltiplas variantes acústicas (candidatos) para escolher a que melhor corresponde ao falante alvo.

• Modelos Testados:

  • 12 LALMs de última geração (incluindo GPT-4o-audio, Gemini-2.5-Pro/Flash, Qwen-Omni, MiniCPM-o, etc.).
  • 6 Métodos Baseados em Embeddings (usando WavLM e ECAPA-TDNN) como linha de base.

3. Resultados Principais

• Falha na Detecção e Localização:

  • Os LALMs demonstraram dificuldade em detectar inconsistências acústicas de forma confiável. Eles carecem de limiares internos estáveis.
  • Viés de Limiar: Alguns modelos são excessivamente rigorosos (detectam inconsistências onde não existem), enquanto outros são excessivamente permissivos (ignoram mudanças óbvias).
  • Falha na Localização: Mesmo quando detectam uma inconsistência geral, os modelos falham em apontar a volta exata problemática. Muitos tendem a marcar todas as voltas ou nenhuma, sem distinguir entre uma mudança de gênero e uma variação sutil de timbre.

• Dissociação entre Detecção e Discriminação:

  • Curiosamente, os modelos performam significativamente melhor na tarefa de Discriminação (classificação e ranking de variantes) do que na Detecção absoluta.
  • Isso sugere que os modelos possuem capacidade acústica de distinguir vozes quando comparadas diretamente, mas falham em estabelecer um limite absoluto de "consistência" sem um contexto de comparação explícito.

• Desequilíbrio de Modalidade (O Problema do Texto):

  • Quando o contexto textual das outras falas do diálogo é fornecido, o desempenho dos LALMs degrada drasticamente.
  • Os modelos tendem a priorizar a coerência textual em vez das pistas acústicas. Em diálogos onde o texto flui naturalmente, os modelos frequentemente ignoram mudanças óbvias de voz (como troca de gênero), assumindo que a consistência do falante é verdadeira devido à coerência do texto.
  • Isso revela um viés fundamental onde os LALMs atribuem mais atenção aos tokens de texto do que aos tokens de áudio.

• Impacto do Áudio de Referência:

  • A presença de uma amostra de áudio de referência do falante alvo é crucial. Sem ela, muitos modelos tendem a assumir que tudo é consistente, falhando em detectar até mesmo as inconsistências mais graves.

4. Contribuições Chave

1. SpeakerSleuth: Um benchmark abrangente com 1.818 instâncias humanas verificadas para avaliação de consistência de falantes em diálogos.
2. Avaliação Abrangente: A análise de 12 LALMs e 6 métodos de embedding, revelando limitações críticas na capacidade de julgamento acústico dos modelos atuais.
3. Descoberta de Viés de Modalidade: Evidência empírica de que os LALMs priorizam a coerência textual sobre a discriminação acústica, um problema que precisa ser resolvido para criar juízes de áudio confiáveis.
4. Análise de Tarefas: Demonstração de que a capacidade de discriminação (ranking) não se traduz automaticamente em capacidade de detecção (julgamento binário), indicando a necessidade de melhor calibração e integração de modalidades.

5. Significado e Implicações

Este trabalho expõe uma lacuna fundamental no estado da arte dos modelos de áudio-linguagem. Embora sejam poderosos para gerar e entender fala, eles ainda não são confiáveis como juízes automáticos para garantir a qualidade e consistência em sistemas de síntese de fala multi-falante.

As descobertas indicam que:

• A simples adição de contexto textual pode prejudicar a avaliação acústica.
• É necessário desenvolver mecanismos de fusão multimodal que equilibrem a atenção entre texto e áudio, evitando que a coerência linguística cegue o modelo para erros acústicos.
• Para aplicações práticas (como validação de TTS ou clonagem de voz), fornecer um áudio de referência e evitar a dependência excessiva do texto são estratégias essenciais para obter resultados confiáveis.

O código e os dados do SpeakerSleuth estão disponíveis publicamente para fomentar pesquisas futuras na área de avaliação de qualidade de fala.