SpeakerSleuth: Can Large Audio-Language Models Judge Speaker Consistency across Multi-turn Dialogues?

1. Il Problema

Con l'avanzamento delle tecnologie di sintesi vocale (TTS) e clonazione vocale, è diventato cruciale garantire che l'identità del parlante rimanga coerente in dialoghi multi-turno. Tuttavia, i modelli attuali soffrono di problemi come la confusione tra parlanti, il "drift" del timbro e variazioni nella qualità della voce che emergono solo quando si ascoltano più turni consecutivi, non in singole frasi isolate.

Sebbene i Large Audio-Language Models (LALM) siano emersi come potenziali giudici automatici per la qualità della voce, la loro capacità di valutare la coerenza del parlante in contesti dialogici complessi non è stata ancora esplorata sistematicamente. Esistono metodi basati su embedding (confronto a coppie), ma questi richiedono soglie manuali e non possono valutare l'intero dialogo in modo olistico. Il paper si pone la domanda: i LALM possono giudicare in modo affidabile la coerenza del parlante attraverso dialoghi multi-turno?

2. Metodologia: SpeakerSleuth

Gli autori presentano SpeakerSleuth, il primo benchmark progettato specificamente per valutare la coerenza del parlante nei dialoghi multi-turno.

Costruzione del Dataset

• Dati: Il benchmark è composto da 1.818 istanze di valutazione verificate da umani, estratte da 4 dataset diversi (Bazinga, AMI, Behavior-SD, DailyTalk) che coprono scenari reali (film, riunioni) e sintetici.
• Scenari: Per ogni dialogo, sono stati creati tre scenari controllati:
  1. S1 (Fully Consistent): Tutti i turni appartengono allo stesso parlante originale.
  2. S2 (Gender Switch): Un turno viene convertito in una voce di genere opposto (cambiamento acustico evidente).
  3. S3 (Similar Speaker): Un turno viene convertito in una voce acusticamente molto simile (difficile da distinguere).
• Compiti di Valutazione: Il benchmark valuta tre capacità fondamentali:
  1. Detection: Rilevare se un dialogo contiene incoerenze (Sì/No).
  2. Localization: Identificare esattamente quale turno è problematico.
  3. Discrimination: Confrontare e classificare varianti acustiche per trovare quella più simile al parlante target.

Modelli Testati

Sono stati valutati 12 LALM all'avanguardia (inclusi GPT-4o-audio, Gemini-2.5-Pro, Qwen-Omni, ecc.) e 6 metodi basati su speaker embedding (WavLM, ECAPA-TDNN) per confronto.

3. Risultati Chiave

L'analisi rivela limitazioni fondamentali e bias significativi nei LALM attuali:

• Instabilità delle Soglie Interne (Detection): I LALM non possiedono soglie interne stabili per la coerenza. Alcuni modelli tendono a essere eccessivamente severi (segnalando incoerenze dove non ci sono), mentre altri sono troppo permissivi. Questo porta a una bassa accuratezza bilanciata (spesso sotto il 60%).
• Fallimento nella Localizzazione: Anche quando un modello rileva un'incoerenza generale, fatica a individuarne la posizione esatta. Molti modelli o non segnalano nulla o segnano tutti i turni indiscriminatamente, dimostrando di non analizzare i dettagli acustici a livello di singolo turno.
• Bias Modale (Testo vs. Audio): Questo è il risultato più critico. Quando viene fornito il contesto testuale dei turni degli altri interlocutori, le prestazioni dei LALM crollano drasticamente. I modelli tendono a prioritizzare la coerenza testuale rispetto ai segnali acustici. In dialoghi testualmente coerenti, i modelli falliscono nel rilevare anche cambi di genere ovvi, assumendo erroneamente che il parlante sia coerente perché il testo ha senso.
• Dissociazione tra Rilevamento e Discriminazione: Esiste una sorprendente discrepanza: mentre i modelli falliscono nel rilevare incoerenze assolute (Task 1), mostrano capacità acustiche superiori nel compito di discriminazione (Task 3). Quando devono confrontare e classificare varianti acustiche relative (es. "quale di questi suoni è più simile?"), le prestazioni migliorano notevolmente (es. Gemini-2.5-Pro raggiunge l'81.5% di accuratezza nella classificazione). Questo suggerisce che la capacità di discriminare i suoni è presente, ma non viene integrata correttamente nel giudizio di coerenza assoluta.
• Dipendenza dal Riferimento: La rimozione di un campione audio di riferimento del parlante target degrada le prestazioni, indicando che molti modelli non riescono a costruire rappresentazioni interne robuste senza un ancoraggio esplicito.

4. Contributi Principali

1. SpeakerSleuth: Il primo benchmark completo e verificato da umani per la valutazione della coerenza del parlante in dialoghi multi-turno, con 1.818 istanze e tre compiti distinti.
2. Valutazione Estensiva: Un'analisi approfondita di 12 LALM e 6 metodi di embedding, che evidenzia come i modelli attuali non siano pronti per l'uso come giudici affidabili in scenari reali.
3. Identificazione del Bias Modale: La scoperta che i LALM danno priorità alla coerenza testuale a scapito delle caratteristiche acustiche, rivelando uno squilibrio fondamentale nell'attenzione multimodale che deve essere risolto.
4. Distinzione tra Compiti: La dimostrazione che la capacità di discriminazione acustica (relativa) esiste ed è superiore alla capacità di giudizio di coerenza (assoluta), suggerendo nuove direzioni per il design dei modelli.

5. Significatività e Implicazioni

Questo lavoro è cruciale per lo sviluppo di sistemi di sintesi vocale e agenti conversazionali affidabili. Dimostra che l'uso attuale dei LALM come "giudici" per la qualità della voce è problematico a causa di:

• Mancanza di calibrazione: Le decisioni sono instabili e soggettive.
• Squilibrio modale: La tendenza a ignorare l'audio quando il testo è coerente rende i modelli inutili per rilevare deepfake o errori di clonazione in contesti dialogici naturali.
• Necessità di nuovi approcci: Per costruire giudici audio-linguistici affidabili, è necessario sviluppare meccanismi che bilancino l'attenzione tra testo e audio e che migliorino il ragionamento acustico fine-granularità.

Il benchmark SpeakerSleuth fornisce un framework standardizzato per misurare i progressi futuri in questo campo, evidenziando che la semplice scalabilità dei modelli non risolve automaticamente i problemi di coerenza dell'identità del parlante.