Preference-ASR: A Preference-Aware Test Set for Benchmarking ASR in the Era of Speech LLMs

Sintesi Tecnica: Preference-ASR

Problematica
Gli attuali benchmark per il riconoscimento automatico del parlato (ASR) non riescono a valutare le capacità dei moderni modelli linguistici di grandi dimensioni potenziati dal parlato (SpeechLLM). Sebbene gli SpeechLLM possano seguire istruzioni in linguaggio naturale per dettare lo stile e il formato della trascrizione, la valutazione standard si basa su riferimenti fissi annotati da esseri umani e su pipeline di normalizzazione "generiche" (ad esempio, conversione in minuscolo, conversione dei numeri in parole, rimozione di simboli). Queste pipeline cancellano proprio le distinzioni di formattazione che agli utenti interessano. Inoltre, i set di test esistenti (ad esempio, Librispeech, SPGISpeech, Earnings-22) presentano convenzioni di annotazione incoerenti riguardo alla formattazione dei numeri, alla gestione delle disfluenze e al caso (maiuscole/minuscole). Di conseguenza, le classifiche dei modelli riflettono quanto un sistema sia bravo a corrispondere alle peculiarità di un dataset specifico piuttosto che la sua reale capacità di seguire le preferenze dell'utente.

Metodologia
Gli autori introducono Preference-ASR, un set di test progettato per valutare la capacità dei sistemi ASR di seguire istruzioni di preferenza in linguaggio naturale. La metodologia consiste in tre componenti principali:

1. Costruzione del Dataset:

   • Fonte: Il dataset è costruito partendo da sette corpora open-source (AMI, Common Voice, Earnings-22, GigaSpeech, LibriSpeech, SPGISpeech, VoxPopuli), raggruppando inizialmente 3.545 campioni.
   • Pipeline: È stata impiegata una pipeline in due fasi assistita da LLM con verifica umana.
     • Fase 1: Un LLM (Qwen3-30B) classifica ogni campione in una delle quattro categorie di preferenza: Normalizzazione, Entità, Disfluenze o Caso.
     • Fase 2: L'LLM genera istruzioni specifiche e i corrispondenti "testi di preferenza" (riferimenti) per ogni campione.
   • De-duplicazione: Un ordinamento basato sulla priorità (Normalizzazione > Entità > Disfluenze > Caso) garantisce che ogni campione appartenga a una singola categoria.
   • Output Finale: Il dataset rilasciato contiene 3.210 triple uniche (audio, istruzione, riferimento) e 335 campioni di base senza istruzioni di preferenza.

2. Categorie di Preferenza:

   • Normalizzazione: Testa la gestione di numeri (cifre vs parole), simboli (notazione di valuta/matematica vs equivalenti verbali) e link a siti web.
   • Entità: Testa il riconoscimento di entità nominate specifiche (aziende, farmaci, ecc.) e misura la "confabulazione" includendo nomi di entità falsi positivi nelle istruzioni che sono assenti nell'audio.
   • Disfluenze: Testa la capacità di mantenere o rimuovere parole riempitive (um, ah), ripetizioni, false partenze ed errori grammaticali in base alle istruzioni.
   • Caso: Testa l'aderenza a regole di solo minuscolo o di punteggiatura/capitalizzazione corretta.

3. Normalizzatore Consapevole delle Preferenze (Preference-Aware Normalizer):
   Per valutare la conformità in modo equo, gli autori propongono un normalizzatore personalizzato che salta selettivamente i passaggi di normalizzazione corrispondenti all'istruzione attiva. Ad esempio, se un'istruzione richiede numeri in forma scritta (ITN), il normalizzatore non converte l'output numerico del modello in parole, evitando di penalizzare un comportamento corretto.

Configurazione Sperimentale
Lo studio mette in competizione quattro modelli:

• Parakeet-TDT-0.6B-v3: Un baseline tradizionale non-LLM (senza input di istruzioni).
• Canary-Qwen-2.5B: Un modello ibrido con un backend LLM Qwen 2.5, addestrato su coppie ASR standard senza tuning delle preferenze.
• Phi-4-Multimodal: Un modello da 5.6B che integra parlato, visione e testo.
• Qwen3-Omni-30B: Un modello multimodale nativo addestrato con biasing contestuale.

I modelli sono stati valutati in due configurazioni: Default (prompt standard) e Instructed (istruzione di preferenza aggiunta). Le prestazioni sono state misurate utilizzando sia il WER Standard (normalizzazione completa) che il Preference-Aware WER (normalizzazione selettiva).

Risultati Chiave

• Spostamenti di Classifica: Le classifiche dei modelli cambiano significativamente a seconda del tipo di preferenza, un fenomeno oscurato dalla valutazione standard. Ad esempio, Qwen3-Omni supera gli altri in conformità di normalizzazione e disfluenze quando istruito, ma le sue prestazioni degradano sotto la valutazione standard che maschera queste differenze.
• Sensibilità alle Istruzioni:
  • Qwen3-Omni mostra una forte conformità per la formattazione (normalizzazione, caso, disfluenze) ma presenta allucinazioni di entità, inserendo nomi di entità dai prompt anche quando assenti nell'audio (il WER passa dal 5,12% al 12,85% nelle entità).
  • Canary-Qwen mostra una sensibilità minima alle istruzioni in tutte le categorie, suggerendo che un backbone LLM da solo, senza un addestramento di allineamento specifico per le preferenze, è insufficiente per l'ASR basato su istruzioni.
  • Phi-4 dimostra una forte conformità per le disfluenze quando istruito, ma fallisce significativamente sulle istruzioni di caso, indicando un seguito delle istruzioni dipendente dalla categoria.
• Sensibilità al Prompt: Anche piccole riformulazioni di prompt generici (senza direttive di preferenza) hanno causato variazioni misurabili nel WER degli SpeechLLM (ad esempio, Phi-4), evidenziando la loro sensibilità alla formulazione del prompt.

Significatività e Rivendicazioni
Il paper sostiene che Preference-ASR è il primo set di test che condiziona il ground truth su esplicite istruzioni di formattazione specificate dall'uomo, esponendo così differenze di qualità che i benchmark tradizionali perdono. Gli autori sostengono che, con l'evoluzione degli SpeechLLM, la valutazione deve andare oltre i riferimenti fissi per testare direttamente le capacità di seguire le istruzioni. I risultati evidenziano un compromesso critico: sebbene i modelli possano seguire le istruzioni di formattazione, faticano a bilanciare il contesto del prompt testuale con l'evidenza acustica, portando ad allucinazioni nel riconoscimento delle entità. Gli autori concludono che gli attuali benchmark sono insufficienti per l'era degli SpeechLLM e che il lavoro futuro dovrà affrontare le preferenze multi-speaker e gli scenari multilingue.

Limitazioni
Gli autori riconoscono che il dataset è esclusivamente in inglese, non copre ancora le preferenze multi-speaker e ha richiesto la verifica manuale dei testi generati da LLM, in particolare per i compiti di normalizzazione in cui il contesto acustico non può essere inferito solo dal testo.