💬 NLP

HATS: An Open data set Integrating Human Perception Applied to the Evaluation of Automatic Speech Recognition Metrics

Questo articolo introduce HATS, un nuovo dataset francese contenente errori di trascrizione percepiti da esseri umani provenienti da 143 annotatori, per investigare e valutare la correlazione tra le preferenze umane e varie metriche di riconoscimento automatico del parlato.

Autori originali: Thibault Bañeras Roux, Jane Wottawa, Mickael Rouvier, Teva Merlin, Richard Dufour

Pubblicato 2026-05-01

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Thibault Bañeras Roux, Jane Wottawa, Mickael Rouvier, Teva Merlin, Richard Dufour

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere un giudice in una gara di cucina. Due chef (chiamiamoli Chef A e Chef B) hanno preparato un piatto basato su una ricetta segreta. Il tuo compito è assaggiarli entrambi e decidere quale sia più vicino alla ricetta originale.

Nel mondo dei computer, è esattamente questo che fa il Riconoscimento Automatico del Discorso (ASR). Ascolta una persona che parla e cerca di scrivere le parole, proprio come uno chef che tenta di ricreare un piatto.

Per lungo tempo, l'unico modo per giudicare questi "chef computer" era contare gli errori. Se il computer scriveva "gatto" invece di "battuto", quello era un errore. Se scriveva "g-a-t-t-o" invece di "b-a-t-t-u-t-o", era anch'esso un errore. Questo è chiamato Tasso di Errore sulle Parole (WER). È come un giudice che conta solo quanti ingredienti mancano, senza assaggiare il sapore.

Il Problema: Il Giudice "Contatore" è Troppo Rigido

Gli autori di questo articolo sostengono che il giudice "contatore" non è molto bravo a capire cosa interessa davvero agli esseri umani. A volte, un computer commette un errore che cambia una parola ma mantiene il significato chiaro (come dire "Ho mangiato una mela" invece di "Ho mangiato una pera"). Un ascoltatore umano capirebbe la frase perfettamente, ma il giudice "contatore" la segna come un fallimento.

I ricercatori volevano sapere: Quale metrica informatica corrisponde davvero a ciò che un umano considera una trascrizione "buona"?

La Soluzione: L'Esperimento HATS

Per scoprirlo, il team ha creato un nuovo dataset chiamato HATS (Transcrizioni Valutate dall'Uomo a Confronto). Immagina questo come un enorme evento organizzato di degustazione.

L'Impostazione: Hanno raccolto 143 volontari umani.
Il Compito: Hanno riprodotto una registrazione di qualcuno che parlava. Poi, hanno mostrato ai volontari due trascrizioni diverse generate dal computer di quella stessa registrazione. Entrambe le trascrizioni contenevano errori.
La Scelta: I volontari dovevano scegliere quale delle due versioni scritte fosse "migliore" o più facile da capire. Non potevano dire "sono uguali". Dovevano scegliere un vincitore.

I ricercatori hanno scelto specificamente casi difficili in cui le due versioni al computer erano molto simili per qualità, costringendo gli umani a riflettere davvero sulle sfumature del linguaggio.

I Risultati: Cosa Preferivano gli Umani?

I ricercatori hanno poi confrontato le scelte degli umani con vari sistemi di punteggio informatici per vedere quale concordasse di più con gli umani.

Ecco cosa hanno scoperto, usando semplici analogie:

Il Vecchio Modo (WER/CER): Il tradizionale "Tasso di Errore sulle Parole" era come un giudice che conta solo quante lettere sono sbagliate. Ha performato male. Spesso sceglieva la trascrizione "peggiore" rispetto a ciò che gli umani preferivano.
Il Nuovo Modo (Metriche Semantiche): I ricercatori hanno testato metriche più intelligenti che guardano al significato delle parole, non solo all'ortografia. Hanno utilizzato strumenti come BERTScore e SemDist.
- Immagina BERTScore come un giudice che capisce che "grande" e "enorme" significano la stessa cosa, anche se le parole sono diverse.
- Immagina SemDist come un giudice che guarda l'intera struttura della frase per vedere se il "vibe" o il significato è corretto.

Il Vincitore: La metrica che ha concordato di più con i volontari umani è stata SemDist (in particolare utilizzando un modello chiamato Sentence-BERT). È stata la migliore nel prevedere quale trascrizione un umano avrebbe trovato più facile da capire.

Un Colpo di Scena Sorprendente: Il "Suono" del Testo

Una scoperta interessante riguardava il Tasso di Errore sui Fonemi (PhonER). Questa metrica conta gli errori in base a come le parole suonano (i loro suoni), non a come sono scritte.

Anche se gli umani leggevano solo il testo (non ascoltando l'audio), la metrica basata sul "suono" ha effettivamente previsto le scelte umane meglio della metrica basata sul "conteggio delle parole".
L'Analogia: È come se gli umani, mentre leggevano il testo, stessero "ascoltando" le parole nella loro testa in modo inconscio. Preferivano il testo che suonava giusto, anche se stavano solo guardando le lettere.

La Conclusione

L'articolo conclude che se vuoi sapere se un sistema da voce a testo è davvero buono per gli umani, non dovresti contare solo gli errori di ortografia. Hai bisogno di una metrica che capisca il significato e il flusso della frase.

Hanno reso i loro dati di "degustazione" (HATS) disponibili gratuitamente in modo che altri scienziati possano utilizzarli per costruire sistemi di riconoscimento vocale migliori e più amichevoli per gli umani.

Nota Importante: Gli autori avvertono che questo studio è stato condotto interamente in francese. Il fatto che queste regole funzionino per il francese non significa che funzionino automaticamente per l'inglese o altre lingue. Inoltre, poiché hanno scelto esempi molto difficili per il test, i dati potrebbero non rappresentare ogni singolo errore che un computer commette nel mondo reale.

1. Enunciato del Problema

I sistemi di Riconoscimento Automatico del Parlato (ASR) sono tradizionalmente valutati utilizzando il Tasso di Errore sulle Parole (WER) e il Tasso di Errore sui Caratteri (CER). Queste metriche contano il numero di parole o caratteri errati rispetto a una trascrizione di riferimento. Tuttavia, gli autori sostengono che queste metriche siano insufficienti perché:

Sono orientate al sistema piuttosto che orientate all'uomo.
Mancano di comprensione semantica (ad esempio, sostituire "gatto" con "cane" viene penalizzato allo stesso modo di "gatto" con "auto", anche se la prima potrebbe essere più comprensibile).
Non tengono conto del fatto che gli esseri umani possono spesso estrarre il significato da una frase nonostante gli errori di trascrizione, purché gli errori non siano fondamentali.

Esiste la necessità di metriche di valutazione che correlino più strettamente con la percezione umana della qualità della trascrizione, in particolare per le trascrizioni destinate al consumo umano (ad esempio, sottotitoli, messaggi).

2. Metodologia

Il Set di Dati HATS

Il contributo principale è la creazione di HATS (Human-Assessed Transcription Side-by-Side), un nuovo set di dati aperto per la lingua francese.

Fonte: Le trascrizioni sono state generate dal corpus di test REPERE (circa 10 ore di audio da trasmissioni radio/TV) utilizzando 10 diversi sistemi ASR (8 sistemi end-to-end basati su Speechbrain/wav2vec2/XLS-R e 2 sistemi DNN-HMM basati su Kaldi).
Protocollo di Annotazione:
- Compito: Un esperimento "side-by-side" in cui 143 partecipanti umani hanno ricevuto una trascrizione di riferimento scritta e due ipotesi automatiche (da diversi sistemi ASR).
- Vincolo: I partecipanti dovevano scegliere l'ipotesi "migliore". Non era loro consentito selezionare "uguale".
- Selezione degli Stimoli: Per garantire che il compito fosse impegnativo e informativo, le triple non sono state selezionate casualmente. Sono state filtrate in base a tre criteri:
  1. Le ipotesi devono differire tra loro e dal riferimento.
  2. Le ipotesi di tutti i sistemi sono state confrontate tra loro.
  3. Selezione basata su metriche: Le coppie sono state scelte per creare scenari specifici:
    - Punteggi uguali/Diversi: Le metriche concordano o discordano sulla qualità.
    - Conflitto di metriche: Una metrica favorisce l'Ipotesi A mentre un'altra favorisce l'Ipotesi B.
    - Ambiguità: Casi in cui WER/CER sono uguali ma le metriche semantiche differiscono.
Volume dei Dati: 1.000 triple riferimento-ipotesi, risultanti in 7.150 annotazioni totali (ogni tripla valutata da almeno 7 partecipanti).
Affidabilità Inter-valutatore: Il Kappa di Fleiss è stato 0,46, con l'82% delle triple che mostrava almeno il 71,4% di accordo tra gli umani, indicando che il compito è difficile ma gli umani possono identificare coerentemente l'opzione migliore.

Metriche di Valutazione Testate

Lo studio ha valutato quanto bene varie metriche automatiche si allineano con le scelte umane. Le metriche includevano:

Lessicali: WER, CER, Tasso di Errore sui Fonemi (PhonER).
Semantiche/Basate su Embedding:
- Tasso di Errore su Embedding (EmbER): WER ponderato dalla distanza coseno degli embedding delle parole (fastText).
- SemDist: Similarità coseno tra embedding a livello di frase (testato con CamemBERT, FlauBERT, SentenceBERT).
- BERTScore: Similarità a livello di token utilizzando embedding contestuali (testato con multilingual BERT, CamemBERT-base, CamemBERT-large).

Approccio di Analisi

Gli autori hanno calcolato il tasso di accordo tra la previsione della metrica (quale ipotesi è migliore) e il consenso umano.

Definizione di Consenso: L'accordo è stato calcolato come $\frac{\max(A, B)}{A + B}$ , dove $A$ e $B$ sono i conteggi di umani che scelgono l'Ipotesi A o B.
Filtraggio: I risultati sono stati analizzati in tre condizioni:
1. 100% di Accordo: Solo triple in cui tutti gli umani erano d'accordo.
2. 70% di Accordo: Triple con forte consenso.
3. 0% di Accordo (Completo): Nessun filtro applicato.

3. Risultati Chiave

La performance delle metriche è stata misurata dalla percentuale di volte in cui corrispondevano alla preferenza umana.

Tipo di Metrica	Migliore Metrica	Performance (70% di Accordo)	Risultati Chiave
Lessicale	CER	64%	Il CER ha superato il WER. Questo contraddice alcuni studi precedenti e potrebbe essere dovuto all'ortografia francese (lettere mute) o all'uso di riferimenti testuali scritti. Il WER ha performato vicino al caso casuale (53%) in questo set di dati.
Fonemica	PhonER	69%	Ha performato meglio di WER e CER, suggerendo che gli umani considerano inconsciamente la similarità fonetica anche quando leggono testo.
Semantica	SemDist (Sentence CamemBERT-large)	78%	La metrica con le prestazioni migliori. Ha costantemente superato le altre, probabilmente perché gli embedding Sentence-BERT sono specificamente addestrati per massimizzare la similarità semantica.
Semantica	BERTScore (CamemBERT-large)	68%	Ha performato bene ma leggermente meno di SemDist quando si utilizzano gli stessi modelli di embedding.

Osservazioni Notevoli:

Sensibilità degli Embedding: La scelta del modello di embedding impatta significativamente le prestazioni della metrica. Ad esempio, SemDist con FlauBERT-base (59%) ha performato peggio del CER (60%), mentre SemDist con Sentence CamemBERT-large (78%) è stato il migliore.
Disaccordo tra Metriche: Nei casi in cui WER e CER davano punteggi uguali, le metriche semantiche spesso fornivano il differenziale che si allineava alla scelta umana.
Percezione Umana: Gli umani sembrano dare priorità alla coerenza semantica e al flusso fonetico rispetto alla stretta accuratezza lessicale, che le metriche lessicali non riescono a catturare.

4. Contributi Chiave

Set di Dati HATS: Il rilascio di un set di dati su larga scala, annotato manualmente, di errori ASR in francese con etichette di preferenza umana. È il primo a utilizzare un protocollo side-by-side con 10 diversi sistemi ASR e criteri rigorosi di selezione degli stimoli.
Valutazione Empirica: Un benchmark completo delle metriche lessicali rispetto a quelle semantiche contro la percezione umana in francese.
Insight sull'ASR Francese: La scoperta che il CER è un miglior proxy per la percezione umana rispetto al WER nei contesti francesi, sfidando il dominio universale del WER.
Validazione della Metrica Semantica: Dimostrazione che SemDist (utilizzando embedding Sentence-BERT) è attualmente la metrica automatica più affidabile per prevedere la preferenza umana nella valutazione ASR.

5. Significato e Lavori Futuri

Significato: Lo studio fornisce una roadmap per spostare la valutazione ASR oltre il semplice conteggio degli errori verso una valutazione della qualità centrata sull'uomo. Convalida che le metriche basate su embedding sono necessarie per valutare trascrizioni destinate al consumo umano.
Limitazioni:
- Il set di dati è specifico per il francese; i risultati potrebbero non generalizzarsi ad altre lingue.
- Gli stimoli sono stati selezionati in base a criteri rigorosi, rendendo potenzialmente il set di dati meno rappresentativo degli errori "medi".
- Il riferimento era testo, non audio.
Direzioni Future:
- Ripetere l'esperimento con un riferimento audio per testare se il CER rimane superiore al WER quando vengono rimossi gli indizi visivi del testo.
- Sviluppare nuove metriche che bilancino la correlazione umana con l'efficienza computazionale e l'interpretabilità (un punto di forza attuale di WER/CER).
- Espandere il set di dati ad altre lingue per testare la generalizzabilità cross-linguistica.

In conclusione, il documento sostiene che, sebbene WER e CER rimangano utili per il loro basso costo e la loro interpretabilità, SemDist con Sentence-BERT è la metrica superiore per allineare la valutazione ASR alla percezione umana, e il set di dati HATS è una risorsa critica per lo sviluppo e la validazione di futuri metodi di valutazione.