RECOVER: Robust Entity Correction via agentic Orchestration of hypothesis Variants for Evidence-based Recovery

1. Il Problema

Il riconoscimento automatico del parlato (ASR) moderno (es. Whisper, wav2vec 2.0) ottiene ottimi risultati sui benchmark generali, ma fatica significativamente con frasi di entità (nomi propri, marchi, terminologia specifica di dominio) che sono rare o assenti nei dati di addestramento.
In settori critici come finanza, medicina e controllo del traffico aereo, questi errori sono costosi. Il problema principale è che se un'entità viene completamente cancellata o corrotta nell'output "1-best" (la trascrizione principale) dell'ASR, i modelli di correzione basati su LLM (Large Language Models) spesso non hanno il segnale necessario per recuperare il termine corretto, portando a allucinazioni o correzioni eccessive se non vincolati.

2. Metodologia: RECOVER

Il paper propone RECOVER, un framework di correzione post-ASR basato su agenti intelligenti (agentic framework). Il sistema agisce come un agente che utilizza strumenti per correggere le trascrizioni in modo deterministico e sicuro.

L'architettura si compone di tre fasi principali e tre strumenti (tools) orchestrati da un agente:

A. Generazione di Ipotesi Multipla (Multi-Hypothesis Generation)

Invece di affidarsi a una singola trascrizione, il sistema genera N ipotesi (nel paper, N=5) partendo dallo stesso audio.

• Tecnica: Utilizza il temperature sampling su un modello Whisper-small con temperature variabili ($T \in \{0.0, 0.2, 0.4, 0.6, 0.8\}$).
• Obiettivo: Creare diversità nelle ipotesi in modo che gli errori siano complementari (un'entità mancante in un'ipotesi potrebbe essere presente correttamente in un'altra).

B. Recupero Dinamico dei Candidati Entità (Dynamic Entity Candidate Retrieval)

Poiché le liste di entità possono essere molto grandi (fino a 6.000+ frasi), non è efficiente inviarle tutte al LLM.

• Meccanismo: Viene utilizzato un sistema di scoring a tre segnali per selezionare i Top-K candidati (K=200) più rilevanti per ogni segmento audio:
  1. Corrispondenza Esatta: Conta le occorrenze esatte delle parole dell'entità nelle ipotesi.
  2. Similarità Fuzzy: Calcola la similarità di Levenshtein normalizzata (per recuperare errori di battitura, es. sitiva $\to$ cytiva).
  3. Corrispondenza Fonetica: Verifica se le chiavi fonetiche condividono un prefisso (per errori fonetici).
• I candidati vengono ordinati per punteggio e passati al LLM.

C. Orchestrazione Agente e Strumenti

Il sistema esegue tre strumenti sequenziali:

1. Tool 1: Fuse Hypotheses (Fusione delle Ipotesi): Combina le N ipotesi in un'unica trascrizione di base. Supporta quattro strategie:
   • 1-Best: Usa solo l'ipotesi greedy.
   • Entity-Aware Select: Sceglie l'ipotesi con il maggior numero di corrispondenze esatte con le entità candidate.
   • ROVER Ensemble: Allinea le ipotesi e fa un voto a maggioranza a livello di token.
   • LLM-Select: Delega al LLM la scelta della migliore variante base tra le N ipotesi.
2. Tool 2: Propose Corrections (Proposta di Correzioni): Un LLM (GPT-4o) riceve la trascrizione fusa e i Top-K candidati. Deve proporre solo modifiche di tipo find/replace per le entità, vietando riscritture generiche (grammatica, punteggiatura). L'output è un JSON strutturato con offset, span originali e sostituzioni.
3. Tool 3: Verify & Apply (Verifica e Applicazione): Ogni proposta del LLM passa attraverso guardrail deterministici prima di essere applicata:
   • La sostituzione deve esistere nella lista delle entità.
   • Cambiamenti solo di maiuscole/minuscole sono scartati.
   • Se gli offset sono errati, il sistema li ricalcola.
   • La similarità tra span originale e sostituzione deve essere alta (per evitare sostituzioni non correlate).
   • Le modifiche vengono applicate da sinistra a destra, evitando sovrapposizioni.

3. Contributi Chiave

• Diversità Multi-Ipotesi: Dimostrano che generare diverse ipotesi dallo stesso audio tramite temperature sampling rivela errori complementari sfruttabili per la correzione.
• Architettura Agente: Scomposizione del processo in tre tool specializzati (Fusione, Proposta, Verifica) orchestrati da un agente, separando l'analisi dalla correzione e dalla verifica.
• Strategie di Correzione: Confronto di quattro approcci (1-Best, Entity-Aware Select, ROVER, LLM-Select) all'interno dello stesso pipeline.
• Editing Vincolato: L'uso di un LLM strettamente vincolato a una lista di entità e validato da regole deterministiche per prevenire allucinazioni.

4. Risultati Sperimentali

Il framework è stato valutato su 5 dataset diversificati:

1. Earnings-21 (Finanza)
2. ATCO2 (Controllo Traffico Aereo)
3. Eka-Medical (Medicina)
4. Common Voice (Parlato Generale)
5. ContextASR-Bench (Dialoghi/Cinema)

Performance Principali:

• Riduzione dell'Errore: RECOVER ottiene una riduzione relativa dell'Entity-Phrase Word Error Rate (E-WER) tra l'8% e il 46% rispetto alla baseline (Whisper greedy).
• Recall: Aumento del recall delle entità fino a +22 punti percentuali. La correzione vincolata risolve principalmente cancellazioni e sostituzioni di entità.
• Strategia Migliore: LLM-Select è la strategia più consistente, ottenendo le migliori prestazioni su 4 dei 5 dataset, migliorando o mantenendo stabile l'WER complessivo.
• Impatto sull'WER Complessivo: Le strategie basate sulla selezione (1-Best, LLM-Select) preservano o migliorano l'WER generale. Al contrario, strategie di fusione come ROVER Ensemble possono degradare l'WER complessivo in domini rumorosi (es. ATCO2) a causa di un aumento di inserzioni spurie.
• Ablazione: Anche con un modello LLM più piccolo (GPT-4o-mini), si ottengono guadagni consistenti, sebbene inferiori rispetto a GPT-4o.

5. Significato e Conclusioni

Il lavoro dimostra che è possibile correggere in modo robusto gli errori delle entità in ASR anche quando si tratta di sistemi "black-box" senza accesso ai decoder interni.

• Robustezza: L'approccio agentic con guardrail deterministici risolve il problema delle allucinazioni degli LLM, rendendo il sistema sicuro per l'uso in produzione.
• Efficienza: L'uso di ipotesi multiple da un singolo modello ASR (Whisper-small) è un metodo economico ed efficace per recuperare entità perse o corrotte.
• Dominio Specifico: Il sistema è particolarmente efficace in scenari dove gli errori di entità sono critici (medicina, finanza), trasformando errori potenzialmente fatali in trascrizioni accurate senza compromettere la qualità generale del testo.

In sintesi, RECOVER stabilisce un nuovo standard per la correzione post-ASR, combinando la diversità delle ipotesi di decodifica con la potenza ragionante degli LLM, ma vincolata da regole rigide per garantire affidabilità.