Mind the Pause: Disfluency-Aware Objective Tuning for Multilingual Speech Correction with LLMs

Riepilogo Tecnico: Prestare Attenzione alle Pause

Enunciato del Problema
I sistemi di Riconoscimento Automatico del Parlato (ASR) preservano frequentemente le disfluenze del parlato spontaneo, come riempitivi (ad esempio, "eh", "mm"), ripetizioni, inizi falsi e auto-correzioni. Sebbene questi artefatti siano naturali nella conversazione umana, la loro presenza nelle trascrizioni ASR ne riduce la leggibilità e ostacola significativamente le applicazioni di elaborazione del linguaggio naturale (NLP) a valle, inclusi chatbot, assistenti vocali e traduzione automatica.

Gli approcci esistenti trattano principalmente la gestione delle disfluenze come un problema di rilevamento seguito da cancellazione. Sebbene efficaci nell'identificare i token disfluenti, questi metodi spesso interrompono la struttura grammaticale e la coerenza semantica, risultando in frasi non grammaticali o frammentate. Inoltre, sebbene i Modelli Linguistici di Grande Dimensione (LLM) siano stati esplorati per il rilevamento delle disfluenze o l'aumento dei dati, non sono stati pienamente integrati in una pipeline di correzione completa che preservi il significato rimuovendo al contempo gli artefatti. L'analisi empirica presentata nel documento rivela che persino i sistemi ASR all'avanguardia (ad esempio, Whisper v3 Large, AI4Bharat Indic Conformer) non riescono a normalizzare coerentemente queste disfluenze, lasciando circa il 30% delle frasi trascritte contenente almeno una disfluenza. Questa persistenza causa un degrado misurabile nei compiti a valle, riducendo l'accuratezza nella risposta alle domande di 0,5–1,6 punti e la qualità della traduzione automatica di 2–4,7 punti BLEU.

Metodologia
Gli autori propongono una pipeline di correzione delle disfluenze multilingue che unifica il rilevamento a livello di token con la generazione tramite LLM istruiti, potenziata da un nuovo obiettivo di apprendimento contrastivo. Il framework opera in tre fasi principali:

1. Rilevamento delle Disfluenze (MuRIL): Un tagger di sequenze basato su un encoder multilingue, specificamente MuRIL (Rappresentazioni Multilingue per le Lingue Indiane), viene fine-tunato per classificare i token come fluenti (0) o disfluenti (1). Questo modello fornisce segnali a livello di token che indicano quali parti della trascrizione ASR sono rumorose.
2. Fine-Tuning Istruzionale: Un LLM (testato con Llama-3.2-3B-Instruct e Qwen2.5-3B-Instruct) viene fine-tunato utilizzando un paradigma di esecuzione delle istruzioni. L'input per l'LLM è composto da:
   • Un'istruzione in linguaggio naturale che definisce il compito.
   • La trascrizione ASR disfluenta originale.
   • Le etichette a livello di token previste da MuRIL.
   • Un elenco di token disfluenti identificati.
     L'output target è la corrispondente frase di riferimento fluente. Questa configurazione guida l'LLM a riscrivere il testo condizionandolo esplicitamente sui segnali di disfluenza rilevati.
3. Obiettivo di Apprendimento Contrastivo: Per affrontare il limite per cui i modelli addestrati esclusivamente con la perdita di entropia incrociata rigenerano occasionalmente token disfluenti nonostante ricevano le etichette, gli autori introducono una componente di perdita contrastiva. Questo obiettivo penalizza esplicitamente il modello se l'output generato contiene token identificati come disfluenti. La funzione di perdita totale combina la standard entropia incrociata ($L_{CE}$) con una penalità contrastiva ($L_{contrastive}$):
   $$L_{totale} = L_{CE} + \lambda \cdot L_{contrastive}$$
   Il termine contrastivo calcola la probabilità di generare token disfluenti noti e applica una penalità, spingendo efficacemente la generazione del modello lontano dai pattern disfluenti mentre la avvicina agli obiettivi fluenti.

Contributi Chiave

• Perdita Contrastiva per il Tuning Consapevole delle Disfluenze: Il documento introduce un obiettivo multi-perdita che combina l'entropia incrociata con una penalità contrastiva. Questo scoraggia esplicitamente la rigenerazione di token disfluenti noti, una capacità spesso assente nel tuning istruzione standard.
• Prima Pipeline di Correzione Basata su LLM: A differenza di lavori precedenti focalizzati sul solo rilevamento o su architetture encoder-decoder (ad esempio, mBART), questo lavoro presenta la prima pipeline completa che integra segnali di rilevamento a livello di token con LLM istruiti per la correzione multilingue.
• Rilevamento e Correzione Congiunti in Contesti Multilingue: Il framework addestra MuRIL per il tagging di sequenze e alimenta sia la trascrizione disfluenta che le etichette previste in un LLM. Questo evita le insidie della cancellazione manuale dei token, garantendo la generazione di frasi ben formate che preservano l'integrità semantica.

Risultati
Il sistema è stato valutato su tre lingue indiane: Hindi, Bengalese e Marathi, utilizzando sia dati sintetici modificati manualmente che trascrizioni ASR reali.

• Miglioramenti delle Prestazioni: L'approccio contrastivo proposto ha costantemente superato basi solide, inclusi il fine-tuning istruzione multilingue e mBART.
  • Rispetto all'addestramento non contrastivo, il metodo ha ottenuto un miglioramento di +1,97 BLEU (mediato su modelli e lingue).
  • Rispetto al fine-tuning istruzione multilingue, ha ottenuto un miglioramento di +6,16 BLEU.
  • Rispetto a mBART, ha ottenuto un miglioramento di +8,54 BLEU.
• Confronto tra Modelli: Il backbone Qwen2.5-3B-Instruct ha beneficiato in modo più significativo dell'obiettivo contrastivo rispetto a Llama-3.2-3B-Instruct, mostrando guadagni maggiori nei punteggi BLEU e chrF2.
• Impatto a Valle: Gli output corretti hanno recuperato la maggior parte del divario prestazionale tra input disfluenti e fluenti nei compiti a valle (Risposta alle Domande, Traduzione Automatica e Text-to-Speech), confermando l'utilità pratica.
• Confronto con Modelli Proprietari: Il modello contrastivo da 3 miliardi di parametri ha eguagliato o superato GPT-4o (in condizioni di prompting zero-shot e few-shot) in 4 su 6 condizioni di valutazione e ha superato sostanzialmente Gemini 2.5 Pro in tutte e tre le lingue.

Significato e Affermazioni
Il documento afferma che le strategie di solo rilevamento sono insufficienti per una correzione di alta qualità delle disfluenze. Combinando segnali a livello di token con il tuning istruzione e l'apprendimento contrastivo, gli autori forniscono una soluzione scalabile e agnostica rispetto alla lingua per i sistemi NLP multilingue guidati dal parlato. Il lavoro dimostra che un addestramento contrastivo specifico per il compito è necessario per gestire la ricchezza morfologica e la complessità sintattica delle disfluenze indiane, una sfida che l'aumento della dimensione del modello o il prompting avanzato da soli non possono risolvere. Gli autori sottolineano che il loro approccio colma efficacemente il divario tra rilevamento e generazione, producendo testo fluente che preserva il significato e migliora l'affidabilità delle applicazioni a valle.