Elderly-Contextual Data Augmentation via Speech Synthesis for Elderly ASR

1. Enunciato del Problema

I sistemi di Riconoscimento Automatico del Volo (ASR) subiscono un significativo degrado delle prestazioni quando applicati a parlanti anziani (ASR per anziani o EASR). Questo divario è guidato da due fattori principali:

• Scarsità di Dati: I corpora pubblici (ad esempio, Common Voice) contengono pochissimi parlanti nella categoria "anziani avanzati" (età 70+). I dataset esistenti sono spesso dominati da discorsi scriptati o letti, non riuscendo a catturare i modelli conversazionali naturali.
• Caratteristiche Acustiche/Linguistiche Distinte: Il discorso degli anziani presenta tratti fisiologici e linguistici unici, inclusi ritmi di eloquio più lenti, pause aumentate, articolazione instabile, raucedine e disturbi legati all'età (ad esempio, disartria). Inoltre, vi sono cambiamenti a livello di popolazione nella diversità lessicale e nell'organizzazione del discorso che i modelli ASR standard non riescono a catturare.

Le tecniche tradizionali di aumento dei dati (come la perturbazione della velocità o SpecAugment) affrontano la variabilità acustica ma non risolvono il mismatch contestuale e lessicale tra i dati di addestramento di dominio generale e i modelli linguistici specifici degli anziani.

2. Metodologia

Gli autori propongono una nuova pipeline di aumento dei dati che combina i Modelli Linguistici su Larga Scala (LLM) per la generazione di testo con la sintesi Text-to-Speech (TTS) per creare dati sintetici di discorso anziano.

A. Panoramica della Pipeline

Il framework opera in tre fasi sequenziali:

1. Parafrasi Contestualizzata per Anziani (LLM):
   • Data una trascrizione originale $t_i$, un LLM genera una versione parafrasata $t'_i$ specificamente adattata ai contesti degli anziani.
   • Prompt Engineering: All'LLM viene istruito di:
     • Riscrivere la frase per adattarla a un formato CSV (per una generazione strutturata).
     • Rispettare i vincoli di lunghezza (3–20 parole).
     • Crucialmente: Aggiustare il tono e il contenuto per riflettere il discorso frequentemente usato dalle persone anziane (ad esempio, cambiando "figlio" in "nipote", aggiungendo toni retrospettivi o didattici).
2. Sintesi del Discorso (TTS):
   • La trascrizione contestualizzata per anziani $t'_i$ generata viene convertita in audio sintetico $a'_i$ utilizzando un modello TTS (OpenVoice2).
   • Condizionamento del Parlante: La sintesi è condizionata su un pool curato di parlanti di riferimento anziani ($S_{ref}$). Il sistema bilancia l'assegnazione dei parlanti per garantire che caratteristiche acustiche diverse (genere e accenti regionali) siano rappresentate.
3. Fine-Tuning del Modello:
   • Le coppie audio-testo sintetiche vengono fuse con il dataset originale per formare un set di addestramento.
   • Questo dataset combinato viene utilizzato per il fine-tuning del modello ASR Whisper senza modificarne l'architettura.

B. Configurazione Sperimentale

• Dataset:
  • Inglese: Common Voice 18.0 (CV18), filtrato per parlanti di età 70+ (12 ore di dati).
  • Coreano: VOTE400, un dataset di parlanti di età 75+ raccolti da istituti di welfare per anziani (10 ore di dati).
• Modelli: Whisper (Small, Medium, Large-v2, Large-v3) come backbone; GPT-5, GPT-4o e Gemini 3 Flash per la generazione del testo.
• Metriche: Tasso di Errore delle Parole (WER) per l'inglese; Tasso di Errore dei Caratteri (CER) per il coreano.

3. Contributi Chiave

1. Nuovo Framework: Propone la prima pipeline di aumento per EASR che integra la generazione di testo contestualizzata per anziani basata su LLM con la TTS, affrontando simultaneamente i divari acustici e linguistici.
2. Miglioramenti delle Prestazioni: Dimostra che questo metodo supera significativamente i baseline di aumento convenzionali (perturbazione della velocità, SpecAugment) e gli approcci basati solo su TTS.
3. Analisi Completa: Fornisce indicazioni empiriche su fattori critici di generazione:
   • Rapporto di Aumento: Le prestazioni migliorano monotonicamente con rapporti più elevati, con un aumento del 100% che produce i migliori risultati.
   • Composizione del Parlante: Una miscela equilibrata di parlanti di riferimento maschili e femminili (4F+4M) produce risultati superiori rispetto a pool sbilanciati per genere.
   • Selezione dell'LLM: LLM più grandi e avanzati (GPT-5) generano parafrasi di qualità superiore, portando a migliori prestazioni ASR.

4. Risultati Sperimentali

• Risultati Principali:
  • Sul dataset CV18 (Inglese), il metodo proposto ha ridotto il WER dal 4,1% (Baseline) al 2,2%, una riduzione relativa del 46,3%.
  • Sul dataset VOTE400 (Coreano), il WER è sceso dall'11,6% al 5,2%, una riduzione relativa del 55,2%.
  • Rispetto alla baseline Whisper, il metodo ha raggiunto una riduzione relativa dei tassi di errore fino al 58,2%.
• Confronto con i Baseline:
  • Il metodo proposto (LLM+TTS) ha superato significativamente l'aumento basato solo su TTS e le aumentazioni standard a livello di segnale (Speed Perturbation, SpecAugment).
  • La combinazione del metodo proposto con SpecAugment ha prodotto le prestazioni assolute migliori (2,1% WER su CV18).
• Efficienza della Dimensione del Modello: L'aumento è stato particolarmente efficace per i modelli più piccoli. Whisper-Small aumentato con questo metodo ha superato le prestazioni di base di modelli molto più grandi (ad esempio, Whisper-Large-v2) sul dataset inglese.
• Analisi Qualitativa:
  • Il metodo ha corretto con successo ambiguità fonetiche (ad esempio, distinguere "nipote" da "e figlio") ed errori di vocabolario specifici del dominio.
  • L'LLM ha introdotto con successo diverse variazioni contestuali per anziani (ad esempio, passando da affermazioni neutre a toni didattici o basati su preoccupazioni), sebbene alcuni output abbiano occasionalmente fatto affidamento su stereotipi.

5. Significato e Conclusione

Questo lavoro affronta un collo di bottiglia critico nell'interazione uomo-computer per la popolazione che invecchia: la mancanza di dati di addestramento rappresentativi per l'EASR. Sfruttando gli LLM per simulare le sfumature linguistiche e contestuali del discorso anziano (non solo la voce acustica), gli autori dimostrano che i dati sintetici possono colmare efficacemente il divario di prestazioni.

Lo studio stabilisce che:

1. Il contesto conta: Sintetizzare semplicemente il discorso non è sufficiente; il testo deve riflettere i modelli discorsivi specifici degli anziani.
2. Scalabilità: L'approccio è altamente efficace attraverso diverse dimensioni di modello e lingue (inglese e coreano).
3. Praticità: Offre un percorso praticabile per migliorare l'affidabilità ASR per gli anziani senza richiedere massicci nuovi sforzi di raccolta dati, che sono spesso ostacolati da vincoli di privacy e logistici.

Il lavoro futuro suggerito dagli autori include l'espansione a più lingue, il raffinamento del prompt engineering per ridurre gli output stereotipati e l'esplorazione di un'integrazione più stretta tra modelli generativi e loop di addestramento ASR.