Joint Speech and Text Training for LLM-Based End-to-End Spoken Dialogue State Tracking

Sintesi Tecnica: Addestamento Congiunto di Speech e Testo per l'E2E Spoken Dialogue State Tracking basato su LLM

Problematica
L'End-to-End (E2E) Spoken Dialogue State Tracking (DST) affronta un collo di bottiglia significativo: la scarsità di dati annotati di dialogo parlato necessari per addestrare modelli robusti attraverso diversi domini. Sebbene l'approccio a cascata ASR (Automatic Speech Recognition) con moduli DST basati sul testo sia il metodo tradizionale, esso soffre di propagazione dell'errore e latenza. I recenti metodi E2E che prevedono direttamente gli stati del dialogo a partire dal parlato utilizzando Large Language Models (LLM) ed encoder per lo speech hanno mostrato potenziale, ma faticano a generalizzare su nuovi domini senza dati di addestramento specifici per il parlato di tali domini. La raccolta di tali dati parlati specifici per dominio è costosa e laboriosa. Al contrario, i dati DST testuali sono abbondanti e più facili da acquisire, tuttavia i modelli E2E standard per lo speech non possono sfruttare direttamente i dati testuali non accoppiati per migliorare le prestazioni sugli input parlati.

Metodologia
Gli autori propongono un framework Joint Speech and Text E2E DST progettato per consentire la generalizzazione cross-dominio senza richiedere dati di addestramento parlati dai domini target. L'architettura centrale si basa su un modello E2E di base (composto da un encoder per lo speech, un connettore e un LLM) potenziandolo con un text encoder.

• Architettura: Il modello accetta due tipi di input durante l'addestramento:
  1. Pipeline Speech: Lo speech dell'utente viene codificato da un encoder per lo speech pre-addestrato (es. WavLM), passato attraverso un connettore, e preposto agli embedding della cronologia del dialogo prima di entrare nell'LLM.
  2. Pipeline Testo: Le query in linguaggio naturale dell'utente vengono codificate da un dedicato text encoder (un Transformer con dimensioni corrispondenti al connettore), passate attraverso lo stesso connettore e alimentate all'LLM.
• Strategia di Addestramento: Il sistema impiega un processo di addestramento in due fasi:
  1. Pre-addestramento ASR: L'encoder per lo speech e il connettore vengono pre-addestrati su dati speech diversificati utilizzando un obiettivo di cross-entropy, con l'LLM congelato.
  2. Fine-tuning Congiunto: Il text encoder viene introdotto e vengono inseriti strati LoRA (Low-Rank Adaptation) nell'LLM. Il connettore, il text encoder e i parametri LoRA vengono sottoposti a fine-tuning congiunto.
• Funzione di Perdita (Loss Function): Ad ogni step di addestramento, il modello elabora un batch di speech e un batch di testo. L'ottimizzazione minimizza la somma di tre perdite di cross-entropy:
  1. Perdita DST sui dati parlati.
  2. Perdita DST sui dati testuali non accoppiati.
  3. Perdita DST sulla trascrizione del batch di speech (per garantire che il text encoder aiuti la pipeline dello speech a comprendere il dominio target).
• Inferenza: Fondamentalmente, il text encoder viene scartato durante l'inferenza. Il modello opera esclusivamente su input speech, non introducendo latenza aggiuntiva rispetto al modello di base.

Contributi Chiave e Risultati
Il paper presenta esperimenti sui dataset SpokenWOZ e Speech-aware MultiWOZ, dimostrando l'efficacia del metodo proposto:

• Generalizzazione Cross-Dominio: Il metodo adatta con successo i modelli addestrati su speech di un dominio sorgente per eseguire il DST su domini target dove sono disponibili solo dati testuali. Ad esempio, l'addestramento su speech di SpokenWOZ combinato con il testo di MultiWOZ ha migliorato significativamente la Joint Goal Accuracy (JGA) sul set di validazione di MultiWOZ rispetto a un modello di base addestrato solo su speech di SpokenWOZ.
• Confronto con le Alternative: Gli autori hanno confrontato il loro approccio con una strategia che utilizza il Text-To-Speech (TTS) per sintetizzare dati parlati a partire dal testo. Hanno riscontrato che l'addestramento congiunto del testo ottiene risultati comparabili all'approccio TTS, ma senza la complessità aggiuntiva e la dipendenza da sistemi TTS di alta qualità, il che è particolarmente vantaggioso per le lingue a basse risorse.
• Meccanismo di Miglioramento: Gli studi di ablazione hanno rivelato che i miglioramenti derivano da due fattori: (1) l'esposizione dell'LLM agli stati del dialogo del dominio target tramite il testo, e (2) il fatto che il text encoder aiuti attivamente la pipeline dello speech a estrarre tali stati dal linguaggio naturale. Il semplice fine-tuning di LoRA sul testo senza il text encoder produceva prestazioni inferiori rispetto al pieno approccio congiunto.
• Scalabilità: I benefici dell'addestramento congiunto del testo sono stati osservati essere più pronunciati con LLM più grandi (es. Gemma-3-12B-it). In alcuni casi, i modelli più grandi addestrati con il testo congiunto hanno raggiunto prestazioni sui domini target quasi identiche ai modelli addestrati su dati speech accoppiati provenienti dagli stessi domini.
• Riconoscimento di Slot vs Valore: L'analisi ha indicato che, mentre l'aggiunta di testo da una città diversa (es. dati MultiWOZ di New York all'addestramento basato su SpokenWOZ di Cambridge) ha migliorato il riconoscimento delle chiavi degli slot, non ha necessariamente migliorato il riconoscimento dei valori degli slot (es. nomi di luoghi specifici), evidenziando la distinzione tra generalizzazione strutturale e basata sul contenuto.

Significatività
Il paper sostiene che questo lavoro fornisce una soluzione pratica al problema della scarsità di dati nel DST parlato. Sfruttando l'abbondanza di dati DST testuali non accoppiati, il metodo proposto consente la creazione di sistemi di dialogo parlato multi-dominio senza il costo proibitivo di raccogliere dati parlati per ogni dominio target. Gli autori sottolineano che questo approccio permette l'applicazione indiretta di strategie consolidate di potenziamento del DST testuale (come l'augmentation degli slot e il paraphrasing) ai sistemi parlati, aprendo nuove strade per la ricerca in scenari di dialogo parlato multi-dominio e a basse risorse.