Joint Speech and Text Training for LLM-Based End-to-End Spoken Dialogue State Tracking

Technische Samenvatting: Gezamenlijke Spraak- en Teksttraining voor LLM-gebaseerde End-to-End Spoken Dialogue State Tracking

Probleemstelling
End-to-end (E2E) Spoken Dialogue State Tracking (DST) kampt met een significante bottleneck: de schaarste aan geannoteerde gesproken dialooggegevens die nodig zijn om robuuste modellen te trainen over diverse domeinen heen. Hoewel cascade-Automatic Speech Recognition (ASR) met tekstgebaseerde DST-modules een traditionele aanpak is, lijdt dit aan foutpropagatie en latentie. Recente E2E-methoden die direct dialoogstatussen voorspellen vanuit spraak met behulp van Large Language Models (LLMs) en spraakencoders hebben veelbelovende resultaten laten zien, maar worstelen met het generaliseren naar nieuwe domeinen zonder specifieke gesproken trainingsdata voor die domeinen. Het verzamelen van dergelijke domeinspecifieke gesproken data is kostbaar en arbeidsintensief. Daartegenover staat dat tekstuele DST-data overvloedig aanwezig en gemakkelijker te verwerven zijn, maar standaard E2E-spraakmodellen kunnen niet direct ongepaarde tekstuele data aanwenden om hun prestaties op gesproken inputs te verbeteren.

Methodologie
De auteurs stellen een Joint Speech and Text E2E DST-framework voor, ontworiment om cross-domein generalisatie mogelijk te maken zonder dat er gesproken trainingsdata uit de doeldomeinen vereist is. De kernarchitectuur bouwt voort op een baseline E2E-model (bestaande uit een spraakencoder, een connector en een LLM) door dit uit te breiden met een tekstencoder.

• Architectuur: Het model accepteert twee soorten inputs tijdens de training:
  1. Spraakpipeline: Gebruikersspraak wordt gecodeerd door een vooraf getrainde spraakencoder (bijv. WavLM), door een connector geleid en toegevoegd aan de embeddings van de dialooggeschiedenis voordat het de LLM ingaat.
  2. Tekstpipeline: Natuurlijke taalgebruikersvragen worden gecodeerd door een specifieke tekstencoder (een Transformer met dimensies die overeenkomen met de connector), door dezelfde connector geleid en vervolgens in de LLM gevoed.
• Trainingsstrategie: Het systeem maakt gebruik van een tweefasig trainingsproces:
  1. ASR Pretraining: De spraakencoder en de connector worden vooraf getraind op diverse spraakdata met behulp van een cross-entropy objectief, waarbij de LLM bevroren blijft.
  2. Joint Finetuning: De tekstencoder wordt geïntroduceerd en LoRA (Low-Rank Adaptation) lagen worden in de LLM geplaatst. De connector, de tekstencoder en de LoRA-parameters worden gezamenlijk gefinetuned.
• Verliesfunctie: Bij elke trainingsstap verwerkt het model een batch van spraak en een batch van tekst. De optimalisatie minimaliseert de som van drie cross-entropy losses:
  1. DST loss op gesproken data.
  2. DST loss op ongepaarde tekstuele data.
  3. DST loss op de transcriptie van de spraakbatch (om ervoor te zorgen dat de tekstencoder de spraakpipeline helpt bij het begrijpen van het doeldomein).
• Inference: Cruciaal is dat de tekstencoder tijdens de inference wordt weggegooid. Het model werkt uitsluitend op spraakinput, waardoor er geen extra latentie optreedt vergeleken met de baseline.

Belangrijkste Bijdragen en Resultaten
Het artikel presenteert experimenten op de SpokenWOZ en Speech-aware MultiWOZ datasets, die de effectiviteit van de voorgestelde methode aantonen:

• Cross-Domein Generalisatie: De methode slaagt erin modellen die getraind zijn op spraak uit een brondomein aan te passen om DST uit te voeren op doeldomeinen waar alleen tekstuele data beschikbaar is. Zo verbeterde de training op SpokenWOZ-spraak in combinatie met MultiWOZ-tekst de Joint Goal Accuracy (JGA) op de MultiWOZ-validatieset aanzienlijk ten opzichte van een baseline die alleen op SpokenWOK-spraak is getraind.
• Vergelijking met Alternatieven: De auteurs vergeleken hun aanpak met een strategie waarbij Text-To-Speech (TTS) wordt gebruikt om gesproken data uit tekst te synthetiseren. Ze stelden vast dat gezamenlijke teksttraining vergelijkbare resultaten behaalde als de TTS-aanpak, maar zonder de toegevoegde complexiteit en afhankelijkheid van hoogwaardige TTS-systemen, wat bijzonder voordelig is voor talen met weinig middelen.
• Mechanisme van Verbetering: Ablatiestudies toonden aan dat de verbeteringen voortkomen uit twee factoren: (1) het blootstellen van de LLM aan doeldomein dialoogstatussen via tekst, en (2) de actieve rol van de tekstencoder bij het helpen van de spraakpipeline om deze statussen uit natuurlijke taal te extraheren. Het simpelweg finetunen van LoRA op tekst zonder de tekstencoder leverde lagere prestaties op dan de volledige gezamenlijke aanpak.
• Schaalbaarheid: De voordelen van gezamenlijke teksttraining waren duidelijker zichtbaar bij grotere LLM's (bijv. Gemma-3-12B-it). In sommige gevallen bereikten de grotere modellen die met gezamenlijke tekst getraind waren prestaties op doeldomeinen die bijna identiek waren aan modellen die getraind waren op gepaarde spraakdata uit diezelfde domeinen.
• Slot vs. Waarde Herkenning: Analyse gaf aan dat hoewel het toevoegen van tekst uit een andere stad (bijv. MultiWOZ New York data aan Cambridge-gebaseerde SpokenWOZ training) de herkenning van slot keys verbeterde, het niet noodzakelijkerwijs de herkenning van slot values (bijv. specifieke plaatsnamen) verbeterde, wat het onderscheid tussen structurele en inhoudelijke generalisatie benadrukt.

Betekenis
Het artikel beweert dat dit werk een praktische oplossing biedt voor het probleem van gegevensschaarste in spoken DST. Door gebruik te maken van de overvloed aan ongepaarde tekstuele DST-data, maakt de voorgestelde methode de creatie van multi-domein gesproken dialoogsystemen mogelijk zonder de buitensporige kosten van het verzamelen van gesproken data voor elk doeldomein. De auteurs benadrukken dat deze aanpak de toepassing van gevestigde tekstuele DST-verbeteringsstrategieën (zoals slot-augmentatie en parafrasering) indirect op spoken systemen mogelijk maakt, wat nieuwe wegen opent voor onderzoek naar scenario's met weinig middelen en multi-domein gesproken dialoog.