Technische Samenvatting: Minimaliseren van de Modale Kloof aan de Invoerkant met TextPro-SLM

1. Probleemstelling

Gesproken Large Language Models (SLM's) worden voornamelijk geconstrueerd door voortdurend te trainen vanuit checkpoints van Tekst Large Language Models (TLM's) om redeneervermogen en taalbegrip uit te breiden naar gesproken interactie. Ondanks dat ze een backbone delen met krachtige TLM's, kampen SLM's met een aanzienlijke modale kloof, waarbij de prestaties van spraakgebaseerde vraag- en antwoordtaken (QA) aanzienlijk achterblijven bij tekstgebaseerde QA-prestaties (bijvoorbeeld tot een daling van 20% in benchmarks zoals GLM-4-Voice).

Vorig onderzoek heeft voornamelijk geprobeerd deze kloof te overbruggen aan de uitvoerkant, evoluerend van end-to-end generatie van spraaktokens naar "denker-spreker"-architecturen waarbij de LLM teksttokens genereert en een aparte module spraak synthetiseert. Hoewel deze benaderingen de prestaties verbeteren door het generatieproces af te stemmen op TLM-paradigma's, blijft de modale kloof bestaan. De auteurs stellen dat de resterende bottleneck aan de invoerkant ligt: in tegenstelling tot TLM's moeten SLM's zowel linguïstische inhoud als paralinguïstische aanwijzingen (prosodie, emotie, sprekeridentiteit) direct afleiden uit spraakrepresentaties, die vaak niet in een formaat aan de LLM worden gepresenteerd dat ze volledig kunnen benutten.

2. Methodologie

Het artikel stelt TextPro-SLM voor, een raamwerk ontworpen om de modale kloof te minimaliseren door gesproken invoer om te vormen tot een representatie die sterk lijkt op die van een prosodie-bewuste tekst-LLM. De kernfilosofie is om "wat er gezegd wordt" (semantische inhoud) te scheiden van "hoe het wordt gezegd" (paralinguïstische informatie) op het invoerniveau, in plaats van spraak te comprimeren tot één enkele latente stream.

2.1 WhisperPro: Een Unificatie Spraakencoder

Het eerste component is WhisperPro, een spraakencoder gebaseerd op Whisper-large-v3. In tegenstelling tot standaard ASR-modellen die lexische inhoud prioriteren, is WhisperPro getraind om twee gesynchroniseerde outputs te produceren:

1. Teksttokens: Accurate transcripties van de inhoud van de uiting.
2. Prosodie-embeddings: Token-gealigneerde embeddings die paralinguïstische informatie coderen (spreekstijl, emotie, klankkleur).

Architectuur en Training:

• Encoder: Gebruikt de 32-laagse Transformer encoder-decoder van Whisper-large-v3.
• Extractie: Prosodie-embeddings worden geëxtraheerd uit de verborgen toestanden van de 16e decoderlaag, gealigneerd met de gegenereerde teksttokens.
• Reconstructiedoelstelling: Om ervoor te zorgen dat de encoder paralinguïstische details behoudt, is een Mel-reconstructor (decoder) gekoppeld. Deze probeert het oorspronkelijke log-Mel-spectrogram te reconstrueren uit de gekoppelde teksttokens en prosodie-embeddings.
• Verliesfunctie: Het model wordt geoptimaliseerd met een multi-task doelstelling:
  $$L = L_{ASR} + \lambda L_{mel}$$
  waarbij $L_{ASR}$ de cross-entropy-verliesfunctie is voor transcriptie en $L_{mel}$ de Mean Squared Error (MSE)-verliesfunctie is voor spectrogramreconstructie. $\lambda$ is ingesteld op 1,0.
• Data: Getraind op 1.000 uur audio (LibriSpeech en CommonsenseQA), met gebruik van gepunctueerde transcripties en TTS-gesynthetiseerde QA-data om de robuustheid te verbeteren.

2.2 Prosodie-bewuste LLM-backbone

Het tweede component is een LLM-backbone (Qwen2.5-3B of 7B-Instruct) die getraind is om semantische capaciteiten te behouden terwijl het paralinguïstisch begrip leert.

Invoerformaat:
De LLM ontvangt de teksttranscriptie als primaire invoer, waarbij prosodie-informatie wordt ingebracht via twee strategieën:

1. Globale Prepending (Standaard): Prosodie-embeddings worden gemiddeld tot één vector op uitingniveau, geprojecteerd via een MLP, en voorafgeplakt aan de tekstsequentie.
2. Verwevenheid: Gecomprimeerde prosodie-embeddings worden op vaste intervallen tussen teksttokens ingevoegd om fijnmazigere prosodische variaties vast te leggen.

Trainingspijplijn:
De LLM wordt getraind met een tweestapspijplijn met twee gekoppelde doelstellingen:

1. Behoud van Semantische Intelligentie (Kennisdistillatie): Het model wordt gedistilleerd vanuit teacher-TLM's met behulp van alleen-tekstdatasets (UltraChat, CommonsenseQA) die via TTS naar spraak zijn geconverteerd. De student ontvangt de tekst+prosodie-invoer van WhisperPro, maar leert om de tekst-only-antwoorden van de teacher na te bootsen.
2. Paralinguïstisch Begrip: Het model wordt getraind op taken die betrekking hebben op sprekeremotie (SER), geslacht, leeftijd en accentdetectie met datasets zoals IEMOCAP, CREMA-D en Common Voice.

3. Belangrijkste Bijdragen

1. Minimaliseren van de Modale Kloof aan de Invoerkant: Het artikel verschuift de focus van generatiestrategieën aan de uitvoerkant naar representatie aan de invoerkant, met het argument dat het maken van spraakinvoer gelijken op een "prosodie-bewuste tekst-LLM" de sleutel is tot het verkleinen van de kloof.
2. WhisperPro-encoder: Introduceert een unificatie-encoder die gelijktijdig accurate transcripties en rijke, token-gealigneerde prosodie-embeddings output, getraind via een reconstructiedoelstelling om akoestische details te behouden zonder ASR-accuraatheid op te offeren.
3. Data-efficiëntie: Laat zien dat aanzienlijke winsten kunnen worden behaald met slechts ~1.000 uur audio-trainingsdata voor de LLM, in contrast met de enorme datasets die vaak nodig zijn voor end-to-end spraakmodellen.
4. Dual-stream Representatie: Stelt een ontwerp voor waarbij semantische en paralinguïstische informatie expliciet worden gescheiden en gesynchroniseerd, waardoor de LLM zijn native tekstverwerkingssterktes behoudt terwijl het prosodisch bewustzijn verworft.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op schalen van 3B en 7B parameters, waarbij TextPro-SLM werd vergeleken met toonaangevende SLM's (zoals GLM-4-Voice, Qwen2.5-Omni, Kimi-Audio) en cascaded baselines.

• Modale Kloof: TextPro-SLM behaalde de laagste gemiddelde modale kloof onder alle vergeleken SLM's.
  • TextPro-SLM-7B behaalde een gemiddelde kloof van 0,7%, wat significant beter presteerde dan SALAD-7B (7,1%) en Qwen2.5-Omni-7B (3,1%).
  • Op redeneringszware benchmarks (MMSU, OBQA) verkleinde TextPro-SLM de kloof tot bijna nul (bijvoorbeeld 0,7% op OBQA), terwijl andere modellen worstelden met klopen van meer dan 10-30%.
• Paralinguïstisch Begrip: TextPro-SLM behaalde state-of-the-art prestaties op paralinguïstische taken (Emotie, Geslacht, Leeftijd, Accent) onder de baselines, waarbij het 7B-model een gemiddelde nauwkeurigheid van 64,8% bereikte.
• Ablatiestudies:
  • Het verwijderen van Kennisdistillatie (KD) veroorzaakte een aanzienlijke daling in prestaties, wat de noodzaak bevestigt van het behoud van TLM-semantische capaciteiten.
  • Het verwijderen van het reconstructiedoel in WhisperPro verslechterde de paralinguïstische prestaties, wat het belang van het reconstructieverlies voor het coderen van prosodie valideert.
  • Het gebruik van de verweven invoer (verhouding 5:1) leverde vergelijkbare resultaten op als globale prepending, wat suggereert dat een compacte globale prosodievector vaak voldoende is.

5. Betekenis en Claims

Het artikel stelt dat TextPro-SLM de hypothese valideert dat de meest effectieve route naar sterkere Gesproken LLM's is om ze om te vormen tot prosodie-bewuste tekst-LLM's. Door spraakinvoer af te stemmen op tekststijl-representaties terwijl paralinguïstische aanwijzingen expliciet worden behouden, bereikt het model:

• Minimale Modale Kloof: Spraakgebaseerde prestaties benaderen tekstgebaseerde prestaties, met name in redeneertaken.
• Hoge Data-efficiëntie: De benadering vereist aanzienlijk minder audio-data (~1.000 uur) in vergelijking met eerdere methoden, wat suggereert dat de bottleneck architecturale afstemming is en niet datavolume.
• Praktisch Gebruik: De methode behoudt de sterke redeneercapaciteiten van de onderliggende TLM, waardoor SLM's betrouwbaarder worden voor algemene taken zonder het catastrofale vergeten dat vaak wordt gezien bij voortdurende training op spraakdata.

De auteurs merken beperkingen op, waaronder het huidige gebrek aan een spraaksynthesemodule (evaluaties zijn gebaseerd op tekstoutput), het gebruik van niet-streamende ASR (wat latentie introduceert), en de focus op een specifiek subset van paralinguïstische attributen in plaats van het volledige spectrum van gesproken aanwijzingen. Ze stellen echter dat deze afstemmingsstrategie aan de invoerkant een veelbelovende en efficiënte richting biedt voor de toekomstige ontwikkeling van SLM's.