Closing the Modality Reasoning Gap for Speech Large Language Models

Titel: Het sluiten van de redeneergap tussen modaliteiten voor Spraak-Grote Taalmodellen (Speech LLMs)

Auteurs: Chaoren Wang et al. (CUHK-Shenzhen & Microsoft)
Kernonderwerp: Reinforcement Learning (RL) voor het aligneren van redeneertrajecten in spraak- en tekstmodellen.

1. Het Probleem: De Modality Reasoning Gap

Ondanks de snelle vooruitgang bij Speech Large Language Models (Speech LLMs), bestaat er een aanzienlijke prestatiedaling bij redeneringstaken wanneer de invoer spraak is in plaats van tekst. Dit fenomeen wordt de "modality reasoning gap" genoemd.

• Oorzaak: De gap wordt veroorzaakt door twee factoren:
  1. Representational Drift: Er treedt een verschuiving op in de verborgen staten (hidden states) tussen de Transformer-lagen wanneer het model van tekst naar spraak schakelt. De logische progressie van het redeneren wijkt af van die van het tekstmodel.
  2. Gedragsafwijkingen: Bij lange redeneerketens (long-chain reasoning) versterken kleine discrepanties zich, wat leidt tot fouten die niet voorkomen bij tekst-invoer.
• Beperkingen van bestaande methoden:
  • Input-fusie: Het trainen van lichte adapters om spraak naar tekst-embeddings te projecteren lost de drift in de diepere lagen niet op.
  • Output-supervisie (SFT/KD): Methoden die het model dwingen om exact dezelfde tokens te genereren als een tekstmodel (off-policy), lijden onder exposure bias. Als het model één fout maakt, komt het in een ongecontroleerde staat terecht en kan het niet meer corrigeren.

2. Methodologie: TARS Framework

De auteurs introduceren TARS (Trajectory Alignment for Reasoning in Speech), een Reinforcement Learning (RL) framework dat gebruikmaakt van on-policy exploratie om de redeneertrajecten van spraak en tekst te aligneren zonder de architectuur te wijzigen.

A. Asymmetrisch Reward-ontwerp

In plaats van alleen te kijken naar het juiste antwoord (task accuracy), gebruikt TARS een totale reward ($R_{total}$) die bestaat uit drie componenten:
$$R_{total} = R_{base} + \alpha \cdot R_{rep} + \beta \cdot R_{beh}$$

1. Base Reward ($R_{base}$): Optimaliseert de taaknauwkeurigheid en output-formaat (gebaseerd op GRPO).
2. Representation Alignment ($R_{rep}$):
   • Doel: Mitigeren van representational drift.
   • Mechanisme: Berekent de cosine-similariteit tussen de gemiddelde verborgen staten (hidden states) van de spraak- en teksttrajecten per Transformer-laag.
   • Effect: Dit levert een dichte feedback op die het model helpt om de interne redeneerlogica van de spraakmodaliteit te laten overeenkomen met die van de tekst.
3. Behavior Alignment ($R_{beh}$):
   • Doel: Zorgen voor semantische consistentie in het eindresultaat.
   • Mechanisme: Gebruikt een externe embedding-model om de semantische gelijkenis te meten tussen de gegenereerde spraak-antwoorden en de referentie-tekstantwoorden.
   • Effect: Dit levert semantische feedback op, zelfs als de exacte token-volgorde verschilt, waardoor het model flexibeler kan redeneren zolang de betekenis klopt.

B. Reinforcement Learning Strategie

• Algoritme: Het framework maakt gebruik van Group Relative Policy Optimization (GRPO).
• On-policy Training: Het model genereert zowel spraak- als tekst-completies voor dezelfde prompt. De tekst-completies dienen als een "bewegende referentie" (teacher) voor de spraak-completies.
• Modality-Specific Normalization: Omdat tekst-completies van nature hogere base-rewards halen dan spraak, normaliseert TARS de voordelen (advantages) binnen elke modaliteit apart. Dit voorkomt dat spraak-completies consequent negatieve voordelen krijgen, wat leren zou onderdrukken.

3. Belangrijkste Bijdragen

1. On-policy Traject-Alignement: Een nieuw RL-framework dat de redeneertrajecten van spraak en tekst direct aligneert, waardoor de modality reasoning gap wordt gesloten zonder de basisarchitectuur aan te passen.
2. Asymmetrische Dichte Rewards: Introductie van een unieke reward-structuur met twee complementaire signalen:
   • Representation Alignment: Vermindert drift in de interne lagen.
   • Behavior Alignment: Garandeert semantische consistentie in de output.
3. State-of-the-Art Prestaties: Het bereiken van nieuwe topprestaties op complexe redeneringsbenchmarks voor modellen van 7B parameters.

4. Resultaten

De methode is geëvalueerd op twee uitdagende benchmarks: MMSU (multi-domein kennis en redenering) en OBQA (elementaire wetenschap en gezond verstand).

• Prestaties:
  • Bij het Qwen2.5-Omni model (7B) bereikte TARS een gemiddelde spraaknauwkeurigheid van 76,84% en een Modality Recovery Rate (MRR) van 98,89%. Dit is een aanzienlijke verbetering ten opzichte van bestaande methoden zoals SALAD (66,30%) en Knowledge Distillation (72,87%).
  • Bij het Phi-4-MM model (7B) bereikte TARS een spraaknauwkeurigheid van 79,80%, wat zelfs hoger is dan de oorspronkelijke tekstnauwkeurigheid (78,39%), resulterend in een MRR van 100,45%.
• Analyse van de componenten:
  • Alleen $R_{rep}$ (representatie) verhoogde de MRR van 92,21% naar 95,56%.
  • Alleen $R_{beh}$ (gedrag) bracht het dicht bij volledige herstel (99,22%).
  • De combinatie van beide leverde de beste resultaten op, wat aantoont dat ze complementair zijn.
• Tekstcapaciteit: De verbetering in spraakprestaties ging niet ten koste van de tekstprestaties; de tekstnauwkeurigheid nam zelfs toe, wat suggereert dat kennis uit spraak het tekstredeneren versterkt.
• Generalisatie: De methode werkt ook goed op real-world spraak met verschillende accenten (SD-QA) en behoudt paralinguïstische kenmerken (zoals prosodie), in tegenstelling tot methoden die puur op tekstpatronen vertrouwen.

5. Significatie en Conclusie

Dit paper biedt een oplossing voor een fundamenteel probleem in multimodale AI: het feit dat spraakmodellen minder goed redeneren dan hun tekst-equivalenten.

• Technische Innovatie: Door te focussen op het aligneren van het traject (het proces van redeneren) in plaats van alleen het eindantwoord, en door gebruik te maken van dichte, on-policy rewards, overwint TARS de beperkingen van traditionele supervised fine-tuning.
• Praktische Impact: De resultaten tonen aan dat end-to-end spraakmodellen, wanneer ze op deze manier worden getraind, superieur kunnen zijn aan cascade-systemen (ASR + TekstLLM), omdat ze fouten in de spraakherkenning kunnen compenseren door robuuster redeneren.
• Toekomst: Hoewel de methode succesvol is op 7B-modellen, blijft de schaalbaarheid naar grotere of kleinere modellen een open vraag. Ook is de huidige focus op single-turn redenering; multi-turn dialogen brengen extra dynamiek met zich mee.

Kortom, TARS bewijst dat door de interne representaties en het externe gedrag van spraakmodellen actief te aligneren met die van tekstmodellen via Reinforcement Learning, de kloof in redeneervermogen effectief kan worden gedicht.