Closing the Modality Reasoning Gap for Speech Large Language Models

1. Il Problema: Il Divario di Ragionamento Modale

Nonostante i progressi significativi nei Speech Large Language Models (Speech LLMs), persiste un problema critico noto come "Modality Reasoning Gap" (divario di ragionamento modale).

• Fenomeno: Le prestazioni di ragionamento dei modelli quando elaborano input vocali sono marcatamente inferiori rispetto agli input testuali, anche quando l'architettura è unificata.
• Cause Identificate:
  1. Deriva Rappresentativa (Representational Drift): Le rappresentazioni nascoste (hidden states) negli strati del Transformer divergono tra i percorsi basati su audio e quelli basati su testo man mano che l'informazione viene elaborata.
  2. Deviazioni Comportamentali: Nei compiti di ragionamento a catena lunga (long-chain reasoning), gli errori iniziali o le discrepanze semantiche si amplificano, portando il modello a deviare dal percorso logico corretto.
• Limiti degli Approcci Esistenti:
  • Fusione a livello di input: Adattare solo gli adattatori (adapters) senza modificare il backbone LLM non risolve la deriva interna degli strati profondi.
  • Supervisione a livello di output (Off-policy): Metodi come la distillazione della conoscenza o il fine-tuning supervisionato (SFT) forzano il modello a imitare token specifici. Questo crea un obiettivo irraggiungibile (distribuzioni diverse) e soffre di bias di esposizione: un singolo errore di token spinge il modello in uno stato non supervisionato, causando una divergenza comportamentale.

2. Metodologia: TARS (Trajectory Alignment for Reasoning in Speech)

Per affrontare queste limitazioni, gli autori introducono TARS, un framework di Reinforcement Learning (RL) on-policy progettato per allineare le traiettorie di ragionamento basate su audio con quelle basate su testo.

A. Design Asimmetrico della Ricompensa

Il cuore di TARS è una funzione di ricompensa asimmetrica che combina tre segnali per le completazioni basate su audio ($y_{speech}$), mentre le completazioni testuali ($y_{text}$) vengono ottimizzate solo sulla ricompensa di base.
La ricompensa totale è definita come:
$$R_{total} = R_{base} + \alpha \cdot R_{rep} + \beta \cdot R_{beh}$$

1. Ricompensa di Base ($R_{base}$): Ottimizza l'accuratezza del compito e il formato dell'output (simile a DeepSeek-R1).
2. Allineamento delle Rappresentazioni ($R_{rep}$):
   • Misura la similarità geometrica (cosine similarity) degli stati nascosti a livello di strato tra la traiettoria audio e una traiettoria di riferimento testuale corretta.
   • Fornisce un segnale denso e a livello di rappresentazione interna, riducendo la deriva degli stati nascosti prima ancora che l'output finale venga generato.
3. Allineamento Comportamentale ($R_{beh}$):
   • Valuta la coerenza semantica tra l'output finale generato dall'audio e il riferimento testuale, utilizzando un modello di embedding esterno (es. Qwen3-Embedding).
   • Fornisce un segnale più sparso ma semantico, garantendo che il risultato finale sia logicamente equivalente.

B. Framework di Ottimizzazione (GRPO)

• Algoritmo: Utilizza Group Relative Policy Optimization (GRPO).
• Normalizzazione Specifica per Modaltà: Poiché le completazioni testuali tendono ad avere ricompense di base più alte rispetto a quelle audio, una normalizzazione globale penalizzerebbe costantemente l'audio. TARS introduce una normalizzazione separata per gruppo (audio vs testo) per calcolare il vantaggio ($\hat{A}_i$), permettendo a entrambe le modalità di migliorare rispetto alla propria baseline.
• Esplorazione On-Policy: A differenza della distillazione off-policy, TARS permette al modello di esplorare diverse traiettorie di ragionamento, correggendo dinamicamente gli errori durante il processo di generazione.

3. Contributi Chiave

1. Framework RL On-Policy per l'Allineamento: Un approccio che allinea le traiettorie di ragionamento senza richiedere modifiche architetturali al modello di base.
2. Ricompensa Asimmetrica Densa: Introduzione di due segnali complementari (allineamento rappresentativo e comportamentale) che guidano il modello anche quando l'accuratezza del compito è zero (situazione comune nel ragionamento audio iniziale).
3. Prestazioni SOTA: Dimostrazione che il metodo raggiunge lo stato dell'arte tra i modelli Speech LLM di scala 7B.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su benchmark di ragionamento complessi (MMSU e OBQA) utilizzando modelli base come Qwen2.5-Omni e Phi-4-MM (entrambi ~7B).

• Riduzione del Divario:
  • Su Phi-4-MM, TARS ha raggiunto un'accuratezza media audio del 79.80%, superando l'accuratezza testuale originale (78.39%) e ottenendo un Modality Recovery Rate (MRR) del 100.45%.
  • Su Qwen2.5-Omni, ha raggiunto un MRR del 98.89% con un'accuratezza audio del 76.84%, superando di gran lunga metodi basati su distillazione (KD) o allineamento tramite adapter (es. SALAD, AlignChat).
• Miglioramento Incrociato: Il metodo non solo migliora le prestazioni audio, ma migliora anche le prestazioni testuali (es. da 76.17% a 78.56% su Qwen2.5-Omni), indicando che l'apprendimento dalle modalità vocali rafforza il ragionamento generale.
• Analisi degli Strati: L'analisi mostra che l'allineamento delle rappresentazioni riduce significativamente la divergenza degli stati nascosti, specialmente negli strati intermedi e profondi del modello.
• Generalizzazione: Il modello mantiene la capacità di cogliere caratteristiche paralinguistiche (prosodia, accenti) e generalizza bene su compiti open-ended e dati vocali reali (SD-QA), a differenza dei prompt di tipo Chain-of-Thought che tendono a degradare queste capacità.

5. Significato e Impatto

Il lavoro di TARS rappresenta un passo fondamentale per l'evoluzione degli Speech LLM:

• Superamento del Bias di Esposizione: Sposta il paradigma dalla semplice imitazione di output (off-policy) all'allineamento dinamico del processo di ragionamento (on-policy).
• Validazione dell'Allineamento Interno: Dimostra che allineare gli stati interni del modello è cruciale quanto allineare l'output finale per compiti di ragionamento complessi.
• Efficienza: Nonostante l'aggiunta di segnali di ricompensa complessi, l'overhead computazionale è minimo (4.4% in più rispetto a GRPO standard), rendendo il metodo scalabile.
• Implicazioni Future: Suggerisce che per colmare il divario modale non basta "tradurre" l'audio in testo all'ingresso, ma è necessario addestrare il modello a mantenere la coerenza logica attraverso l'intera catena di trasformazione neurale, indipendentemente dalla modalità di input.

In sintesi, TARS dimostra che è possibile colmare il divario di ragionamento tra voce e testo non modificando l'architettura, ma attraverso un'ottimizzazione intelligente delle traiettorie di ragionamento tramite rinforzo, ottenendo modelli capaci di ragionare con la voce tanto quanto con il testo.