Sintesi Tecnica: Latent-IM per gli LLM per il parlato

Definizione del Problema

I sistemi classici di dialogo vocale separavano tradizionalmente la gestione del dialogo (stima dello stato e selezione della policy) dalla realizzazione della risposta (generazione). In questo paradigma, un gestore di dialogo manteneva uno stato di credenza (belief state) e selezionava un'azione, che veniva poi realizzata da una componente separata. Tuttavia, con l'evoluzione dei sistemi verso i Large Language Models (LLM), questa decomposizione è ampiamente scomparsa nelle rappresentazioni latenti del modello. Gli LLM moderni generano risposte end-to-end senza moduli di stato espliciti o policy d'azione.

La questione centrale affrontata da questo lavoro è se sia possibile recuperare un analogo interno della stima dello stato e del controllo dell'azione dalle rappresentazioni latenti di un LLM per il parlato congelato (frozen) per governare il comportamento conversazionale. Nello specifico, gli autori investigano se il modello possa essere guidato per eseguire specifiche "mosse" conversazionali (ad esempio, riconoscere, verificare, interrogare, spiegare, rispondere) e controllare il turn-taking (quando cedere la parola) senza effettuare il fine-tuning del backbone o utilizzare policy simboliche.

Metodologia: Latent-IM

Gli autori introducono Latent-IM, un framework che recupera l'interaction management (IM) dalle attivazioni del residual stream di un LLM per il parlato congelato. Il framework decompone il controllo della mossa in due problemi accoppiati: Selezione e Realizzazione.

1. Selezione: Predire la Prossima Mossa

Un controllore ricorrente leggero agisce come un "sidecar" al backbone congelato.

• Input: Il controllore legge le attivazioni mean-pooled del residual stream dal backbone in uno strato specifico ($\ell^*_{ctrl}$) per ogni turno di dialogo.
• Architettura: Utilizza un State-Space Model (SSM) selettivo per mantenere uno stato persistente in streaming attraverso i turni, aggiornando il proprio stato interno $z_t$ sulla base della rappresentazione del contesto corrente $x_t$.
• Output: Una testa lineare predice la prossima mossa conversazionale ($\hat{y}_t$) da una tassonomia di cinque mosse domain-general: acknowledge (riconoscere), check (verificare), explain (spiegare), query (interrogare), reply (rispondere). Una testa ausiliaria regredisce simultaneamente la lunghezza della risposta in log.
• Training: Il controllore viene addestrato utilizzando la cross-entropy della mossa successiva e la loss smooth-L1 sul set di addestramento, mentre il backbone rimane congelato.

2. Realizzazione: Espressione Causale della Mossa

Una volta selezionata una mossa, il framework utilizza lo steering delle attivazioni per realizzare causalmente tale mossa durante la generazione.

• Stima della Direzione: Per ogni tipo di mossa, gli autori stimano un vettore di "direzione della mossa" ($v_m$) nel residual stream. Questo è derivato dalla differenza nelle attivazioni tra l'inizio di una risposta e il token di contesto precedente. La direzione è calcolata utilizzando un approccio di discriminante di Fisher (PCA seguito da shrinkage di Ledoit-Wolf) sui dati di addestramento (MapTask) per massimizzare la separabilità delle classi.
• Meccanismo di Steering: Durante l'inferenza, la direzione della mossa selezionata viene iniettata nel residual stream in uno strato specifico ($\ell^*_m$) per ogni token generato:
  $$h^{\ell^*_m}(s) \leftarrow h^{\ell^*_m}(s) + \alpha c^{\ell^*_m} v^{\ell^*_m}_m$$
  dove $\alpha$ è un coefficiente di steering adimensionale e $c$ è un fattore di normalizzazione basato sulla mediana della norma del residuo.
• Controllo del Turn-Boundary: Una separata "direzione del confine di turno" ($v_{EOT}$) è derivata per controllare la lunghezza della risposta e quando il modello cede la parola. Coefficienti di steering positivi incoraggiano la terminazione, mentre coefficienti negativi prolungano la risposta.
• Gating Consapevole della Realizzazione: Il sistema impiega una regola di gating che trattiene lo steering per le mosse in cui il backbone performa naturalmente bene (es. reply) o dove lo steering potrebbe degradare le prestazioni (es. accorciare mosse ricche di contenuti come explain).

Contributi Chiave

1. Framework Latent-IM: Un sistema di gestione del dialogo end-to-end che opera senza etichette gold delle mosse o aggiornamenti del backbone. Combina la selezione della mossa e la sua realizzazione tramite attivazioni, superando altri baseline di controllo e eguagliando l'accuratezza end-to-end del Supervised Fine-Tuning (SFT).
2. Controllore in Streaming Leggero: Dimostra che un controllore leggero può recuperare lo stato conversazionale dalle attivazioni di un LLM congelato, superando i selettori basati su trascrizione attraverso tre dataset orientati al compito (MapTask, FindTask, CReST).
3. Direzioni Specifiche per Mossa Riutilizzabili: Deriva direzioni di attivazione che realizzano causalmente le azioni conversazionali. Queste direzioni, apprese da MapTask, si trasferiscono senza ricalibrazione a FindTask e CReST, superando il prompting, la selezione di candidati e i baseline di controllo al tempo di decoding.
4. Subspazio del Turn-Boundary: Identifica una direzione distinta che controlla causalmente la lunghezza della risposta, permettendo una variazione monotona della lunghezza media della risposta (da 71.3 a 10.4 parole) e l'integrazione con il gating consapevole della realizzazione per regolare il turn-taking.

Risultati

Il framework è stato valutato su tre modelli linguistici multimodali (Qwen2.5-Omni, Qwen3-Omni, Phi-4-Multimodal) attraverso tre dataset.

• Accuratezza della Selezione: Il controllore in streaming delle attivazioni ha raggiunto un'accuratezza media di selezione della mossa successiva di 0.60, superando i selettori basati su trascrizione (es. TF-IDF + logistic a 0.48) e i classificatori LLM few-shot. Si è avvicinato alle prestazioni di un baseline di Markov utilizzando la cronologia gold (0.65) sul dataset MapTask.
• Realizzazione Oracle: Quando fornito con la mossa target gold, Latent-IM ha migliorato l'accuratezza della realizzazione della mossa di 10.4 punti percentuali rispetto al baseline più forte (DeAL), raggiungendo un'accuratezza media del 60.0%.
• Controllo End-to-End: Nell'impostazione completamente autonoma (senza etichette gold all'inferenza), Latent-IM ha ottenuto un'accuratezza media della mossa end-to-end del 46.9%, superando leggermente il Supervised Fine-Tuning (SFT) al 46.6% e superando significativamente il backbone non steerato (34.4%) e i baseline di prompting.
• Controllo della Lunghezza: Lo steering lungo la direzione del turn-boundary ha permesso un controllo graduato sulla lunghezza della risposta, riducendo la lunghezza media da 71.3 parole a 10.4 parole mantenendo la fluidità.

Significato e Rivendicazioni

L'articolo sostiene che le attivazioni degli LLM per il parlato congelati fungono da interfaccia osservabile e causalmente controllabile per la gestione locale dell'interazione. Separando la selezione di una mossa conversazionale dalla sua realizzazione, Latent-IM recupera una classica decomposizione stato-azione all'interno dei moderni LLM senza richiedere aggiornamenti dei parametri.

Gli autori sottolineano che il loro approccio fornisce una pipeline di inferenza modulare e priva di etichette che può eguagliare le prestazioni del diretto Supervised Fine-Tuning. Notano che, sebbene il controllore attualmente imiti le scelte delle mosse umane, il framework è progettato per supportare future policy condizionate all'obiettivo che selezionano le mosse in base all'utilità del compito predetta piuttosto che alla probabilità di imitazione. Il lavoro suggerisce che lo "stato" di un dialogo è linearmente disponibile nel residual stream ed è leggibile in modo più affidabile di quanto possa essere tramite prompting, offrendo un nuovo percorso per controllare il comportamento degli LLM nei sistemi di dialogo vocale.