Technische Samenvatting: Latent-IM voor Spraak-LLM's

Probleemstelling

Klassieke gesproken dialoogsystemen scheidden traditioneel dialoogbeheer (toestandschatting en beleidsselectie) van responsrealisatie (generatie). In dit paradigma onderhield een dialoogbeheerder een belief state en selecteerde een actie, die vervolgens door een aparte component werd gerealiseerd. Echter, naarmate systemen verschuiven naar Large Language Models (LLM's), is deze decompositie grotendeels verdwenen in de verborgen representaties van het model. Moderne LLM's genereren responsen end-to-end zonder expliciete state-modules of actiebeleid.

De centrale vraag die dit werk adresseert, is of een interne analogie van state-estimatie en actiecontrole kan worden teruggewonnen uit de verborgen representaties van een bevroren spraak-LLM om conversatiegedrag te sturen. Specifiek onderzoeken de auteurs of het model kan worden gestuurd om specifieke conversationele "moves" uit te voeren (bijv. erkennen, controleren, bevragen, uitleggen, antwoorden) en turn-taking te controleren (wanneer de beurt wordt overgedragen) zonder de backbone te finetunen of symbolische policies te gebruiken.

Methodologie: Latent-IM

De auteurs introduceren Latent-IM, een framework dat interactiebeheer (IM) terugwint uit de residual-stream activaties van een bevroren spraak-LLM. Het framework deelt de controle over moves op in twee gekoppelde problemen: Selectie en Realisatie.

1. Selectie: De volgende move voorspellen

Een lichtgewicht, recurrente controller fungeert als een "sidecar" bij de bevroren backbone.

• Input: De controller leest de gemiddeld gepoolde residual-stream activaties van de backbone op een specifieke laag ($\ell^*_{ctrl}$) voor elke dialoogbeurt.
• Architectuur: Het maakt gebruik van een selectieve State-Space Model (SSM) om een persistente stromende staat te behouden over beurten heen, waarbij de interne staat $z_t$ wordt bijgewerkt op basis van de huidige contextrepresentatie $x_t$.
• Output: Een lineaire head voorspelt de volgende conversationele move ($\hat{y}_t$) uit een taxonomie van vijf domein-generale moves: erkennen, controleren, uitleggen, bevragen, antwoorden. Een hulp-head regresseert gelijktijdig de log-responslengte.
• Training: De controller wordt getraind met next-move cross-entropy en smooth-L1 loss op de trainingssplit, terwijl de backbone bevroren blijft.

2. Realisatie: Causale Move-expressie

Zodra een move is geselecteerd, gebruikt het framework activation steering om die move causaal te realiseren tijdens de generatie.

• Richting-estimatie: Voor elk type move schatten de auteurs een "move richting" vector ($v_m$) in de residual stream in. Deze wordt afgeleid van het verschil in activaties tussen het begin van een respons en de voorafgaande context-token. De richting wordt berekend met een Fisher discriminant aanpak (PCA gevolgd door Ledoit-Wolf shrinkage) op de trainingsdata (MapTask) om de klasse-scheidbaarheid te maximaliseren.
• Sturingsmechanisme: Tijdens inferentie wordt de geselecteerde move-richting geïnjecteerd in de residual stream op een specifieke laag ($\ell^*_m$) voor elke gegenereerde token:
  $$h^{\ell^*_m}(s) \leftarrow h^{\ell^*_m}(s) + \alpha c^{\ell^*_m} v^{\ell^*_m}_m$$
  waarbij $\alpha$ een dimensieloze sturingscoëfficiënt is en $c$ een normalisatiefactor gebaseerd op de mediane residual norm.
• Turn-Boundary Controle: Een aparte "turn-boundary richting" ($v_{EOT}$) wordt afgeleid om de responslengte te controleren en te bepalen wanneer het model de beurt overdraagt. Positieve sturingscoëfficiënten stimuleren terminatie, terwijl negatieve coëfficiënten de respons verlengen.
• Realisatie-bewuste Gating: Het systeem hanteert een gating-regel die sturing onthoudt voor moves waar de backbone van nature goed presteert (bijv. antwoorden) of waar sturing de prestaties kan verslechteren (bijv. het inkorten van inhoudelijke moves zoals uitleggen).

Belangrijkste Bijdragen

1. Latent-IM Framework: Een end-to-end dialoogbeheersysteem dat werkt zonder gold move-labels of backbone-updates. Het combineert activatie-gebaseerde selectie en realisatie, en presteert beter dan andere controle-baselines en evenaart supervised fine-tuning (SFT) in end-to-end nauwkeurigheid.
2. Lichtgewicht Streaming Controller: Demonstreert dat een lichtgewicht controller de conversationele staat kan terugwinnen uit bevroren LLM-activaties, waarbij het beter presteert dan transcript-gebaseerde selectors over drie taakgeoriënteerde datasets (MapTask, FindTask, CReST).
3. Herbruikbare Move-specifieke Richtingen: Afgeleide activatie-richtingen die conversationele acties causaal realiseren. Deze richtingen, geleerd van MapTask, zijn zonder her-estimatie overdraagbaar naar FindTask en CReST, en presteren beter dan prompting, candidate-selection en decoding-time controle-baselines.
4. Turn-Boundary Subspace: Identificeert een specifieke richting die de responslengte causaal controleert, wat een monotone variatie van de gemiddelde responslengte mogelijk maakt (van 7ols 71.3 naar 10.4 woorden) en integratie met realisatie-bewuste gating toestaat om turn-taking te reguleren.

Resultaten

Het framework werd geëvalueerd op drie multimodale taalmodellen (Qwen2.5-Omni, Qwen3-Omni, Phi-4-Multimodal) over drie datasets.

• Selectie-nauwkeurigheid: De streaming activatie-controller bereikte een gemiddelde volgende-move selectie-nauwkeurigheid van 0.60, waarmee het transcript-gebaseerde selectors (zoals TF-IDF + logistic op 0.48) en few-shot LLM-classifiers verslaat. Het benaderde de prestaties van een Markov-baseline met gold history (0.65) op de MapTask dataset.
• Oracle Realisatie: Wanneer voorzien van de gold target move, verbeterde Latent-IM de move-realisatie nauwkeurigheid met 10.4 procentpunt ten opzichte van de sterkste baseline (DeAL), met een gemiddelde nauwkeurigheid van 60.0%.
• End-to-End Controle: In de volledig autonome setting (geen gold labels tijdens inferentie), bereikte Latent-IM een gemiddelde end-to-end move nauwkeurigheid van 46.9%, wat iets hoger is dan Supervised Fine-Tuning (SFT) op 46.6% en significant beter is dan de ongestuurde backbone (34.4%) en prompting-baselines.
• Lengtecontrole: Sturing langs de turn-boundary richting maakte een geleidelijke controle over de responslengte mogelijk, waarbij de gemiddelde lengte werd teruggebracht van 71.3 woorden naar 10.4 woorden met behoud van vloeiendheid.

Betekenis en Claims

Het artikel claimt dat bevroren spraak-LLM activaties dienen als een observeerbare en causaal controleerbare interface voor lokale interactiebeheer. Door de selectie van een conversationele move te scheiden van de realisatie ervan, herstelt Latent-IM een klassieke state-action decompositie binnen moderne LLM's zonder dat parameter-updates nodig zijn.

De auteurs benadrukken dat hun aanpak een modulaire, label-vrije inferentie-pipeline biedt die de prestaties van directe supervised fine-tuning kan evenaren. Ze merken op dat hoewel de controller momenteel menselijke move-keuzes imiteert, het framework is ontworpen om toekomstige doel-geconditioneerde policies te ondersteunen die moves selecteren op basis van voorspelde taakutiliteit in plaats van imitatie-waarschijnlijkheid. Het werk suggereert dat de "staat" van een dialoog lineair beschikbaar is in de residual stream en daar betrouwbaarder uit kan worden afgelezen dan via prompting, wat een nieuwe weg biedt voor het controleren van LLM-gedrag in gesproken dialoogsystemen.