Technische Samenvatting: Listen-Write-Speak (LWS)

Probleemstelling

Spraakgestuurde Large Language Models (LLM's) kampen momenteel met een fundamentele flessenhals: hun outputs zijn beperkt tot de gesproken modaliteit, wat tekst-native capaciteiten zoals codegeneratie, gestructureerde analyse en meerstaps-redeneren onderdrukt. Bestaande benaderingen voor spraak-LLM's behandelen tekst doorgaans als een verborgen intermediaire staat of een ondergeschikte modaliteit die uitsluitend wordt gebruikt om gesproken reacties te verbeteren. Dit beperkt de gebruikersgerichte outputs tot wat verbaal kan worden geuit, waardoor gebruikers complexe gestructureerde gegevens (bijv. codeblokken, tabellen) handmatig moeten transcriberen of gestructureerde informatie moeten lineariseren in moeilijk aan te passen gesproken lijsten. Bovendien missen huidige modellen vaak echte full-duplex capaciteiten (luisteren terwijl men spreekt) of falen ze in het behouden van een persistent, voor de gebruiker zichtbaar redeneerkanaal tijdens interactie.

Methodologie: Listen-Write-Speak (LWS)

De auteurs stellen Listen-Write-Speak (LWS) voor, een tekst-eerst, tri-channel interactieparadigma. In tegenstelling tot voorgaande werken die vertrouwen op complexe architecturale wijzigingen of aparte modellen, implementeert LWS dit gedrag volledig via een Token Schema binnen een standaard autoregressieve Transformer.

Kernarchitectuur

Het systeem werkt op een gedeelde causale aandacht-context waarbij drie kanalen gelijktijdig draaien binnen discrete temporele intervallen die Units worden genoemd (gesteld op 1 seconde in experimenten):

1. Listening (Perceptie) Kanaal: Neemt continu gebruikersaudiostreams op (gerepresenteerd als discrete audiotokens) gedurende de interactie, wat full-duplex capaciteit mogelijk maakt.
2. Visible Writing (Cognitie) Kanaal: Altijd actief. Het externaliseert de tekst-native cognitie van het model als vrije, voor de gebruiker zichtbare tekst.
   • Tijdens het luisteren: Het bouwt incrementele redenering op (bijv. gedeeltelijk begrip, disambiguatie) op basis van de gehoorde audio tot nu toe.
   • Tijdens het spreken: Het genereert gestructureerde artefacten (code, tabellen, afleidingen) parallel aan natuurlijke spraak.
3. Speaking (Expressie) Kanaal: Genereert natuurlijke gesproken taal als een real-time orale respons. Dit kanaal is alleen actief tijdens de responsfase.

Token Schema

LWS maakt gebruik van speciale tokens om de grenzen van de kanalen binnen elke Unit aan te duiden, zonder dat hiervoor architecturale wijzigingen aan de onderliggende LLM nodig zijn:

• Listening Units: <unit> $\rightarrow$ audio $\rightarrow$ <|lc|> (ls cogn start) $\rightarrow$ writing $\rightarrow$ <|/lc|> (ls cogn end) $\rightarrow$ </unit>.
• Speaking Units: <unit> $\rightarrow$ audio $\rightarrow$ <|spk|> $\rightarrow$ speak $\rightarrow$ <|eos|> $\rightarrow$ <|rc|> (reply cogn start) $\rightarrow$ writing $\rightarrow$ <|/rc|> (reply cogn end) $\rightarrow$ </unit>.

De scheiding tussen de luisterfase-cognitie (ls cogn) en de antwoordfase-cognitie (reply cogn) is expliciet om informatielekken te voorkomen en de voorspelling van de volgende token te vereenvoudigen, aangezien zij op verschillende informatiestaten conditioneren.

Dataconstructie

Omdat publieke corpora een tekort hebben aan per-seconde cognitieve annotaties die uitgelijnd zijn met audio-tijdlijnen, hebben de auteurs een tweestaps data-pipeline ontwikkeld:

1. Offline Cognitieve Synthese: Een sterke teacher LLM synthetiseert drie tekststromen uit standaard QA-paren: een streaming redeneringsketen (voor ls cogn), een stemrespons (voor speak), en de oorspronkelijke gestructureerde respons (voor reply cogn). Een strikte causale beperking zorgt ervoor dat redenering op tijdstip $t$ alleen gebruikmaakt van de input die tot $t$ is gehoord.
2. Online Tijdlijn Constructie: De gesynthetiseerde stromen worden uitgelijnd met echte audio-opnames en CTC-gebaseerde karakter-niveau uitlijningen om Unit-sequenties te construeren. Dit omvat willekeurige stilte-intervallen en interruptie-augmentatie om natuurlijk conversationeel tempo en overlap te simuleren.

Belangrijkste Bijdragen

1. Paradigmaverschuiving: Formulering van LWS als een tekst-eerst tri-channel paradigma waarbij een enkele autoregressieve LLM simultaan luistert, zichtbare tekst schrijft en spreekt, waarbij zichtbaar schrijven als een first-class outputkanaal wordt behandeld.
2. Token Schema Implementatie: Realisatie van dit complexe gedrag volledig via speciale tokens in een standaard Transformer, zonder de noodzaak voor extra decoders of cross-channel fusiemodules.
3. Data-pipeline: Ontwikkeling van een tweestaps pipeline die causaal consistente, per-seconde cognitieve annotaties synthetiseert om het model te trainen op streaming interactie.
4. Empirische Validatie: Demonstratie van sterke full-duplex interactie en hoogwaardige gestructureerde output zonder de real-time responsiviteit op te offeren.

Experimentele Resultaten

Het model werd geëvalueerd op verschillende benchmarks met behulp van een MiniCPM-V architectuur met een Qwen3-8B backbone.

• Spoken Understanding and Reasoning (URO-Bench): LWS behaalde de beste scores op Chinese Pro splits (Gemiddeld: 84.6) en Chinese Basic understanding/reasoning (92.5/85.9). Het presteerde consequent beter dan de interne ablaties (modellen zonder schrijven tijdens het luisteren of spreken), wat het nut van het zichtbare schrijfkanaal in beide fasen valideert.
• Reply Quality (VoiceBench AlpacaEval): LWS scoorde 4.72, waarmee het alle genoemde open-source baselines overtrof en slechts achterbleef bij GPT-4o-Audio (4.78). Deze score weerspiegelt de kwaliteit van het Visible Writing kanaal.
• Kanaalconsistentie: Het model bereikte een consistentiepercentage van 92.6% tussen gesproken en geschreven outputs, wat aangeeft dat de dual-channel aanpak de coherentie niet in gevaar brengt.
• Full-Duplex Interactie (Full-Duplex-Bench): LWS demonstreerde competitieve turn-taking (0.97 Candor TOR bij 0.48s latentie) en sterke interruptie-afhandeling (4.02 GPT-4o kwaliteit bij 0.65s latentie), waarbij het herstelde van overlappingen zonder significante vertragingen.
• Trainingsconvergentie: Alle drie de kanalen (listening writing, speaking, reply writing) convergeerden soepel met een lage variantie, wat de haalbaarheid van gezamenlijke tri-channel training in een enkele autoregressieve model bevestigt.

Betekenis en Claims

Het artikel claimt dat zichtbaar schrijven kan dienen als een first-class outputkanaal voor spraakinteractie zonder de real-time responsiviteit op te offeren. Door full-duplex luisteren, zichtbaar schrijven en real-time spreken te verenigen, stelt LWS spraakmodellen in staat om hun volledige tekst-native capaciteiten (code, gestructureerde analyse) te benutten in een multimodale setting. De auteurs benadrukken dat deze aanpak geen architecturale wijzigingen vereist, wat het schaalbaar en herbruikbaar maakt.

De studie concludeert dat hoewel LWS is geoptimaliseerd voor responsiviteit, het momenteel beperkingen ervaart in de diepte van de redenering (door real-time beperkingen) en de inputmodaliteit (spraak-alleen input). Desalniettemin vestigt het een nieuwe baseline voor hoe spraakgestuurde LLM's met gebruikers kunnen interageren, bewegend voorbij lineaire spraak naar persistente, inspecteerbare en gestructureerde intermediaire outputs.