ASPIRin: Action Space Projection for Interactivity-Optimized Reinforcement Learning in Full-Duplex Speech Language Models

Het ASPIRin-framework verbetert de interactie in volledig-duplex spraakmodellen door het beslissen *wanneer* te spreken te ontkoppelen van *wat* te zeggen via projectie van de actieruimte, waardoor de semantische coherentie behouden blijft en herhalingen met meer dan 50% worden verminderd.

De kern

Stel je voor dat je een gesprek voert met een robot. In een normaal gesprek wisselen mensen heel natuurlijk van rol: als de ander stopt met praten, begin jij; als jij iets zegt en de ander onderbreekt, luister je even en wacht je af.

Helaas zijn de slimme spraakcomputers van vandaag (zoals die in je telefoon of auto) vaak nogal onhandig in dit soort gesprekken. Ze zijn vaak "half-duplex": ze moeten wachten tot jij helemaal klaar bent met praten voordat ze zelf kunnen beginnen. Of ze zijn te snel en onderbreken je constant, waardoor het gesprek chaotisch wordt.

De onderzoekers van dit paper hebben een nieuwe manier bedacht om deze robots te leren hoe ze zich moeten gedragen in een echt, vloeiend gesprek. Ze noemen hun uitvinding ASPIRin.

Hier is hoe het werkt, vertaald naar simpele beelden:

1. Het Probleem: De "Twee-in-één" Dilemma

Stel je voor dat je een robot wilt leren om te dansen én te zingen tegelijkertijd. Als je de robot alleen maar zegt: "Zing en dans perfect!", raakt hij in paniek. Hij probeert zo hard te zingen dat hij vergeet te dansen, of hij probeert zo goed te dansen dat hij de tekst vergeet. Het resultaat is een rommelige, herhalende dans die ook nog eens slecht klinkt.

In de wereld van spraakcomputers is dit precies wat er gebeurt. De computer probeert tegelijkertijd te beslissen:

1. Wat moet ik zeggen? (De inhoud)
2. Wanneer moet ik het zeggen? (Het tijdstip)

Als je de computer straft of beloont voor alles tegelijk (zowel voor de woorden als voor het timing), raakt hij in de war. Hij begint dan vaak te stotteren, te herhalen of onzin te praten, gewoon omdat hij probeert de "tijd" te winnen ten koste van de "zin".

2. De Oplossing: ASPIRin (De "Verkeersagent")

ASPIRin lost dit op door de taken te scheiden. Het is alsof je een verkeersagent aanstelt die alleen kijkt naar het verlichtingssysteem, terwijl de zanger (de robot) zich alleen concentreert op de tekst.

In plaats van de robot te vragen om direct de juiste woorden te kiezen, vraagt ASPIRin de robot eerst om een heel simpele, grove beslissing te nemen:

• Optie A: "Ik ga praten." (Actief)
• Optie B: "Ik ga zwijgen." (Passief)

Dit noemen ze Action Space Projection. Het is alsof je de hele wereld van woorden (duizenden opties) reduceert tot één simpele knop: Aan of Uit.

3. Hoe het werkt in de praktijk

De robot krijgt nu een nieuwe trainer (een algoritme genaamd GRPO) die alleen kijkt naar die simpele knop:

• Als de robot praat terwijl de mens nog aan het woord is? Boos! (Te veel onderbrekingen).
• Als de robot te lang wacht voordat hij antwoordt? Boos! (Te traag).
• Als de robot precies op het juiste moment stopt en begint? Top!

Omdat de robot zich nu alleen hoeft te focussen op wanneer hij moet praten, hoeft hij niet na te denken over wat hij zegt. Dat laat hij aan zijn "taalvermogen" over, dat al goed was.

Het resultaat:

• De robot leert perfect te wachten tot jij stopt.
• Hij leert je te onderbreken als dat nodig is (bijvoorbeeld als je een fout maakt).
• Hij leert "hmm" of "ja" te zeggen terwijl hij luistert (terugkoppeling).
• Belangrijk: Omdat hij niet meer in paniek raakt over het timing, blijft zijn taal perfect. Hij stottert niet en herhaalt geen zinnen meer.

4. Wat hebben ze bewezen?

De onderzoekers hebben hun robot getest in een "proeflokaal" met echte gesprekken.

• De oude robots (zonder ASPIRin) waren ofwel te traag, of ze praten constant door elkaar heen en begonnen te stotteren en te herhalen (alsof ze vastliepen).
• De ASPIRin-robot gedroeg zich als een mens. Hij wachtte af, onderbrak op het juiste moment, en gaf altijd een helder, logisch antwoord zonder te herhalen.

Conclusie

ASPIRin is als het geven van een aparte "tijdsplanner" aan een kunstenaar. De kunstenaar (de robot) hoeft zich niet meer zorgen te maken over de klok; hij kan zich volledig focussen op zijn kunst (de woorden). Hierdoor wordt de robot niet alleen sneller en reagerender, maar ook veel menselijker en minder foutgevoelig.

Het is een grote stap naar robots waarmee je echt natuurlijk kunt bellen, alsof je met een vriend praat.

Technische samenvatting

Probleemstelling

Volledig-duplex (Full-Duplex) Spraaktaalsmodellen (SLM's) zijn ontworpen om menselijke interactie na te bootsen door gelijktijdig te kunnen luisteren en spreken. Echter, het optimaliseren van deze tijdsdynamiek (wanneer te spreken, wanneer te zwijgen) via standaard Reinforcement Learning (RL) op ruwe tokens leidt tot ernstige kwaliteitsproblemen.

Wanneer standaard algoritmen zoals Group Relative Policy Optimization (GRPO) direct worden toegepast op de fijne-granulariteit van teksttokens, wordt de beperkte optimalisatiecapaciteit van het model geforceerd om tegelijkertijd twee moeilijke taken op te lossen:

1. Semantische generatie: Wat gezegd moet worden.
2. Interactietijdstip: Wanneer gesproken moet worden.

Dit leidt tot een "generatieve ineenstorting" (generative collapse). Het model wordt te agressief in het minimaliseren van reactievertraging, waardoor het zijn taalkundige gronding verliest. Het resultaat is ernstige herhaling (repetitie), semantische coherentie die volledig instort, en een model dat niet meer begrijpt wanneer het moet zwijgen of de beurt moet afstaan aan de gebruiker.

Methodologie: ASPIRin

De auteurs stellen ASPIRin (Action Space Projection for Interactivity-Optimized Reinforcement Learning) voor. De kerninnovatie is het expliciet ontkoppelen van wanneer te spreken van wat te zeggen.

1. Projectie van de Actieruimte (Action Space Projection)
In plaats van het optimaliseren van duizenden specifieke teksttokens, projecteert ASPIRin het uitgebreide woordenschat-lexicon naar een grofkorrelige binaire staat:

• Actief Spreken (Active Speech): Alle niet-padding tokens.
• Inactief Stilte (Inactive Silence): Alle padding tokens.

Dit wordt bereikt door de logits (uitvoerwaarden) van alle tokens binnen een categorie op te tellen. Hierdoor ontstaat een binaire beleidsfunctie ($\pi'$) die alleen bepaalt of het model op dat moment moet spreken of moet zwijgen.

2. Beleidsoptimalisatie met GRPO
Op deze geprojecteerde binaire staat wordt GRPO toegepast. Omdat het beleid nu alleen gaat over timing, kan het model leren wanneer het stil moet zijn zonder de kwaliteit van de gegenereerde tekst te beïnvloeden.

3. Regelgebaseerde Beloningen (Rule-Based Rewards)
Om het model te sturen, wordt een beloningsfunctie ontworpen die voortkomt uit continue ASR-tijdstempels:

• Interruption Score ($R_{int}$): Straft het spreken terwijl de gebruiker actief is (overlappende spraak).
• Response Score ($R_{re}$): Belonigt snelle reacties op het einde van een gebruikerszin.
• Totale Beloning: Het product van beide scores, genormaliseerd over een groep samples, wordt gebruikt om het voordeel (advantage) te berekenen voor de GRPO-update.

Belangrijkste Bijdragen

1. Nieuw RL-kader voor Interactiviteit: ASPIRin introduceert een nieuwe ontwerpruimte door tekstvocabulaire te reduceren tot een binaire "spreken/stilte" beslissing, waardoor timing en inhoud losgekoppeld worden.
2. Superieure Tijdsdynamiek: Het framework balanceert effectief tussen responsiviteit en het risico op onderbrekingen, wat resulteert in betere prestaties in scenarios zoals pauze-handtering, backchanneling (bevestigingssignalen) en het afhandelen van gebruikersonderbrekingen.
3. Mitigatie van Generatieve Ineenstorting: Door timing te isoleren van token-selectie, behoudt ASPIRin de semantische coherentie en reduceert het de herhaling van n-grammen met meer dan 50% vergeleken met standaard GRPO.

Resultaten en Evaluatie

De evaluatie vond plaats op Full-Duplex-Bench, een benchmark die vier kritieke scenario's test: pauze-handtering, backchanneling, soepele beurtwisseling en gebruikersonderbreking.

• Vergelijking met Baselines:

  • Standaard SFT (Supervised Fine-Tuning): Faalt om tijdsdynamiek te leren en verslechtert zelfs de prestaties van het basismodel, vaak door irrelevante inhoud te hallucineren.
  • Standaard GRPO: Wordt te agressief. Het verbetert de reactiesnelheid enigszins, maar leidt tot een sterke toename van onderbrekingen (slecht voor pauzes en backchanneling) en ernstige semantische degradatie (herhalingen).
  • ASPIRin: Bereikt een evenwicht. Het verbetert de interactie-timing (bijv. lagere latentie bij onderbrekingen, betere beurtwisseling) zonder de kwaliteit van de taal te offeren.

• Kwalitatieve Analyse:

  • Bij taken zoals "Gebruikersonderbreking" behoudt ASPIRin een hoge semantische kwaliteit (rating 4-5 door GPT-4o), terwijl standaard GRPO volledig faalt met zinloze, herhalende loops (rating 0).
  • Repetitie: ASPIRin reduceert de overlap van 2-grammen en 3-grammen met meer dan 50% ten opzichte van standaard GRPO.

• Trainingsdynamiek:

  • Standaard GRPO toont instabiele beloningscurves met een dalende trend in de "Interruption Score", wat wijst op degradatie. ASPIRin behoudt stabiele scores gedurende de training.

Betekenis en Conclusie

ASPIRin lost een fundamenteel probleem op in de ontwikkeling van volledig-duplex spraakmodellen: de spanning tussen vloeiende interactie en semantische kwaliteit. Door de actieruimte te projecteren naar een binaire staat, kunnen ontwikkelaars de timing van een gesprek optimaliseren zonder de taalvaardigheid van het model te beschadigen.

Dit onderzoek toont aan dat het ontkoppelen van timing en inhoud essentieel is voor robuuste, menselijke machine-interacties. Toekomstig werk richt zich op het uitbreiden van deze actie-ruimte naar meer granulaire klassen (bijvoorbeeld het onderscheiden van "uh-huh" van volledige antwoorden) voor nog natuurlijker gesprekssturing.