F-Actor: Controllable Conversational Behaviour in Full-Duplex Models

Dit paper introduceert F-Actor, het eerste open instructievolgende full-duplex conversatiemodel dat efficiënt kan worden getraind met beperkte middelen en expliciete instructies kan volgen om stem, onderwerp en gespreksdynamiek zoals onderbrekingen en feedback te controleren.

De kern

F-Actor: De Acteur die Luistert, Praat én Reageert

Stel je voor dat je met een robot praat. Meestal is dat een beetje saai: jij zegt iets, de robot wacht tot je stopt, denkt na, en zegt dan iets terug. Het voelt als een gesprek met een muur die pas antwoordt als jij volledig zwijgt.

De onderzoekers van dit paper (F-Actor) hebben een nieuwe manier bedacht om dit te veranderen. Ze hebben een model gebouwd dat zich gedraagt als een echte mens in een gesprek: het kan tegelijkertijd luisteren én spreken, net als wij.

Hier is hoe het werkt, uitgelegd met simpele vergelijkingen:

1. Het Probleem: De "Stop-and-Go" Conversatie

Normale spraakcomputers zijn als een ping-pongspeler die alleen slaat als de bal helemaal stil staat. Als jij onderbrekingen maakt of "ja, ja" zegt terwijl de ander nog praat, raakt de computer in de war. Mensen doen dit echter constant; we onderbreken elkaar, knikken (of zeggen "uh-huh") terwijl de ander nog praat, en we beginnen soms tegelijkertijd te spreken. Dit noemen we full-duplex (gelijktijdig in twee richtingen).

2. De Oplossing: F-Actor, de Regisseur in je Oren

F-Actor is als een toneelspeler die een script volgt, maar ook improvisatie kan.

• De Regie: Je kunt de computer vertellen hoe hij zich moet gedragen. "Spreek als een enthousiaste vriend," of "Maak veel onderbrekingen," of "Begin jij het gesprek."
• De Act: De computer luistert niet alleen passief, maar reageert direct. Als jij stopt met praten, kan hij al halverwege je zin een geluidje van instemming maken. Als jij te lang praat, kan hij je zachtjes onderbreken om zijn punt te maken.

3. Hoe hebben ze dit gebouwd? (De "Slimme" Truc)

Normaal gesproken moet je een supercomputer gebruiken om zo'n slimme robot te bouwen, alsof je een hele stad moet bouwen om één huis te maken. De onderzoekers hebben echter een slimme truc gevonden:

• De Fijne Luisteraar (De Audio Encoder): Ze hebben een bestaande, zeer goede "oortje" (een audiocodec) gebruikt die al heel goed is in het verwerken van geluid. Ze hebben dit deel niet veranderd; het is als een vastgebonden bril die perfect scherp ziet.
• De Slimme Brein (De Taalmodel): Ze hebben alleen het "brein" (het taalmodel) getraind om te leren hoe het moet praten en reageren.
• Het Resultaat: In plaats van jarenlang en met miljarden dollars te trainen, hebben ze dit gedaan met 2.000 uur aan gesprekken (wat voor AI-standaard weinig is) en in slechts twee dagen op vier krachtige computers. Het is alsof je een acteur niet laat leren hoe hij moet ademen (dat kan hij al), maar hem alleen een nieuw script geeft.

4. Wat kan deze robot precies?

Je kunt de robot een instructiekaartje geven met de volgende opdrachten:

• Stem: "Spreek met een zachte, kalme stem" of "Met een energieke, jonge stem."
• Onderwerp: "Laten we het hebben over vakantie."
• Gedrag: "Maak precies 3 keer 'uh-huh' terwijl ik praat" of "Probeer mij 1 keer te onderbreken."
• Start: "Begin jij het gesprek" of "Wacht tot ik begin."

5. Waarom is dit belangrijk?

Tot nu toe waren slimme spraakcomputers vaak te beleefd of te star. Ze wachtten altijd tot je klaar was. F-Actor maakt gesprekken natuurlijker.

• Het voelt minder als een machine en meer als een mens.
• Het kan zich aanpassen aan jou: wil je een rustig gesprek of een levendig debat? De robot past zich aan.
• Het is openbaar: De onderzoekers hebben de code en het model gratis beschikbaar gesteld, zodat andere wetenschappers het kunnen verbeteren.

Samenvattend

F-Actor is als een toneelspeler die een regisseur heeft. De regisseur (jij) zegt: "Vandaag ben je een enthousiaste luisteraar die graag onderbreekt." De speler (de AI) pakt dit op en voert het uit in een gesprek dat klinkt als een echt menselijk gesprek, inclusief de kleine geluidjes en onderbrekingen die we allemaal maken.

Het is een grote stap naar robots die niet alleen "antwoorden", maar echt praten.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "F-Actor: Controllable Conversational Behaviour in Full-Duplex Models" in het Nederlands.

Probleemstelling

Bestaande gesproken conversatiesystemen (spraak-tot-spraak) hebben vaak moeite om menselijk natuurlijk gedrag te vertonen, vooral wat betreft full-duplex interactie. Mensen kunnen tegelijkertijd luisteren en spreken, wat leidt tot natuurlijke onderbrekingen, backchannels (kortere bevestigingen zoals "uh-huh" terwijl de ander nog spreekt) en dynamische beurtwisseling.

Huidige systemen hebben drie grote beperkingen:

1. Gebrek aan aanpasbaarheid: Ze kunnen hun gedrag (stem, onderwerp, onderbrekingsgedrag) niet dynamisch aanpassen aan specifieke instructies of context.
2. Beperkte full-duplex modellering: Veel modellen zijn getraind om overlappende spraak van de gebruiker te verwerken, maar modelleren niet expliciet of het systeem zelf onderbreekt of backchannels geeft.
3. Hoge resource-eisen: Bestaande state-of-the-art modellen vereisen vaak grote-scale pre-training of complexe multi-stap optimalisatie, waardoor ze moeilijk te reproduceren zijn binnen academische budgetten.

Methodologie: F-Actor

De auteurs stellen F-Actor voor, het eerste open, instructievolgende full-duplex conversatiemodel dat efficiënt getraind kan worden met beperkte middelen.

Architectuur en Training:

• Backbone: Het model gebruikt Llama3.2-1B-Instruct als taalmodel (LLM) backbone.
• Audio-Encoder: De audio-encoder (NanoCodec) blijft bevroren (frozen) tijdens het trainen. Dit is een cruciale keuze voor efficiëntie.
• Training: Alleen de LLM en de lineaire "heads" voor het genereren van audio-tokens worden getraind. Dit vereist slechts 2.000 uur aan trainingsdata en twee dagen training op vier A100-40GB GPU's.
• Discrete Acoustic Units (DAU): In plaats van een grote gezamenlijke vocabulaire voor tekst en audio, gebruikt het model een dedicated embedding-laag voor audio-tokens (gegenereerd door NanoCodec met FSQ-quantisatie). Dit maakt parallelle voorspelling van vier onafhankelijke codebooks mogelijk zonder complexe hiërarchische modellen.
• Full-Duplex Stream: Het model verwerkt twee gelijktijdige spraakstromen (gebruiker en systeem) en kan overlappende spraak modelleren.

Instructievolgende Componenten:
Het model wordt geprompt met specifieke instructies die vier aspecten controleren:

1. Sprekerstem: Via een speaker embedding (geëxtraheerd uit 5 seconden audio).
2. Conversatiethema: Via een tekstuele prompt (narratief).
3. Conversatiegedrag: Specifieke aantallen voor backchannels en onderbrekingen (in plaats van percentages).
4. Initiatie: Of het systeem de dialoog start of wacht op de gebruiker.

Data:
Het model is getraind op het Behavior-SD dataset (synthetische data van 2.164 uur). Om bias te voorkomen, zijn de narratives herschreven vanuit het perspectief van het systeem (bijv. "Jij speelde je muziek hard" in plaats van "Karina speelde...").

Belangrijkste Bijdragen

1. Eerste open, controleerbaar full-duplex model: F-Actor is het eerste model dat expliciet instructies volgt voor stem, gedrag en dialooginitiatie en openbaar beschikbaar is.
2. Efficiënte trainingsprotocol: Een single-stage training die geen grote-scale pre-training vereist, waardoor het haalbaar is voor academische onderzoekers.
3. Systematische analyse: De auteurs testen verschillende architecturale keuzes (tekst-stroom vs. alleen audio, woord- vs. zin-niveau alignement, audio-delay) en publiceren de code voor reproduceerbaarheid.

Resultaten

De evaluatie toont aan dat F-Actor effectief instructies volgt en natuurlijke conversaties genereert:

• Algemene Kwaliteit: Het toevoegen van een tekst-stroom (die parallel aan audio wordt gegenereerd) en een audio-delay van 2 tokens resulteerde in de beste prestaties. Dit verlaagde de woordfoutenratio (WER) tussen gegenereerde tekst en audio naar ongeveer 7,6% en hield de spraakkwaliteit (UTMOS-score) stabiel rond de 3,4-3,5.
• Instructievolgende Vermogens:
  • Starten: Het model startte de dialoog correct in 99,8% van de gevallen wanneer dit werd gevraagd.
  • Sprekerconsistentie: De gegenereerde stem bleef consistent met de target speaker embedding (cosine similarity ~0,54) zonder significante drift.
  • Narratief: Het model volgde het opgegeven verhaal nauwkeurig, beoordeeld door een LLM-judge en bevestigd door menselijke evaluatie.
  • Gedrag: Er was een duidelijke correlatie tussen het gevraagde aantal backchannels/onderbrekingen en de gegenereerde aantallen (Pearson's r = 0,54 voor backchannels). Hoewel het model iets minder onderbrekingen genereerde dan gevraagd (door de zeldzaamheid in de trainingsdata), reageerde het wel op de instructie.
• Vergelijking met SOTA: De turn-taking statistieken (pauzes, overlappen) van F-Actor komen goed overeen met menselijke conversaties en presteren vergelijkbaar met geavanceerde modellen zoals Moshi.

Betekenis en Toekomstperspectief

F-Actor is een doorbraak omdat het laat zien dat controleerbaar full-duplex gedrag niet per se enorme rekenkracht of proprietary data vereist. Door de audio-encoder bevroren te houden en alleen het taalmodel aan te passen, maken de auteurs deze technologie toegankelijk voor de academische gemeenschap.

Dit opent de deur voor:

• Persoonlijke AI-assistenten: Systemen die kunnen aanpassen aan de voorkeuren van de gebruiker (bijv. een meer onderbrekende of juist rustige assistent).
• Natuurlijkere interacties: Systemen die beter kunnen omgaan met menselijke conversatiedynamiek zoals onderbrekingen en bevestigingen.
• Reproduceerbaar onderzoek: Omdat het model en de code open source zijn, kunnen andere onderzoekers direct bouwen op deze resultaten.

Beperkingen:
Het model produceert nog iets minder onderbrekingen dan gevraagd (door de schaarste in de trainingsdata) en gebruikt momenteel een codec die geen volledig streaming inferentie ondersteunt (chunk-wise verwerking). Daarnaast is het model momenteel beperkt tot het Engels.