Technische Samenvatting: DUPLEXWORLD

Probleemstelling

Huidige benchmarks voor Speech-to-Speech (S2S) spraakagenten falen in het holistisch evalueren van prestaties langs assen die cruciaal zijn voor real-world implementatie. Bestaande evaluaties reduceren spraakagenten vaak tot tests van agentische tool-calling tegen statische databases, waarbij de diversiteit van conversationele dialoog voortkomend uit alledaagse activiteiten wordt genegeerd. Bovendien testen ze zelden het vermogen van een agent om getrouw te assisteren bij taken die verder gaan dan database-manipulatie, zoals navigatie of complexe meerstaps-coördinatie. Eerdere benchmarks hebben aangetoond dat spraakagenten slechts een fractie van hun tekst-agent-capaciteit behouden onder realistische audio-omstandigheden en dat geen enkel systeem momenteel simultaan excelleert in zowel taakaccuratesse als conversationele ervaring. Er is behoefte aan een verenigde benchmark die agenten evalueert over diverse, realistische "werelden" met behulp van een enkele, consistente metrietjeset.

Methodologie

De auteurs introduceren DUPLEXWORLD, een benchmark ontworpen voor de verenigde, holistische evaluatie van full-duplex spraakagenten.

Benchmarkstructuur

• Zes Werelden: De benchmark beslaat zes verschillende domeinen: Bankwezen, Verzekeringen, Reizen, Gezondheidszorg, Logistiek en Pathfinding.
  • De eerste vijf zijn gericht op de ondernemingssector en simuleren scenario's waarin een beller de lijn van een instelling bereikt nadat zelfbediening is mislukt. De agent moet het gesprek beheersen, tool-calls beheren en een toestandsruimte navigeren waarin records alleen bewegen via acties van de agent.
  • Pathfinding introduceert een nieuwe grens: een navigatietaak waarbij de agent fungeert als copiloot voor een voetganger op een synthetisch 8x8 stedelijk raster. In tegenstelling tot de enterprise-werelden verandert de toestand hier op basis van de fysieke acties van de wandelaar, die de agent uitsluitend via taal beïnvloedt. Dit introduceert informatie-asymmetrie en de uitdaging van het plannen van uitingen die verouderd kunnen zijn voordat ze worden uitgesproken.
• Scenario's en Typen: De benchmark bestaat uit 156 geauteurde scenario's (144 gebruikt voor de hoofdresultaten) over 11 conversationele typen. Deze typen vertegenwoordigen interactievormen (bijv. Single Intent, Rerouting, All-Day Assistance) in plaats van moeilijkheidsgraden.
• Evaluatie-harness: Een enkele, verenigde harness voert alle evaluaties uit. Het maakt gebruik van een tick-gebaseerd ontwerp (200ms ticks) met een gesimuleerde gebruiker (GPT-5.6-Luna) en, voor realistische kanalen, een beslissingsmodel (Claude-Haiku-4.5) om interrupties en backchanneling af te handelen.
• Geëvalueerde Systemen: Vijf commerciële real-time S2S-systemen zijn getest:
  • Nova 2 Sonic
  • Gemini-3.1-Flash-Live
  • GPT-Realtime-2.1
  • GPT-Realtime-2.1-mini
  • Grok Voice Think Fast 1.0
• Condities: Evaluaties werden uitgevoerd over twee akoestische kanalen: "Clean" (geen degradatie) en "Realistic" (simulatie van telefonische ruis, frame drops, demping, etc.). Elk scenario werd vijf keer per systeem per kanaal gedraaid, wat neerkomt op 3.825 gescorede gesprekken.

Metrieken

De evaluatiesuite bestaat uit 12 metrieken gegroepeerd in drie pijlers, berekend zonder een enkele samengestelde score te vormen:

1. Agentische Capaciteit: Meet taaksucces via de Goal-State check (GS), Pass@1, Pass@3 en Pass3 (waarschijnlijkheid dat alle $k$ runs slagen). Het bevat ook inspanningsmetrieken (over-effort ratio $\varrho^+$ en under-effort share $\pi^-$).
2. Conversationele Dynamiek: Omvat Turn-taking (TT) scores, Conversation Progression (CP) en Selectiviteit (SEL) met betrekking tot geïnjecteerde distractoren.
3. Naturalness (Natuurlijkheid): Omvat Faithfulness (FAI) beoordeeld door een LLM, en akoestische kwaliteitsvoorspellers (DNSMOS, UTMOS, NISQA).

Belangrijkste Bijdragen

1. Verbreedde Scope: DUPLEXWORLD is de eerste benchmark die een navigatiewereld combineert met vijf enterprise-werelden, waarbij 156 scenario's en 11 conversationele typen worden behandeld. Het introduceert een nieuwe grens voor het testen van agentische capaciteit in niet-statische, perceptuele omgevingen.
2. Verenigde Evaluatiesuite: Het biedt een enkele harness en metrietjeset die uiteenlopende domeinen en eisen beslaat, waardoor directe vergelijking van systemen mogelijk is over verschillende taaktypen en akoestische condities heen.
3. Empirisch Bewijs van Capaciteitsdissociatie: De studie levert bewijs dat conversationele, agentische en naturalness-capaciteiten niet "samen reizen". Een systeem kan excelleren in één pijler terwijl het in andere faalt.

Resultaten

De evaluatie van vijf commerciële systemen onthulde aanzienlijke ruimte voor verbetering op alle assen:

• Prestatielimieten: Zelfs het best presterende systeem behaalde een Pass@1 van 0.490, een Turn-taking score van 0.653 en een DNSMOS van 3.378 (gepoold over werelden).
• Wereldafhankelijkheid: Prestaties zijn sterk afhankelijk van de specifieke wereld. Zo varieerde de Pass@1 van GPT-Realtime-2.1 van 0.200 in Banking tot 0.674 in Travel, ondanks dat de systemen identiek waren.
• Dissociatie van Vaardigheden:
  • Conversationeel vs. Agentisch: De beste conversationalisten waren niet de beste taakvoltooiers. Nova 2 Sonic vertoonde bijvoorbeeld respectabele turn-taking en hoge selectiviteit, maar bijna nul agentische capaciteit.
  • Akoestische Kwaliteit vs. Competentie: Akoestische kwaliteit (MOS-scores) voorspelde de voltooiing van taken niet. Systemen met vergelijkbare MOS-scores hadden zeer verschillende Pass@1-scores.
• Foutmodi:
  • Enterprise Werelden: Geëngageerde systemen faalden vaak door "over-werken" (het overschrijden van het ideale aantal tool-calls), terwijl niet-geëngageerde systemen faalden door "onder-werken".
  • Pathfinding: De studie paste een explore–exploit lens toe. Systemen die meer verkenden (proberen met het lezen van borden, trial walks) arriveerden minder vaak. De grootste explorer kwam nooit aan, terwijl de laagste explorers het meest waarschijnlijk slaagden.
• Betrouwbaarheid: Betrouwbaarheid neemt snel af; Pass@3 was ongeveer de helft van Pass@1 voor leidende systemen, en geen enkel systeem slaagde zelfs één scenario in vijf runs betrouwbaar over alle werelden heen.
• Bottlenecks: In enterprise werelden was het verkeerd horen van credentials (Word Error Rate) een primaire bottleneck, waarbij ongeveer 1 op de 6 gesproken credentials verkeerd werd verstaan, wat identiteitsverificatie beperkte.

Betekenis en Claims

Het artikel claimt dat huidige spraakagenten, ondanks snelle ontwikkeling, nog niet klaar zijn voor naadloze integratie in het dagelijs leven of complexe enterprise taken.

• Noodzaak van Benchmark: Bestaande benchmarks zijn onvoldoende omdat ze geen rekening houden met de diversiteit van conversationele dynamiek of agenten testen op taken die verder gaan dan database-manipulatie. DUPLEXWORLD adresseert dit door een bredere, meer realistische testomgeving te bieden.
• Waarschuwing voor Implementatie: De auteurs stellen dat de waargenomen akoestische kwaliteit een slechte proxy is voor competentie. Vertrouwen op "goed klinken" voor inkoopbeslissingen zou kunnen leiden tot het selecteren van systemen die falen in de kern taak.
• Aanbeveling voor Metrieken: De auteurs bevelen aan dat het vakgebied de under-effort share ($\pi^-$) rapporteert naast voltooiingsscores, aangezien dit een sterke voorspeller is van falen die niet "gewonnen" kan worden door stilte.
• Bescheiden Claims: Het artikel erkent beperkingen, waaronder het gebruik van synthetische in plaats van echte menselijke spraak voor bellers, de Engelstalige aard van de benchmark, en het feit dat judge-gebaseerde metrieken nog niet opnieuw zijn gevalideerd tegen menselijke ratings op deze specifieke corpus. De auteurs benadrukken dat de bevindingen de hiaten in de huidige technologie belichten in plaats van een definitieve oplossing te bieden.