💬 NLP

From Text to Voice: A Reproducible and Verifiable Framework for Evaluating Tool Calling LLM Agents

Dit artikel introduceert een reproduceerbaar, dataset-onafhankelijk raamwerk dat tekstgebaseerde tool-call-benchmarks omzet in audio-evaluaties zonder herannotatie, waarbij aanzienlijke prestatiekloven tussen tekst en spraak die modelafhankelijk zijn worden blootgelegd, terwijl open-source LLM's worden gevalideerd als effectieve, privacy-bewerende beoordelaars.

Oorspronkelijke auteurs: Md Tahmid Rahman Laskar, Xue-Yong Fu, Seyyed Saeed Sarfjoo, Quinten McNamara, Jonas Robertson, Shashi Bhushan TN

Gepubliceerd 2026-05-15

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Md Tahmid Rahman Laskar, Xue-Yong Fu, Seyyed Saeed Sarfjoo, Quinten McNamara, Jonas Robertson, Shashi Bhushan TN

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een slimme assistent bouwt die met je kan praten en ook taken kan uitvoeren, zoals je agenda controleren of een vlucht boeken. Je hebt twee hoofdmanieren om dit te bouwen:

De "Vertaler"-benadering (Cascadering): De assistent luistert naar je stem, huurt een mensachtige vertaler in om precies op te schrijven wat je hebt gezegd, en vervolgens leest een superintelligente tekstlezer dat notitie om te beslissen wat er moet gebeuren.
De "Super-Luisteraar"-benadering (Omni-modaal): De assistent luistert direct naar je stem en bedenkt wat er moet gebeuren zonder het eerst op te schrijven.

De grote vraag is: Werkt de "Super-Luisteraar" echt beter, of wint de "Vertaler"-benadering nog steeds?

Dit paper introduceert een slimme, reproduceerbare "testbaan" om die vraag te beantwoorden zonder dat je een hele nieuwe set spraakopnames vanaf nul hoeft te bouwen.

Het Probleem: De "Alleen-tekst"-valkuil

De meeste tests voor deze slimme assistenten worden uitgevoerd met tekst. Je typt een opdracht en de computer geeft antwoord. Maar in de echte wereld spreken mensen.

Bestaande tests zijn als het rijden met een auto op een perfect glad, leeg racetrack (tekst).
Het echte leven is als rijden op een hobbelige, regenachtige weg met verkeer (spraak).

Onderzoekers wilden weten: Als we deze perfecte teksttests omzetten in spraaktests, hoeveel zakt de prestatie dan?

De Oplossing: Het "Spraak-Vertaler"-kader

In plaats van duizenden echte mensen dingen te laten zeggen (wat duur en rommelig is), bouwden de auteurs een recept om bestaande teksttests automatisch om te zetten in spraaktests.

Denk er zo over:

Ze namen een lijst met geschreven instructies (de tekstbenchmarks).
Ze voerden ze in bij high-tech "Tekst-naar-Spraak"-machines (zoals een zeer geavanceerde robotstem) om audiobestanden te maken.
Ze voegden achtergrondgeluid toe (zoals een drukke koffiebar of een motorgeluid) om het realistisch te maken.
Cruciaal: Ze hielden het "antwoordenboekje" (de gouden labels) exact hetzelfde.

Dit stelt hen in staat om dezelfde vraag twee keer te testen: eenmaal als tekst en eenmaal als spraak. Hiermee kunnen ze precies meten hoeveel "ruis" de spraak aan het systeem toevoegt.

De Race: Wie won?

Ze testten zeven verschillende "Super-Luisteraar"-modellen (van bedrijven zoals OpenAI, Google en Alibaba) op twee verschillende soorten taken:

Confetti: Een taak waarbij de assistent het juiste gereedschap moet kiezen en de details correct moet invullen (bijvoorbeeld: "Boek een vlucht naar Londen op dinsdag").
When2Call: Een taak waarbij de assistent moet beslissen of het überhaupt een gereedschap moet gebruiken, of dat het gewoon moet chatten.

De Resultaten:

Geen "Eén-oplossing-voor-alles": Er was geen enkel "beste" model.
- Bij de "Confetti"-taak was Gemini-3.1-Flash-Live de kampioen.
- Bij de "When2Call"-taak nam GPT-Realtime-1.5 de kroon.
De "Spraak-belasting": Elk model werd iets slechter bij het schakelen van tekst naar spraak.
- Sommige modellen (zoals Qwen3) verloren slechts een klein beetje nauwkeurigheid (zoals een hardloper die iets vertraagt in de regen).
- Anderen (zoals GPT-Realtime-1.5) verloren een aanzienlijk deel van de nauwkeurigheid (zoals een hardloper die in de modder uitglijdt).
De "Vertaler" vs. "Super-Luisteraar"-showdown:
- Voor sommige modellen was de "Vertaler"-benadering (Spraak -> Tekst -> Actie) eigenlijk iets beter of gelijk aan de "Super-Luisteraar".
- Voor anderen was de "Super-Luisteraar" beter.
- Conclusie: Je kunt niet zomaar aannemen dat één architectuur altijd beter is. Het hangt volledig af van welk model je gebruikt en welke taak je uitvoert.

Waar falen ze?

De onderzoekers keken naar de fouten en vonden een grappig patroon:

Het "Verkeerd gehoord detail"-probleem: De meeste van de tijd kregen de modellen het grote plaatje goed (ze wisten dat ze een vlucht moesten boeken), maar ze maakten het fout in de details (ze boekten het voor de verkeerde dag of de verkeerde stad).
Het is als een ober die begrijpt dat je "diner" wilt, maar je "ontbijt" brengt omdat hij de bestelling verkeerd heeft gehoord.

Het "Rechter"-probleem

In de echte wereld hebben bedrijven vaak geen "antwoordenboekje" om te controleren of de AI het juiste werk heeft gedaan. Dus testte het paper het gebruik van andere AI-modellen als "rechters" om de prestaties te beoordelen.

Ze ontdekten dat open-source rechters (gratis, privacy-vriendelijke modellen) met voldoende hersenkracht (minstens 8 miljard parameters) het werk net zo goed konden beoordelen als dure, propriëtaire rechters. Dit is goed nieuws voor bedrijven die zich zorgen maken over privacy.

De Kernboodschap

Als je een spraakassistent bouwt, raak dan niet in het gissen of je een "Super-Luisteraar" of een "Vertaler" moet gebruiken.

Test het op je eigen data: Gebruik dit kader om je tekstlogboeken om te zetten in spraaktests.
Controleer de "Spraak-belasting": Kijk hoeveel je specifieke model in prestatie zakt wanneer je spraak toevoegt.
Pas op voor ambiguïteit: Als je gebruikers vage vragen stellen, zal het systeem nog meer falen, ongeacht of het tekst of spraak is.

Kortom: Dit paper geeft bedrijven een "stress-test" om te zien of hun spraakassistenten klaar zijn voor de echte wereld, en bewijst dat de beste keuze afhangt van het specifieke model en de specifieke baan, niet van een algemene vuistregel.

Technische Samenvatting: Van Tekst naar Stem: Een Reproduceerbaar en Verifieerbaar Kader voor het Evalueren van Tool-Calling LLM-agenten

Probleemstelling

Hoewel Large Language Models (LLM's) aanzienlijke vooruitgang hebben geboekt in het aanroepen van tools en het uitvoeren van functies binnen tekstgebaseerde omgevingen, blijven prominente benchmarks (bijv. Confetti, When2Call, BFCL) uitsluitend tekstgericht. Dit creëert een kloof voor organisaties die spraakagenten implementeren, die moeten kiezen tussen een cascade-architectuur (ASR $\rightarrow$ Tekst-LLM) of een end-to-end omni-modale architectuur (Spraak $\rightarrow$ Tool-aanroep). Bestaande audiobenchmarks vereisen vaak het bouwen van nieuwe corpora vanaf nul met nieuwe toolschema's en gouden labels, wat kostbaar is en de toepasbaarheid op proprietair bedrijfsdata beperkt. Bovendien is de betrouwbaarheid van omni-modale modellen onder realistische audiocondities en de specifieke prestatiedegradatie die door de spraakmodus wordt geïntroduceerd, onvoldoende gekarakteriseerd.

Methodologie

De auteurs stellen een dataset-agnostisch kader voor dat bestaande tekstgebaseerde benchmarks voor tool-aanroepen omzet in gecontroleerde audio-evaluaties zonder toolschema's of gouden labels opnieuw te annoteren.

1. Conversiepijplijn

Het kader maakt gebruik van kant-en-klare Tekst-naar-Spraak (TTS)-modellen om gepaarde tekst-audio-instanties te genereren:

TTS-modellen: Drie modellen werden gebruikt: Gemini-2.5-Flash-TTS, Gemini-2.5-Pro-TTS en GPT-4o-Mini-TTS.
Spreker-variatie: Verschillende stemmen voor mannelijke en vrouwelijke sprekers werden geselecteerd van elke provider (bijv. Kore/Orus voor Gemini, Coral/Ash voor GPT).
Ruisinjectie: Omgevingsruis uit het DEMAND-dataset werd ingebracht bij verschillende Signaal-Ruisverhoudingen (SNR: 5, 10, 15, 20 dB) om implementatiecondities te simuleren.
Behoud: De originele toolschema's, gouden labels en evaluatieprotocollen worden strikt behouden uit de brontekstdatasets.

2. Evaluatieprotocol

Het kader evalueert zeven omni-modale modellen van vier providers (OpenAI, Google, Qwen, Microsoft) op twee datasets:

Confetti: Richt zich op de nauwkeurigheid van functiekeuze en parameterextractie (313 voorbeelden die tool-aanroepen vereisen).
When2Call: Richt zich op het besluitvormingsvermogen om te bepalen of een tool-aanroep noodzakelijk is (300 voorbeelden).

De evaluatie vergelijkt drie condities:

Schone tekst: Baselineprestaties met originele tekstinput.
Directe stem: Prestaties met door TTS gegenereerde audio-input verwerkt door omni-modale modellen.
Cascade (ASR $\rightarrow$ Tekst): Audio getranscribeerd door GPT-4o-Transcribe en doorgegeven aan een tekst-only LLM.

3. Aanvullende analyses

Foutdecompositie: Gepaarde tekst-audio-falen worden gecategoriseerd in beslissingsfouten, tool-selectiefouten, argument-schema-fouten en argument-waardefouten.
Referentievrije evaluatie: LLM-as-a-Judge-protocollen (met gebruik van GPT-5, Gemini-2.5-Pro en open-source Qwen3-modellen) worden getest tegen gouden labels om de levensvatbaarheid te beoordelen voor productiedata zonder annotaties.
Stress testen: Tests met queryhervorming op basis van ambiguïteit werden uitgevoerd om de robuustheid tegen niet-gespecificeerde gebruikersverzoeken te meten.

Belangrijkste Resultaten

Model- en Taakafhankelijkheid

Prestaties zijn sterk afhankelijk van het specifieke model en de specifieke taak, en niet alleen van de architectuur:

Confetti: Gemini-3.1-Flash-Live behaalde de hoogste score (70,4%), gevolgd door Qwen3-Omni (60,4%).
When2Call: GPT-Realtime-1.5 presteerde het beste (71,9%), terwijl Gemini-3.1-Flash-Live zakte naar de 4e plaats (63,4%).
Tekst-naar-stem-kloof: De prestatiedegradatie bij de overstap van tekst naar stem varieert aanzienlijk per model. Bij Confetti varieert de kloof van 1,8 punten (Qwen3-Omni) tot 4,8 punten (GPT-Realtime-1.5).

Architectuurvergelijking (Cascade vs. Omni)

Gemini-3.1-Flash-Live: De cascade-architectuur presteerde iets beter dan directe stem (71,3% vs. 70,4%), wat suggereert dat ASR + een sterke tekst-LLM prestaties kan herstellen.
GPT-Realtime-1.5 & Qwen3-Omni: Directe stem presteerde beter dan de cascade met respectievelijk 0,4 en 1,5 punten.
Conclusie: Geen enkele architectuur domineert uniform; de optimale keuze is model- en taakspecifiek.

Foutanalyse

Argumentwaarden: De meest voorkomende faalmodus in door audio veroorzaakte fouten zijn argument-waardefouten (onjuiste of onvolledige veldwaarden), goed voor 57,2% van de falen voor Gemini-3.1-Flash-Live en 54,3% voor GPT-Realtime-1.5. Dit geeft aan dat modellen vaak de structuur van de tool-aanroep behouden maar de spraakinhoud verkeerd interpreteren.
Beslissingsfouten: Er werden aanzienlijke beslissingsfouten waargenomen (30–37%), wat aangeeft dat audio-input hoogwaardige tool-gebruiksbeslissingen verandert (bijv. of überhaupt een tool moet worden aangeroepen).
When2Call-specifieken: Modellen hadden over het algemeen meer moeite met gevallen "zonder tool-aanroep" dan met gevallen "met tool-aanroep", wat een moeilijkheid aangeeft om te weten wanneer men niet moet handelen.

Evaluatie en Schaling

LLM-judges: Referentievrije LLM-judges toonden stabiele modelrangschikkingen in vergelijking met referentiebewuste judges. Open-source Qwen3-judges met $\ge$ 8B parameters behaalden >80% overeenstemming met proprietaire judges, wat privacybehoudende evaluatie ondersteunt.
Tekstschaling: In de tekst-only modus schaalt de nauwkeurigheid met de modelgrootte (bijv. Qwen3 stijgend van 26,6% bij 0,6B naar 70,7% bij 32B). Kleinere tekstmodellen (bijv. 8B–14B) kunnen fungeren als concurrerende cascade-backends.
Ambiguïteit-stress test: Ambigue queries veroorzaakten aanzienlijke prestatiedalingen (bijv. Qwen3-Omni zakte met 24,6 punten), wat suggereert dat queryformulering een belangrijke bron van variantie is, onafhankelijk van audio.

Betekenis en Claims

Het artikel claimt een verifieerbaar en reproduceerbaar diagnostisch instrument voor de eerste fase te bieden voor de implementatie van spraakagenten. De primaire bijdragen zijn:

Benchmarkconversie: Een methode om vertrouwde tekstbenchmarks om te zetten in audio-evaluaties zonder gouden labels of schema's opnieuw te bouwen, waardoor enterprises hun proprietaire data kunnen testen.
Diagnostisch signaal: Bewijs dat de "tekst-naar-stem"-kloof geen vaststaande eigenschap is van omni-modale inferentie, maar varieert per model en taak, wat specifieke diagnostiek vereist in plaats van algemene aannames.
Foutisolatie: Het gepaarde tekst-audio-ontwerp maakt contrafactische foutanalyse mogelijk, waarbij blijkt dat audio-falen vaak voortkomt uit misverstanden van argument-waarden in plaats van falen bij structurele tool-selectie.
Praktische evaluatie: Validatie dat referentievrije LLM-judges (inclusief open-source opties) tool-aanroepen effectief kunnen evalueren in productiesituaties waar gouden labels niet beschikbaar zijn.

De auteurs positioneren dit kader als een aanvulling op speciaal gebouwde audiocorpora, en bieden een gecontroleerde manier om door modus veroorzaakte falen te isoleren en architecturale keuzes (cascade vs. omni) te informeren voordat er wordt ingezet met natuurlijke spraak. Zij erkennen beperkingen, met name dat TTS-audio een gecontroleerde proxy is en de artefacten van spontane menselijke conversatie niet volledig vastlegt.