Technische Samenvatting: IHBench – Het evalueren van herstel na onderbreking in spraakagenten

Probleemstelling

Real-time spraakagenten worden steeds vaker ingezet in gestructureerde, meerstaps workflows (bijv. klantenservice, medische planning). Hoewel natuurlijk gesproken gesprek wordt gedefinieerd door onderbrekingen — gebruikers die erdoorheen praten om informatie te corrigeren, ongeduld te uiten of backchannels te geven — richten bestaande benchmarks zich primair op de mechanica van de onderbreking (bijv. barge-in detectie, endpointing, beurtwisselingstiming).

Er blijft een kritieke kloof bestaan: wat gebeurt er na de onderbreking? Huidige benchmarks meten niet of een agent erin slaagt de workflow-status te herstellen, de interjectie van de gebruiker te adresseren, of voorkomt dat informatie opnieuw wordt gedeeld die de gebruiker al heeft gehoord. Falen in dit "herstel na onderbreking" leidt tot kwalitatief gebrekkige interacties (bijv. een agent die een zin herhaalt die de gebruiker zojuist heeft gecorrigeerd, of de draad kwijtraakt in een state machine), wat fundamenteel verschilt van enkel het niet stoppen met spreken.

Methodologie: IHBench Ontwerp

De auteurs introduceren IHBENCH (Interruption Handling Benchmark), een synthetische benchmark die is ontworpen om het herstel na onderbreking te evalueren bij spraakagenten die workflows uitvoeren op basis van state machines.

1. Data Generatie Pipeline

De benchmark bestaat uit 45 synthetisch gegenereerde gesprekken verspreid over 10 enterprise domeinen (SaaS, finance, healthcare, etc.). De pipeline omvat:

• Workflow Grounding: Elk gesprek wordt gedreven door een strikte state machine (bijv. Authenticate → Verify → Process → Confirm).
• Gecontroleerde Onderbrekingen: Onderbrekingen worden op specifieke, gecontroleerde punten geïnjecteerd halverwege een uiting (niet alleen bij de grenzen van een beurt) door een gebruikerssimulator.
• Zes Onderbrekingstypes: De benchmark definieert zes verschillende onderbrekingsintenties, die elk verschillende herstelgedragingen vereisen:
  • Normal: Coöperatieve onderbreking (nieuwe details/restricties).
  • Impatient: Gebruiker wil uitleg overslaan.
  • Correction: Gebruiker corrigeert eerder genoemde informatie.
  • Topic Switch: Gebruiker introduceert een ongerelateerd verzoek.
  • Filler: Korte backchannel (bijv. "mm-hm") die een naadloze voortzetting vereist.
  • Pushback: Gebruikers verzet zich tegen een bewering of verzoek.
• Rubriek Generatie: Voor elke onderbreking wordt vooraf aan de modelinferentie een specifieke evaluatierubriek gegenereerd, die de doelen voor taakvoltooiing en de criteria voor herstelkwaliteit definieert.
• Verificatie: Een verifieerder zorgt ervoor dat er geen lekken zijn in de state machine (gebruikers die interne workflowstadia kennen) en controleert de natuurlijkheid.

2. Evaluatiemetrieken

Elk onderbrekingspunt dient als een evaluatiesample die door twee onafhankelijke assen wordt gescoord door LLM-judges (GPT-5.4-mini):

1. Taakvoltooiing (Comparatief): De respons van het model wordt vergeleken met een baseline (GPT-4o Audio) respons. Een judge selecteert de winnaar op basis van welke respons de workflow-doelen beter voortstuwt. De metriek is de Win Rate (0.50 = gelijkwaardigheid aan de baseline).
2. Herstelkwaliteit (Absoluut): De respons van het model wordt geëvalueerd tegenover 2–4 type-specifieke criteria (bijv. "werd de uiting exact vanaf het afkappunt voortgezet?" voor fillers). De metriek is de Pass Rate (het deel van de onderbrekingen waarbij aan alle criteria is voldaan).

3. Experimentele Opstelling

• Geëvalueerde Modellen: 27 configuraties van OpenAI (GPT-4o, GPT Realtime, GPT Audio), Google (Gemini 2.5/3.x) en open-weight modellen (Gemma, Qwen, MiMo, Kimi, etc.).
• Input Modaliteiten: Geëvalueerd op zowel audio-input als tekstuele transcripten om effecten van modaliteit te isoleren.
• Validatie: Er zijn agreement-studies uitgevoerd met een secundaire judge (Gemini 3 Flash) en menselijke annotatoren (Prolific) om de LLM-as-a-judge benadering te valideren.

Belangrijkste Resultaten

1. Kloof tussen Closed-Weight en Open-Weight Modellen

Closed-weight modellen presteren consistent beter dan open-weight modellen over alle metrieken:

• Taakvoltooiing: Closed-weight modellen winnen aanzienlijk vaker tegen de baseline.
• Diepte-degradatie: Naarmate de conversatie dieper wordt, degraderen open-weight modellen ongeveer 3,3× sneller dan closed-weight modellen. De gemiddelde helling voor open-weight modellen is -0,053 per beurt, vergeleken met -0,016 voor closed-weight modellen.
• Modaliteitskloof: Closed-weight modellen (specifiek Gemini) vertonen geen significant prestatieverschil tussen audio- en tekstinputs. Open-weight modellen presteren aanzienlijk slechter op audio dan op tekst (ongeveer 8 punten lager op Taakvoltooiing).

2. Distincte Capaciteitsassen

De studie identificeert dat Taakvoltooiing en Herstelkwaliteit deels onafhankelijke assen zijn:

• Het model met de hoogste Taakvoltooiing (GPT Realtime 2) zit slechts op een gemiddeld niveau wat betreft Herstelkwaliteit.
• Het model met de hoogste Herstelkwaliteit (Gemini 2.5 Flash) heeft een lagere Taakvoltooiing.
• Cross-Benchmark Analyse: Bij vergelijking met AudioMultiChallenge (AMC) vertoont de IHBench Herstelkwaliteit-metriek de laagste correlatie met bestaande multi-turn audio benchmarks. Dit suggereert dat herstelkwaliteit een unieke capaciteit is die niet door algemene conversationele benchmarks wordt gevangen.

3. Gevoeligheid voor Onderbrekingstype

Prestaties variëren drastisch per onderbrekingstype:

• Afhandeling van Fillers: Dit is de sterkste differentiator. GPT-familie modellen falen in het correct voortzetten van een uiting na een backchannel in slechts 7%–31% van de gevallen. In contrast bereikt de Gemini 2.5-familie 62%–68%, terwijl de nieuwere Gemini 3.x lijn scherp terugvalt naar 13%–32%.
• Normal/Topic Switch: Deze worden over het algemeen goed afgehandeld door de meeste modellen.
• Correction/Impatient: Deze tonen gemiddelde moeilijkheidsgraad, met een significante variantie tussen modellen.

4. Validatie

• Judge Agreement: De primaire LLM-judge komt overeen met een secundaire judge (Cohen's κ ≈ 0,75) en menselijke annotatoren (κ ≈ 0,51) op niveaus die vergelijkbaar zijn met of hoger dan de menselijke inter-annotator agreement.
• Rangschikking Stabiliteit: Menselijke rangschikkingen van modellen komen bijna exact overeen met de LLM-judge rangschikkingen (Spearman ρ = 1,0 voor Herstelkwaliteit).

Betekenis en Claims

Het paper stelt dat herstel na onderbreking een unieke en kritieke capaciteit is voor spraakagenten die momenteel ondergewaardeerd wordt. De auteurs argumenteren dat:

1. Huidige Benchmarks Onvoldoende Zijn: Bestaande benchmarks focussen op wanneer te stoppen met spreken, niet op wat er daarna gezegd moet worden om de integriteit van de workflow te behouden.
2. Gerichte Evaluatie Trainingstekorten Blootlegt: De grote variatie in prestaties (vooral bij het afhandelen van fillers) suggereert dat deze gedragingen ondergetraind zijn in plaats van inherent moeilijk, wat impliceert dat gerichte evaluatie specifieke verbeteringen in training kan sturen.
3. Modaliteit Er Toe Doet voor Open Modellen: Open-weight modellen worstelen aanzienlijk meer met audio-inputs dan met tekst, wat wijst op een behoefte aan betere audio-tekst alignment in deze architecturen.
4. Herstel een Nieuwe As is: Herstelkwaliteit is niet louter een subset van algemene conversationele bekwaamheid; het is een unieke dimensie van de prestaties van spraakagenten die specifieke benchmarking vereist.

De auteurs concluderen dat IHBench een noodzakelijk kader biedt voor het meten en verbeteren van de robuustheid van spraakagenten in real-world, onderbrekingsgevoelige omgevingen, waarbij een duidelijke kloof wordt aangetoond tussen de huidige frontier closed-weight modellen en de open-weight alternatieven.