💻 computer science

IndicContextEval: A Benchmark for Evaluating Context Utilisation in Audio Large Language Models Across 8 Indic Languages

Dit artikel introduceert IndicContextEval, een uitgebreide meertalige benchmark die 8 Indiase talen en 23 domeinen beslaat, ontworpen om rigoureus te evalueren of Audio Large Language Models daadwerkelijk expliciete contextuele prompts gebruiken of vertrouwen op voorkennis uit de pretraining via een nieuw 7-niveau prompting-framework.

Oorspronkelijke auteurs: Sakshi Joshi, Dhruv Subhash Rathi, Sanskar Singh, Eldho Ittan George, R J Hari, Kaushal Bhogale, Mitesh M. Khapra

Gepubliceerd 2026-06-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Sakshi Joshi, Dhruv Subhash Rathi, Sanskar Singh, Eldho Ittan George, R J Hari, Kaushal Bhogale, Mitesh M. Khapra

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, meertalige assistent hebt die naar mensen kan luisteren en precies kan opschrijven wat ze zeggen. Dit is wat AudioLLM's (Audio Large Language Models) doen. Ze zijn als superkrachtige dicteertools die ook een klein briefje kunnen lezen dat je hen vooraf geeft, zoals "Dit is een medische vergadering" of "Hier is een lijst met namen om op te letten."

De grote vraag die de auteurs van dit paper stelden, is: Leest deze assistent je briefje echt en gebruikt hij het om te helpen, of doet hij alsof hij luistert terwijl hij vertrouwt op wat hij al heeft onthouden tijdens zijn training?

Om het antwoord te vinden, hebben ze een nieuwe testomgeving gebouwd genaamd IndicContextEval. Hier is een eenvoudige uitsplitsing van wat ze hebben gedaan en wat ze hebben gevonden, gebruikmakend van alledaagse analogieën.

1. De Testkeuken: IndicContextEval

Beschouw deze benchmark als een enorme, georganiseerde keuken waar ze 56 uur aan natuurlijke spraak hebben bereid van 555 verschillende mensen die 8 verschillende Indiase talen spreken (zoals Hindi, Bengaals en Tamil).

De Ingrediënten: Ze hebben niet zomaar willekeurige geklets opgenomen. Ze hebben zich gericht op 23 verschillende professionele velden, variërend van "Robotica en Automatisering" tot "Culinaire Kunsten" en "Recht". Dit zorgt ervoor dat de sprekers lastige, technische woorden gebruiken die moeilijk te raden zijn door alleen te luisteren.
Het Doel: Ze wilden zien of de AI deze lastige woorden correct kon transcriberen wanneer de AI een "hint" (context) kreeg versus wanneer de AI zelf moest raden.

2. De Zeven Niveaus van Hints (De "Prompt" Ladder)

De onderzoekers hebben een slimme ladder van 7 niveaus ontworontworpen om de AI te testen. Stel je voor dat je een vriend vraagt om een verhaal over een specifiek onderwerp op te schrijven. Je geeft hem hints die steeds specifieker worden:

Niveau 0 (Het Lege Blad): "Schrijf gewoon op wat je hoort." (Geen hints op de voet).
Niveau 1 (De Taalhint): "Schrijf op wat je hoort in het Hindi." (Vertelt alleen de taal).
Niveau 2 (De Gestructureerde Notitie): "Dit is een medisch gesprek in het Hindi, gesproken door een arts." (Alleen feiten).
Niveau 3 (De Verhalende Notitie): "Dit is een arts die een operatie uitlegt in het Hindi." (Een natuurlijke zinbeschrijving).
Niveau 4 (De Engelse Lijst): "Hier is een lijst met medische termen in het Engels: Hart, Scalpel, Antibiotica." (Maar de AI moet het antwoord nog steeds in het Hindi schrijven).
Niveau 5 (De Inheemse Lijst): "Hier is dezelfde lijst, maar geschreven in het Hindi schrift." (De hint komt overeen met de taal van het antwoord).
Niveau 6 (De Valstrik): "Hier is een lijst met kooktermen (zoals Bloem, Oven, Specerij) voor een medisch gesprek in het Hindi." (Dit is een truc om te zien of de AI blindelings de lijst volgt, zelfs als deze fout is).

3. De Resultaten: Wie Luistert Er Eigenlijk?

Ze hebben vijf verschillende AI-modellen getest. Hier is wat er gebeurde, gebruikmakend van de "Vriend"-analogie:

De "Slimme & Sceptische" Vriend (GPT-4o Transcribe):
Deze vriend is goed. Wanneer je hem de juiste lijst met woorden geeft (Niveau 5), doet hij het geweldig. Maar wanneer je hem een verkeerde lijst geeft (Niveau 6, de kookval), negeert hij deze en houdt hij vast aan wat hij daadwerkelijk hoort. Hij weet wanneer hij de hint moet gebruiken en wanneer hij deze moet negeren.
De "Gierige Leerling" (Gemini 3 Flash):
Deze vriend houdt van de hints. Wanneer je hem de juiste lijst geeft, verbetert hij zijn schrijven aanzienlijk. Het lijkt erop dat hij de context echt gebruikt om de lastige woorden goed te krijgen.
De "Blinde Volger" (Gemma-3N):
Deze vriend is te vertrouwelijk. Wanneer je hem een verkeerde lijst geeft (Niveau 6), raakt hij in de war en begint hij onzin te schrijven op basis van die verkeerde lijst. Hij vertrouwt te veel op de notitie en vergeet naar de eigenlijke stem te luisteren.
De "Doof voor Notities" Vriend (Sarvam Audio):
Deze vriend is eigenlijk de beste in het gewoon luisteren en woorden opschrijven (laagste fouten in totaal). Echter, zij veranderen hun gedrag nauwelijks of ze nu een hint krijgen of niet. Het is also wordt ze zo goed in het horen dat ze de notities eigenlijk niet nodig hebben, of ze negeren de notities simpelweg.
De "Verwarde" Vriend (GPT-4o en anderen bij Niveau 0):
Wanneer er geen taal werd gespecificeerd (Niveau 0), raakten veel modellen in de war over welk taalscript ze moesten gebruiken, wat leidde tot veel fouten. Zododert je hen vertelde "Spreek Hindi", schoot hun prestatie direct omhoog.

4. Belangrijkste Inzichten

Het "Hint"-Formaat Maakt Uit: Vertellen dat de AI "Hier is een lijst met woorden in het Engels is" (Niveau 4) was niet zo nuttig als de lijst in het lokale schrift geven (Niveau 5). Het is als proberen een recept te lezen dat in een taal is geschreven die je niet spreekt; het helpt niet zoveel als het in je eigen taal beschikbaar is.
Natuurlijk vs. Robot: Een audio beschrijven in een natuurlijke zin (Niveau 3) werkte beter dan het geven van een droge lijst met feiten (Niveau 2).
De Valstrik-test: De "Niveau 6" valstrik was cruciaal. Het bewees dat sommige modellen slim genoeg zijn om slechte hints te negeren, terwijl anderen zo graag willen pleasen dat ze slechte instructies volgen en fouten maken.

Samenvatting

Het paper concludeert dat hoewel deze AI-modellen krachtig zijn, ze context niet allemaal op dezelfde manier gebruiken. Sommigen zijn slim genoeg om te weten wanneer ze een hint moeten gebruiken en wanneer ze deze moeten negeren. Anderen zijn ofwel te blind voor de hints, ofwel te gemakkelijk te misleiden door ze.

De auteurs hebben deze test (IndicContextEval) gebouwd om ontwikkelaars te helpen deze verschillen te begrijpen, zodat ze in de toekomst betere, betrouwbaardere stemassistenten voor Indiase talen kunnen bouwen. Ze hebben al hun data en tests publiek gemaakt zodat anderen dit onderzoek kunnen voortzetten.

Technische Samenvatting: IndicContextEval

Probleemstelling

Audio Large Language Models (AudioLLMs) hebben de mogelijkheid geïntroduceerd om spraakherkenning uit te voeren die geconditioneerd is op vrije tekstuele prompts, zoals domeinbeschrijvingen of entiteitslijsten. Hoewel dit een flexibele interface biedt voor contextuele Automatische Spraakherkenning (ASR), blijft een cruciale onzekerheid bestaan: maken deze modellen daadwerkelijk gebruik van de verstrekte context om akoestische ambiguïteiten op te lossen, of vertrouwen ze primair op parametrische kennis verworven tijdens de pre-training?

Bestaande benchmarks adresseren deze vraag niet. Grote meertalige corpora (bijv. IndicVoices, CommonVoice) evalueren transcriptie onder vaste prompting-condities zonder de contextuele inputs te variëren. Daarentegen zijn benchmarks ontworpen voor contextuele ASR (bijv. ProfASR, ContextASR) overwegend Engels-gecentreerd, vertrouwen ze vaak op synthetische spraak en testen ze typisch slechts één modus van context (bijv. genamde entiteitslijsten). Bijgevolg is er geen systematische methode om onderscheid te maken tussen echte contextuele gronding en parametrische memorisatie, noch om te analyseren hoe specifieke soorten context het transcriptiegedrag beïnvloeden.

Methodologie: De IndicContextEval Benchmark

Om deze hiaten te adresseren, introduceren de auteurs IndicContextEval, een meertalige benchmark die is ontworpen voor de gecontroleerde evaluatie van contextgebruik in AudioLLMs.

Dataset Constructie

Schaal en Diversiteit: De benchmark bestaat uit 55,93 uur aan natuurlijke spraak van 555 sprekers uit 8 Indiase talen (Hindi, Bengali, Telugu, Marathi, Gujarati, Malayalam, Odia en Urdu) en 23 professionele domeinen (variërend van kerntechniek en medische wetenschappen tot forensische wetenschappen en kunst).
Opname-stijlen: De data bevat zowel voorgelezen spraak (met gecureerde domeinwoordenschatlijsten vertaald uit het Engels) als extempore spraak (waarbij deelnemers technische concepten bespreken in een natuurlijke narratieve stijl).
Kwaliteitscontrole: Alle opnames ondergingen meerfasige verificatie door moedertaalsprekers en domeinexperts. Referentietranscripties werden letterlijk geproduceerd in de oorspronkelijke schriften, waarbij code-gemixte segmenten behouden bleven en Engelse entiteiten in haakjes werden getranslitereerd.

Gecontroleerde Prompt Taxonomie (L0–L6)

De kerninnovatie is een zeven-niveau prompting framework waarbij elk niveau exact één aanvullend contextueel signaal introduceert terwijl andere factoren constant worden gehouden. Dit ontwerp maakt het mogelijk om prestatieveranderingen toe te schrijven aan specifieke contexttypen:

L0: Geen context (kale transcriptie-instructie).
L1: Alleen taal (doeltaal gespecificeerd).
L2: Taal + Gestructureerde domeinmetadata (spraakstijl, regio, domeinbeschrijving).
L3: Taal + Natuurlijke taal audiobeschrijving (onderwerp en discussietype).
L4: Taal + Entiteitslijst in het Engels (20–30 domeinentiteiten).
L5: Taal + Entiteitslijst in het oorspronkelijke schrift (afstemming van prompt en output-schriften).
L6: Adversarial prompt (Entiteitslijst uit een ongerelateerd domein in het oorspronkelijke schrift).

Experimentele Opstelling

De studie evalueerde vijf modellen:

IndicConformer: Een standalone ASR baseline (geëvalueerd bij L1 alleen).
GPT-4o Transcribe, Gemini 3 Flash, Sarvam Audio: Commerciële AudioLLMs.
Gemma-3N: Een open-weight AudioLLM.

Evaluatiemetrieken omvatten Word Error Rate (WER) en Named Entity Error Rate (NEER), met een specifieke focus op hoe NEER verandert over contextniveaus om entiteits-biasing te meten.

Belangrijkste Resultaten

1. Baseline Prestaties en Taalidentificatie

Bij L1 (taal gespecificeerd) behaalde Sarvam Audio de laagste WER (16,86%), gevolgd door Gemini 3 Flash (18,90%). GPT-4o Transcribe en Gemma-3N vertoonden significant hogere foutpercentages. De transitie van L0 naar L1 onthulde een substantiële "taalidentificatie-belasting", met name voor Gemma-3N, die verbeterde met 12,48 WER-punten wanneer de taal expliciet werd gespecificeerd, wat wijst op moeilijkheden bij het afleiden van het juiste schrift uit de akoestiek alleen.

2. Impact van Contexttype

Natuurlijke taal versus Metadata: Natuurlijke taal audiobeschrijvingen (L3) presteerden consistent beter dan gestructureerde metadata prompts (L2). Bijvoorbeeld, GPT-4o Transcribe verbeterde met 2,53 WER-punten bij L3 versus slechts 0,24 bij L2. Gemma-3N toonde extreme gevoeligheid voor promptformaten, waarbij gestructureerde metadata de prestaties significant verslechterde (+13,47 WER).
Script-afstemming: Het verstrekken van entiteitslijsten in het oorspronkelijke schrift (L5) leverde de grootste winst op in NEER voor alle modellen. Het verschil tussen entiteiten in het Engels-schrift (L4) en het oorspronkelijke schrift (L5) bereikte tot wel 11 WER-punten, wat een aanzienlijke "script-mismatch kost" bevestigt.
Adversarial Robuustheid (L6):
- GPT-4o Transcribe demonstreerde gebalanceerd gebruik: het profiteerde van correcte entiteiten (L5), maar bleef robuust tegen onjuiste entiteiten (L6 $\approx$ L1), wat suggereert dat het prompts kruis-valideert tegen akoestisch bewijs.
- Gemini 3 Flash vertoonde matige gevoeligheid voor adversarial prompts, wat duidt op echte contextueel gebruik.
- Gemma-3N werd zwaar gedegradeerd door adversarial entiteiten (+9,22 WER), wat wijst op een "blinde afhankelijkheid" van entiteit-prompts die vaak de omliggende transcriptie corrupt maakten.
- Sarvam Audio bleef grotendeels onaangetast door adversarial prompts, wat suggereert dat de transcriptie primair wordt gedreven door de akoestische encoder met beperkte invloed van tekstuele context.

3. Contextuele Grondingscapaciteiten

De resultaten benadrukken substantiële heterogeniteit in hoe modellen context gebruiken. Hoewel entiteits-biasing in het oorspronkelijke schrift de sterkste verbeteringen bood, vertoonden sommige modellen (zoals Sarvam Audio) minimale variatie over contextniveaus, wat impliceert dat ze tekstuele prompts grotendeels negeren. Anderen (zoals Gemma-3N) vertrouwden op prompts tot het punt van instabiliteit. Opvallend genoeg, bij L5, overtrof zelfs de best presterende AudioLLM (Gemini 3 Flash) de standalone ASR baseline (IndicConformer) in zowel WER als NEER.

Betekenis en Claims

Het artikel claimt dat IndicContextEval de eerste benchmark is die systematisch contexttypen varieert terwijl andere factoren constant worden gehouden over meerdere Indic-talen en professionele domeinen. De primaire betekenis ligt in:

Onthullen van Divergerende Gedragingen: Het legt bloot dat AudioLLMs sterk variëren in hun vermogen om transcriptie te funderen in context, waarbij sommige modellen signalen effectief exploiteren, anderen ze negeren, en sommige instabiel reageren.
Onderscheiden van Mechanismen: De gecontroleerde taxonomie stelt onderzoekers in staat om onderscheid te maken tussen echte contextuele gronding en parametrische memorisatie, een onderscheid dat bestaande benchmarks niet kunnen maken.
Benadrukken van Open Uitdagingen: Ondanks flexibele prompting-interfaces, concludeert het paper dat contextuele gronding een openstaande uitdaging blijft voor AudioLLMs. De bevindingen suggereren dat huidige modellen niet uniform of betrouwbaar contextuele signalen integreren, wat expliciete evaluatie van deze capaciteiten noodzakelijk maakt vóór implementatie in kritieke toepassingen.

De auteurs benadrukken dat deze bevindingen voortkomen uit systematische experimentatie en dat de benchmark-bronnen publiekelijk beschikbaar zijn om toekomstig onderzoek te ondersteunen voor robuuste, contextbewuste spraakherkenning.