Indic DiarBench: A Multilingual Joint Diarization and ASR Benchmark for Indian Languages

Technisch Overzicht: Indic DiarBench

Probleemstelling
Hoewel er aanzienlijke vooruitgang is geboekt in Automatic Speech Recognition (ASR) voor Indiase talen, richten bestaande onderzoeken en benchmarks zich voornamelijk op scenario's met één spreker. Praktische toepassingen zoals vergaderingen, interviews en informele gesprekken omvatten meerdere interagerende sprekers, wat een pijplijn vereist die spraakdiarisatie (identificeren van "wie wanneer sprak") combineert met ASR. Huidige benchmarks voor Indiase talen zijn ontoereikend omdat ze ofwel geen spreker-geattribueerde labels bevatten, ofwel slechts een subset van talen dekken, ofwel de evaluatie van diarisatie loskoppelen van de ASR-evaluatie. Deze ontkoppeling maskeert kritieke foutmodi; bijvoorbeeld presteert ASR vaak aanzienlijk slechter wanneer het wordt toegepast op de korte, gefragmenteerde en overlappende segmenten die door diarisatiesystemen worden geproduceerd. Er is een gebrek aan een gestandaardiseerde, meertalige benchmark die gezamenlijke spreker-geattribueerde ASR evalueert over de 22 geplande talen van India onder realistische conversationele omstandigheden.

Methodologie
Om dit gat te dichten, introduceren de auteurs Indic DiarBench, een uitgebreide benchmark-dataset en evaluatiekader.

• Dataverzameling: Het corpus bestaat uit ongeveer 108 uur aan natuurlijke spraak met meerdere sprekers verspreid over alle 22 geplande Indiase talen. De data is gecategoriseerd in drie akoestische condities:

  1. Near-field meetings (~53 uur): Opgenomen via individuele nabijheidsmicrofoons tijdens virtuele vergaderingen, waarbij spontane interactie en overlap worden gevangen.
  2. Far-field meetings (~27 uur): Opgenomen met afstandelijke microfoons, wat reverberatie en achtergrondruis introduceert.
  3. In-the-wild audio (~28 uur): Gecureerd uit YouTube-video's met langdurige interacties tussen meerdere sprekers in ongecontroleerde omgevingen.
     De dataset bevat 485 unieke sprekers uit 189 districten, wat zorgt voor een diverse geografische, demografische en dialectale representatie.

• Annotatiepijplijn: Een rigoureus human-in-the-loop proces werd ingezet om hoogwaardige, spreker-geattribueerde transcripties te genereren:

  1. Bootstrap: Initiële transcripties werden gegenereerd met behulp van meerdere ASR-systemen om de annotatieinspanning te verminderen.
  2. Menselijke verificatie: Professionele annotatoren corrigeerden woordsequenties, tijdstempels en sprekerlabels. Voor vergaderopnames pasten annotatoren bestaande labels aan maar konden zij geen nieuwe sprekers introduceren; voor in-the-wild data konden zij sprekers samenvoegen of toevoegen op basis van visuele aanwijzingen.
  3. Handling van Code-Mixing: Er werden twee transcriptieformaten gemaakt: één in de oorspronkelijke Indiase schriften (inclusief Engelse woorden) en één genormaliseerde vorm (Engels in het Romeinse schrift, cijfers in Arabische cijfers) om veelvoorkomende code-mixing te faciliteren.
  4. Kwaliteitscontrole: Toezichthouders en taalspecifieke experts controleerden op consistentie, overlap-afhandeling en non-speech tags (, ).

• Evaluatiemetrieken: De benchmark evalueert systemen op twee assen:

  • Akoestische Diarisatie: Gemeten via de Diarization Error Rate (DER) zonder een 'forgiveness collar', inclusief overlappende spraak.
  • Gezamenlijke Prestaties: Gemeten via de Concatenated minimum-permutation Word Error Rate (cpWER) om de nauwkeurigheid van transcriptie te beoordelen na het oplossen van sprekerpermutaties, en de Word Diarization Error Rate (WDER) om spreker-attributiefouten expliciet te bestraffen.

Belangrijkste Bijdragen

1. Eerste Meertalige Benchmark: De eerste open-access bron die alle 22 geplande Indiase talen dekt met gezamenlijke ASR- en diarizatie-labels.
2. Diverse Akoestische Condities: Een verenigd corpus van ~108 uur dat near-field, far-field en in-the-wild scenario's dekt, waarbij realistische variaties in aantal sprekers (2–9 sprekers) en overlapratio's worden gevangen.
3. Door Mensen Gecorrigeerde Ground Truth: Hoogwaardige, tijd-gealigneerde spreker-geattribueerde transcripties (RTTM-formaat) met strikte kwaliteitscontrole, inclusclusief specifieke afhandeling voor code-mixing en overlappende spraak.
4. Baseline Evaluaties: Uitgebreide benchmarking van toonaangevende systemen, waaronder commerciële spraak-API's (bijv. AWS, Azure, Deepgram), multimodale Large Language Models (bijv. GPT-4o, Gemini 3 Pro) en Indic-gespecialiseerde systemen (Sarvam AI).

Resultaten en Analyse
De auteurs hebben meerdere state-of-the-art systemen geëvalueerd op de dataset:

• Prestatieleiders: De Indic-gespecialiseerde Sarvam AI-pijplijn behaalde de beste algemene resultaten, met de laagste DER (16,0%) en cpWER (38,8%).
• Commerciële API's: Systemen zoals AWS Transcribe vertoonden een gemiddelde prestatie (23,5% DER), terwijl anderen aanzienlijk hogere foutpercentages lieten zien.
• Multimodale LLM's: Deze modellen presenteerden een trade-off. Gemini 3 Pro bereikte een competitieve WDER (33,0%) dankzij sterke ASR op gedetecteerde segmenten, maar leed onder een zeer hoge DER (74,0%) door gemiste detecties en onbetrouwbare tijdstempels. GPT-4o vertoonde een betere diarizatie-nauwkeurigheid maar een slechte cpWER, met name bij minder rijke talen.
• Foutpatronen: Analyse toonde aan dat Indic-gespecialiseerde pijplijnen een gebalanceerd foutprofiel hadden, terwijl multimodale LLM's werden gedomineerd door fouten in gemiste detectie (bijv. het niet detecteren van korte uitingen zoals bevestigingen). Generieke commerciële API's vertoonden vaak hoge missen-detectie-percentages door conservatieve Voice Activity Detection.
• Variatie in Taal en Conditie: Prestaties varieerden aanzienlijk per taal en conditie. Telugu, Maithili en Dogri waren het meest uitdagend vanwege hoge overlapratio's en aantal sprekers. Santali en Urdu behoren tot de eenvoudigste. In-the-wild opnames leverden over het algemeen de beste prestaties op door lagere overlap en duidelijkere beurtwisselingen. Talen met minder middelen (beschikbaar in slechts near-field) vertoonden hogere foutpercentages vergeleken met talen met meer middelen die meerdere condities beslaan.

Significantie
Indic DiarBench vestigt een gestandaardiseerd evaluatiekader voor multi-spreker conversationele spraak in Indiase talen. Door een bron te bieden die de nuances van de Indiase spraak vastlegt — zoals code-mixing, dialectale variatie en frequente sprekeroverlap — maakt deze benchmark de ontwikkeling van robuuste, spreker-geattribueerde ASR-systemen mogelijk. De auteurs stellen dat vooruitgang in real-world conversationele transcriptie benchmarks vereist die ASR en diarizatie gezamenlijk evalueren, aangezien onafhankelijke evaluatie faalt in het vastleggen van de degradatie veroorzaakt door diarizatiefouten. De release van deze dataset, samen met de annotaties en baseline-systemen, heeft als doel het onderzoek naar inclusieve, meertalige spraaktechnologie voor de 22 grondwettelijk erkende talen van India te bevorderen.