Task-Lens: Cross-Task Utility Based Speech Dataset Profiling for Low-Resource Indian Languages

Probleemstelling

Er is een groeiende vraag naar inclusieve spraaktechnologieën voor Natural Language Processing (NLP), maar de huidige vooruitgang wordt gehinderd door een gebrek aan multilinguale datasets, vooral voor taalvariëteiten met weinig bronnen (low-resource languages). Hoewel er veel datasets bestaan, zijn deze vaak Engels-gecentreerd of slechts gericht op één specifieke taak. In taalkundig diverse landen zoals India is de situatie acuut: onderzoekers zijn zich vaak niet bewust van bestaande resources voor ondervertegenwoordigde talen, en bestaande surveys catalogiseren datasets meestal slechts voor één taak (bijv. alleen spraakherkenning). Dit leidt tot een inefficiënt gebruik van beschikbare data en een gebrek aan inzicht in welke datasets geschikt zijn voor andere downstream-taken dan waarvoor ze oorspronkelijk zijn verzameld.

Methodologie: Task-Lens

Het paper introduceert Task-Lens, een raamwerk voor cross-task profilering dat de bruikbaarheid van bestaande datasets voor meerdere taken analyseert op basis van hun metadata. De methodologie volgt de PRISMA-richtlijnen voor systematische reviews en bestaat uit vier fasen:

1. Dataset Discovery: Een uitgebreide zoektocht in peer-reviewed venues (IEEE, ACL, etc.) en data-repositories (OpenSLR, Hugging Face, GitHub, etc.) naar Indiase spraakdatasets. Er werden geen datum- of venue-beperkingen opgelegd.
2. Dataset Filtering: Toepassing van criteria om datasets te selecteren. Dit omvatte het verwijderen van niet-Indiase bronnen, dubbele records en datasets zonder basis-metadata (zoals audio-bestanden, sample rates en toegankelijkheid). Synthetische spraak werd alleen opgenomen als de herkomst gedocumenteerd was.
   • Resultaat: Een gecureerde lijst van 50 Indiase spraakdatasets die 26 talen bestrijken en in totaal meer dan 91.257 uur audio omvatten.
3. Feature Extraction: Extractie van 10 beschrijvende features (metadata) voor elke dataset, zoals transcriptie-aanwezigheid, licentie-openheid, spreker-ID, emotionele labels en spraakstijl.
4. Utility Mapping (Cross-Task Profiling): Een regelgebaseerde matrix (Task-Feature Relevance Matrix) wordt gebruikt om te bepalen of een dataset "Task-Ready" is voor negen specifieke downstream-taken. Een dataset wordt als 'klaar' beschouwd als het alle vereiste features (✓) voor een specifieke taak bevat.

De negen onderzochte taken zijn:

• T1 & T2: Monolinguele en meertalige Spraak-naar-Text (ASR/STT).
• T3: Taalidentificatie (LID).
• T4: Sprekerverificatie/Identificatie (SV/SID).
• T5: Detectie van Audio-Deepfakes (ADD).
• T6: Spraak-Emotieherkenning (SER).
• T7 & T8: Monolinguele en meertalige Tekst-naar-Spraak (TTS).
• T9: Geslachtsidentificatie (GRE).

Belangrijkste Bijdragen

1. Task-Lens Framework: Het introduceren van een systematisch profiel dat de bereidheid van Indiase datasets voor negen verschillende taken analyseert, in plaats van ze slechts te catalogiseren.
2. Uitgebreide Analyse: Het analyseren van 50 datasets (26 talen, >91k uur audio) om cross-task potentieel bloot te leggen.
3. Identificatie van Gaten: Het blootleggen van kritieke lacunes in zowel taken als talen die momenteel onderbediend zijn.
4. Aanbevelingen voor Verbetering: Het bieden van concrete richtlijnen over welke metadata-uitbreidingen nodig zijn om bestaande datasets bruikbaar te maken voor extra taken (bijv. het toevoegen van spreker-ID's voor sprekerherkenning).

Resultaten en Bevindingen

• Cross-Task Potentieel: Veel datasets bevatten "ongebruikte" metadata die hen geschikt maakt voor taken waarvoor ze niet oorspronkelijk zijn ontworpen. Bijvoorbeeld, negen datasets (zoals BhasaAnuvaad, IndicVoices-R, MS Indic Speech) hebben de vereiste features voor zeven van de negen taken. Ze missen vaak slechts specifieke labels (zoals emotionele labels of synthetische spraak) om volledig bruikbaar te zijn voor taken als emotieherkenning of deepfake-detectie.
• Onbalans in Taakdistributie:
  • Goed gedekt: Taalidentificatie (T3) en Geslachtsidentificatie (T9) hebben de hoogste dekking (~90.000 uur), mede omdat multilinguale pooling vaak automatisch deze labels genereert.
  • Matig gedekt: ASR en TTS hebben redelijke dekking (~60.000 uur).
  • Kritiek onderbediend: Er is een acuut tekort aan data voor Sprekerverificatie (T4), Deepfake-detectie (T5) en Spraak-Emotieherkenning (T6). Voor emotieherkenning is er bijvoorbeeld slechts ongeveer 785 uur aan data beschikbaar.
• Talenverdeling:
  • Talen zoals Hindi, Bengaals, Tamil en Telugu hebben relatief veel data.
  • Er is een urgent tekort aan data voor talen zoals Bhojpuri, Dogri, Kashmiri, Konkani, Maithili, Manipuri, Santali en Sindhi. Voor deze talen is de beschikbare duur vaak minder dan 400 uur, en voor sommige taken (zoals T4, T5, T6) is er vaak helemaal geen data beschikbaar.
• Data-hergebruik: De analyse toont aan dat veel datasets worden gedeeld voor meerdere taken (bijv. dezelfde corpus voor ASR en TTS), maar dat specifieke, gespecialiseerde taken vaak volledig ontbreken voor bepaalde taalgroepen.

Significantie en Toekomstperspectief

Task-Lens biedt de NLP-gemeenschap een praktische, transparante basis voor het selecteren van datasets, waardoor onderzoekers minder tijd hoeven te besteden aan het zoeken naar data en meer aan modelinnovatie. Het paper benadrukt dat:

1. Bestaande resources vaak veel waardevoller zijn dan gedacht als ze correct worden geprofileerd.
2. Er een dringende noodzaak is voor gerichte datacollectie voor ondervertegenwoordigde taken (emotie, deepfake, sprekerherkenning) en talen.
3. Het framework kan worden uitgebreid naar andere regio's en taken om inclusieve spraaktechnologie wereldwijd te bevorderen.

Kortom, Task-Lens transformeert verspreide, ongestructureerde resources in een navigeerbare kaart, waardoor de ontwikkeling van multilinguale spraaktechnologieën voor Indiase talen aanzienlijk kan worden versneld.