OpenLID-v3: Improving the Precision of Closely Related Language Identification -- An Experience Report

Technische Samenvatting: OpenLID-v3: Het verbeteren van de precisie van identificatie van nauw verwante talen

Probleemstelling
Taalidentificatie (LID) is een cruciale voorverwerkingsstap voor het construeren van hoogwaardige meertalige datasets uit webdata, met name voor de pre-training van Large Language Models (LLM's). Echter, bestaande tools zoals OpenLID en GlotLID worstelen met twee primaire problemen: het onderscheiden van nauw verwante talen en het differentiëren tussen geldige natuurlijke taal en ruis (bijv. code, defecte codering of door machines gegenereerde inhoud). Deze fouten leiden tot de contaminatie van taalspecifieke subsets, een probleem dat wordt verergerd voor minderheidstalen (low-resource languages). Bovendien schieten standaard evaluatiebenchmarks vaak tekort omdat ze vertrouwen op schone, parallelle corpora (bijv. FLORES+, UDHR) die de complexiteit en ambiguïteit van real-world webdocumenten niet kunnen vatten, waardoor slechte prestaties op vergelijkbare taalvariëteiten worden gemaskeerd.

Methodologie
De auteurs presenteren OpenLID-v3, een uitbreiding van het volledig open-source OpenLID-systeem (gebaseerd op de fastText-architectuur). De ontwikkeling van v3 werd gedreven door een handmatige inspectie van de prestaties van OpenLID-v2 op de HPLT 3.0 dataset, die specifieke foutmodi aan het licht bracht. De methodologie omvatte drie kerntechnische interventies:

1. Uitbreiding en opschoning van trainingsdata: De auteurs breidden de trainingsdata voor specifieke talen uit, met name door het herintroduceren van het Latijnse schrift en het toevoegen van Servisch geschreven in het Latijnse schrift (dat eerder ontbrak, wat leidde tot misclassificatie als Bosnisch of Kroatisch). Ze incorporeerden ook subsets van GlotLID's trainingsdata die als niet-ruizig werden gerapporteerd en voegden recente Wikipedia-dumps toe.
2. Herstructurering van de klasse-inventaris:
   • Samenvoegen van varianten: Om verwarring te verminderen, werden acht Arabische dialecten samengevoegd tot één ara_Arab macrotaal, en twee Perzische variëteiten werden samengevoegd tot fas_Arab. Op dezelfde manier werden de onderling begrijpelijke Bambara en Dyula samengevoegd.
   • Ruis-labeling: Een toegewezen zxx_Zxxx ("geen taal") klasse werd geïntroduceerd met behulp van GlotLID's und_* en zxx_* data om niet-linguïstische ruis expliciet te modelleren, waarmee het "vuilnisbak-fenomeen" werd aangepakt waarbij niet-talige tekst in bestaande taal-klassen werd gedwongen.
3. Ensemble-benaderingen: De auteurs experimenteerden met het ensembelen van OpenLID-v3 en GlotLID met behulp van top-1 en top-3 overeenkomststrategieën om de precisie te verbeteren, hoewel top-3 overeenkomst de resultaten voor single-label modellen aantoonde te verslechteren.

Evaluatiestrategie
Het artikel betoogt dat mainstream benchmarks onvoldoende zijn voor het evalueren van LID op vergelijkbare talen. Daarom omvatte de evaluatiestrategie:

• Standaard Benchmarks: FLORES+, UDHR en FastSpell.
• Custom/Specifieke Benchmarks: Nieuwe evaluatiedatasets werden gecreëerd of gebruikt voor drie specifieke groepen nauw verwante talen:
  • BCMS (Bosnisch, Kroatisch, Montenegrijns, Servisch): Gebruikmakend van Twitter-gebruikersdata, ParlaSent (parlementaire transcripten) en her-geannoteerde HPLT-LID data.
  • Romaanse Variëteiten: Met de focus op Ligurisch, Occitaans en Frans-Provençaals met behulp van de ITDI-dataset.
  • Scandinavische Talen: Evaluatie van Noors Bokmål, Nynorsk, Deens en Zweeds met behulp van de SLIDE en Nordic DSL datasets.
• Metrieken: Nadruk op de False Positive Rate (FPR) en precisie, naast recall en F1-score, om de klassenonbalans die voorkomt in echte web crawls beter te reflecteren.

Belangrijkste Resultaten

• Prestaties op Benchmarks: OpenLID-v3 presteert op gelijke hoogte met of iets beter dan OpenLID-v2 en GlotLID op standaard benchmarks (FLORES+, UDHR). De introductie van een softmax-drempelwaarde (0.5) verbeterde de resultaten voor OpenLID-v3 over het algemeen.
• Nauw Verwante Talen:
  • BCMS: OpenLID-v3 verbeterde de identificatie van Servisch in het Latijnse schrift aanzienlijk, een groot foutpunt in v2. Echter, de verwarring tussen Bosnisch en Servisch blijft hoog vanwege lexicale overlap en gedeelde wortels. Ensemble-methoden (OpenLID-v3 + GlotLID) verbeterden de precisie maar verminderden de dekking (recall) voor minderheidstalen drastisch.
  • Romaanse Talen: Op de ITDI-dataset bereikte het ensembelen van OpenLID-v3 en GlotLID de hoogste precisie en laagste FPR, hoewel dit ten koste ging van het verwijderen van veel Venetiaanse samples.
  • Scandinavisch: GlotLID behaalde de beste recall, terwijl OpenLID-v3 een betere precisie en FPR liet zien. De twee Noorse varianten (Bokmål en Nynorsk) bleven het meest verwarrende paar.
• Foutanalyse: Handmatige analyse van BCMS-fouten toonde aan dat entiteiten (named entities), lexicale overlap (gedeelde wortels die orthografische markers zoals jat overtreffen), historische vormen en ongrammaticale syntaxis de primaire bronnen van misclassificatie zijn. Korte sequenties en web-artefacten werden geïdentificeerd als bijzonder moeilijk voor alle modellen.

Betekenis en Claims
Het artikel claimt dat hoewel grootschalige meertalige benchmarks vaak hoge geaggregeerde scores laten zien, zij significante tekortkomingen bij het identificeren van nauw verwante talen maskeren. OpenLID-v3 demonstreert dat:

1. Precisie vs. Dekking Trade-off: Ensemble-benaderingen kunnen de precisie aanzienlijk verbeteren (het verminderen van contaminatie van taal-subsets) maar verminderen de dekking voor minderheidstalen substantieel, wat een kritieke overweging is voor dataset-curatie.
2. Noodzaak voor Gespecialiseerde Evaluatie: Betrouwbare evaluatie van LID-modellen, vooral voor vergelijkbare talen, vereist benchmarks die specifiek zijn voor die taalgroepen in plaats van algemene meertalige datasets.
3. Open-Source Leefbaarheid: Door prioriteit te geven aan permissieve licenties, biedt OpenLID-v3 een robuust alternatief voor propriëtaire of beperkte modellen, in staat om ruis en specifieke scriptvariaties (zoals Latijns-geschreven Servisch) aan te pakken wanneer ze correct getraind zijn.

De auteurs concluderen dat voor algemene Scandinavische identificatie OpenLID-v3 wordt aanbevolen als precisie prioriteit heeft, terwijl GlotLID de voorkeur verdient voor recall. Voor het onderscheiden tussen zeer gelijkaardige variëteiten (bijv. Bokmål vs. Nynorsk) zijn nog steeds specifiek getrainde modellen nodig. Het werk benadrukt de voortdurende noodzaak voor multilabel trainingsdata en benchmarks om de ambiguïteit die inherent is aan webdocumenten te kunnen afhandelen.