Robust Language Identification for Romansh Varieties

Probleemstelling

Het Romansh (Reto-Romaans) is een taal met meerdere regionale variëteiten, zogenaamde "idiomen" (Sursilvan, Sutsilvan, Surmiran, Puter en Vallader), die soms beperkt onderling verstaanbaar zijn. Daarnaast bestaat er een kunstmatige, supra-regionale standaardvariëteit genaamd Rumantsch Grischun (RG). Ondanks deze linguïstische diversiteit ontbreekt er tot nu toe een gedocumenteerd systeem voor Taalidentificatie (Language Identification - LID) dat in staat is om tussen deze specifieke Romansh-variëteiten te onderscheiden. Bestaande meertalige LID-systemen negeren Romansh vaak volledig of behandelen het als één monolithische taal. De uitdaging ligt in de beperkte beschikbaarheid van digitale data (low-resource taal) en de subtiele linguïstische verschillen tussen de verwante variëteiten, wat automatische classificatie moeilijk maakt.

Methodologie

De auteurs hebben een LID-systeem ontwikkeld dat gebaseerd is op Support Vector Machines (SVM). De aanpak omvat de volgende stappen:

1. Dataverzameling en Voorverwerking:

   • Er is een nieuw benchmarkdataset samengesteld uit vijf bronnen: het Pledari Grond woordenboek, de krant La Quotidiana, transcripties van Radiotelevisiun Svizra Rumantscha (RTR), journalistieke notities van RTR, en schoolboeken (Mediomatix).
   • De data omvat tekst uit twee domeinen: nieuws en onderwijs.
   • De dataset bevat ongeveer 487.000 samples (ongeveer 12,4 miljoen tokens).
   • Er is een Named Entity Masking-techniek toegepast: in een variant van de training werden entiteiten vervangen door $NE$ om te voorkomen dat het model leert op basis van geografische namen in plaats van linguïstische kenmerken.

2. Feature Extractie:

   • Het model gebruikt een Bag-of-n-grams aanpak.
   • De features bestaan uit woord-unigrammen en overlappende karakter-n-grammen (n ∈ {1, 2, 3, 4}).
   • Deze features worden vertaald naar TF-IDF vectoren met sublineaire termfrequentie-schaling en L2-normalisatie.

3. Model Training en Evaluatie:

   • Verschillende klassieke machine learning-modellen werden getest (Logistic Regression, SVM, Naive Bayes), waarbij de Linear SVM de beste prestaties leverde.
   • Er werden meerdere testsets gebruikt om domein-afhankelijkheid en balans te evalueren:
     • In-domain testsets (evenwichtig en onevenwichtig) voor nieuws, radio en schoolboeken.
     • Out-of-domain testset (journalistieke notities) om generalisatie te testen.
   • Hyperparameters werden geoptimaliseerd via stratified 5-voudige kruisvalidatie.

Belangrijkste Bijdragen

1. Eerste Gedocumenteerde LID voor Romansh: Het paper presenteert het eerste systeem dat specifiek is ontworpen om de vijf historische idiomen en Rumantsch Grischun van elkaar te onderscheiden.
2. Nieuw Benchmark Dataset: De auteurs hebben een gestructureerde dataset gecreëerd die twee domeinen (nieuws en onderwijs) bestrijkt, wat systematische evaluatie mogelijk maakt.
3. Open Source Implementatie: Het getrainde model en de dataset zijn publiek beschikbaar gesteld via GitHub, wat een basis legt voor toekomstig onderzoek in low-resource regio-talen.
4. Kwalitatieve Analyse: Er is diepgaande analyse uitgevoerd over welke linguïstische kenmerken (zoals specifieke diakritische tekens en orthografische patronen) het meest discriminerend zijn.

Resultaten

• Algemene Prestaties: Het geoptimaliseerde SVM-model bereikte een gemiddelde in-domain nauwkeurigheid van 97% en een Macro F1-score van 98,1% op de evenwichtige in-domain testset (test-b).
• Vergelijking: De prestaties zijn aanzienlijk beter dan die van bestaande meertalige systemen en vergelijkbaar met of beter dan resultaten voor andere dialect-identificatie taken (zoals Italiaanse dialecten).
• Per Variëteit: De classificatie was zeer hoog voor Sutsilvan (100% recall op test-b). Er waren echter meer verwarringen bij Puter in de out-of-domain set (63,2% recall), waarbij samples vaak ten onrechte als Rumantsch Grischun werden geclassificeerd.
• Invloed van Named Entities: Het maskeren van named entities had een verwaarloosbaar effect op de prestaties (verschil ≤ 0,7 F1-punten), wat aantoont dat het model leert op echte linguïstische patronen en niet op het onthouden van plaatsnamen.
• Discriminerende Features: De meest informatieve features bleken karakter-n-grammen te zijn (in plaats van woord-unigrammen). Specifieke tekens, zoals onderpuntjes (bijv. o., u.) in Puter en Vallader, bleken zeer onderscheidend. Voor Rumantsch Grischun was de spatie het belangrijkste kenmerk, wat een artefact is van de onbalans in de trainingsdata.

Betekenis en Toekomst

Dit werk bewijst dat effectieve taalidentificatie voor nauw verwante, low-resource variëteiten haalbaar is met zorgvuldig ontworpen features en adequate trainingsdata. Het systeem heeft directe praktische toepassingen, zoals:

• Idioma-bewuste spellingcontrole: Het automatisch detecteren van de variëteit om de juiste woordenlijst te laden.
• Machine Translation Routing: Het automatisch doorsturen van tekst naar het juiste vertaalmodel op basis van de herkende variëteit.

Beperkingen:

• De trainingsdata is sterk onbalans (Rumantsch Grischun is oververtegenwoordigd).
• De prestaties dalen bij out-of-domain data (zoals informele notities), wat wijst op beperkte generalisatie naar niet-formele teksten.
• Sommige discriminerende features zijn specifiek voor het woordenboek en gelden misschien niet voor standaard orthografie in andere contexten.
• De evaluatie is beperkt tot geschreven tekst; gesproken taalidentificatie blijft onontdekt terrein.

Samenvattend biedt dit paper een robuust fundament voor de NLP-verwerking van Romansh en fungeert het als een blauwdruk voor soortgelijke inspanningen bij andere bedreigde en regionale talen.