Transfer Learning for an Endangered Slavic Variety: Dependency Parsing in Pomak Across Contact-Shaped Dialects

Probleemstelling

Het artikel adresseert de uitdagingen van het Natural Language Processing (NLP) voor Pomak, een bedreigde Oost-Zuid-Slavische taal die wordt gesproken in Bulgarije, Griekenland en Turkije. De taal kampt met een "compound low-resource" probleem:

1. Gebrek aan standaardisatie: Er is geen wijdverspreide orthografische standaard, wat de beschikbaarheid en vergelijkbaarheid van geschreven data beperkt.
2. Dialectale variatie en contactinvloeden: De spreekgemeenschap vormt een dialectcontinuüm dat structureel is beïnvloed door langdurig contact met het Grieks en het Turks. Dit heeft geleid tot systematische verschillen in fonologie, morfologie en syntaxis (bijvoorbeeld in de markering van oblique argumenten en de realisatie van dubbele objecten).

De centrale onderzoeksvraag is of een dependency parser, getraind op het bestaande Universal Dependencies (UD) boomklimaat voor de Griekse variant van Pomak, effectief kan worden overgedragen naar de Turkse variant (gesproken in Uzunköprü), en hoe goed dit werkt gezien de structurele verschillen veroorzaakt door taalcontact.

Methodologie

De studie bestaat uit twee experimentele fasen en gebruikt een geavanceerde architectuur voor dependency parsing:

1. Parser Architectuur
De auteur implementeert een biaffine, graf-gebaseerde neurale dependency parser (gebaseerd op Dozat et al., 2017).

• Input: Tokens worden vertegenwoordigd door een concatenatie van woord-embeddings, character-based embeddings (voor morfologische rijkdom) en optionele discrete features.
• Encodering: Een BiLSTM verwerkt de contextuele representaties.
• Scoring: Het model gebruikt biaffine scorers om zowel de kansen op een hoofd-afhankelijkheidsrelatie (head selection) als de relatie-labels (relation labeling) te voorspellen.
• Decoding: Er wordt een niet-projectieve maximum spanning arborescence gedecodeerd.

2. Data Sets

• Dataset A (Griekse variant): Het bestaande Pomak UD boomklimaat (voornamelijk gebaseerd op de Griekse variant), gebruikt als de grote bron voor basistraining.
• Dataset B (Turkse mini-corpus): Een nieuw, handmatig geannoteerd corpus van 650 zinnen in de Turkse variant (Uzunköprü), verzameld van zes moedertaalsprekers en bestaande beschrijvende studies. Dit wordt opgesplitst in 520 zinnen voor training en 130 voor validatie.
• Dataset C (Testset): Een vastgehouden testset van 90 zinnen in de Turkse variant, verzameld van een andere spreker dan Dataset B, om spreker-afhankelijkheid te vermijden.

3. Experimentele Regimes
Drie trainingsstrategieën werden vergeleken:

1. Zero-shot Transfer: Training op Dataset A (Griekenland) en evaluatie op Dataset C (Turkije).
2. In-variety Training: Training uitsluitend op Dataset B (Turkije) om de limieten van zeer kleine datasets te testen.
3. Transfer Learning / Adaptatie: Training op Dataset A, gevolgd door fine-tuning op Dataset B. Dit combineert de brede syntactische dekking van de grote dataset met de dialect-specifieke aanpassing van de kleine dataset.

Kernbijdragen

• Nieuwe Resource: De creatie van het eerste handmatig geannoteerde UD-compatibele corpus voor de Turkse variant van Pomak (650 zinnen), wat essentieel is voor het testen van dialect-specifieke modellen.
• Empirisch Bewijs voor Dialectsensitiviteit: Het aantonen dat Pomak niet als een homogene entiteit kan worden behandeld in NLP; contact-induced variatie (vooral in case-markering en argumentstructuur) leidt tot significante prestatieverlies bij zero-shot transfer.
• Methodologische Richtlijn: Het bewijzen dat voor bedreigde talen met extreme data-schaarste, de beste strategie niet is om vanaf nul te trainen op de kleine doeltaal-dataset, maar om dialect-ge匹配de data te gebruiken als een adaptatiestap binnen een bredere transfer-learning pipeline.

Resultaten

De prestaties werden gemeten met Unlabeled Attachment Score (UAS) en Labeled Attachment Score (LAS):

1. Zero-shot Transfer (A → C):

   • UAS: 59% | LAS: 51%
   • Interpretatie: Er is een aanzienlijke prestatiedaling ten opzichte van binnen-variëteit training. De kloof tussen UAS en LAS suggereert dat de relatie-labeling (bijv. het onderscheiden van datief vs. adpositional markering) bijzonder gevoelig is voor de dialectverschillen.

2. In-variety Training (B → C):

   • UAS: 50% | LAS: 44%
   • Interpretatie: Het trainen uitsluitend op de kleine Turkse dataset (650 zinnen) presteert slechter dan het gebruik van de grotere Griekse dataset. Dit toont aan dat 650 zinnen onvoldoende zijn om robuuste syntactische generalisaties te leren, ondanks dat de data dialect-ge匹配d is.

3. Transfer Learning / Adaptatie (A → B → C):

   • UAS: 68% | LAS: 62%
   • Interpretatie: Deze hybride aanpak levert de beste resultaten op. Het fine-tunen op de Turkse mini-corpus corrigeert de systematische fouten van het basismodel (dat op de Griekse variant is getraind) en past de mapping van oppervlaktekenmerken naar syntactische structuren aan voor de Turkse variant.

Betekenis en Conclusie

De studie concludeert dat voor bedreigde, dialect-rijke talen zoals Pomak, dialect-match alleen niet voldoende is wanneer de hoeveelheid gelabelde data extreem beperkt is. De "extreme low-resource" regime vereist een combinatie van:

• Brede syntactische dekking uit een grotere bron (zelfs als die uit een ander dialect komt) om de parameters te stabiliseren.
• Gerichte adaptatie via fine-tuning op een kleine, dialect-specifieke dataset om de modelrepresentaties te "herankeren" in de doeltaal.

De resultaten onderstrepen dat contact-induced variatie (zoals verschuivingen in case-markering door Turks/Grieks contact) systematische fouten veroorzaakt die niet kunnen worden opgelost door simpelweg meer data van dezelfde variëteit te verzamelen als die data schaars is. In plaats daarvan moet dialect-ge匹配de data worden gebruikt als een cruciale adaptatiestap in een transfer-learning pipeline. Dit biedt een praktische methodologische route voor het bouwen van bruikbare syntactische tools voor andere bedreigde talen met vergelijkbare dialectale complexiteit.