Targeted Syntactic Evaluation of Language Models on Georgian Case Alignment

Probleemstelling

Grote taalmodellen (LLMs) hebben een paradigmaverschuiving teweeggebracht in het machine learning-veld, maar hun onderliggend begrip van grammaticale structuur blijft vaak onduidelijk. Bestaande benchmarks voor syntactische evaluatie (zoals BLiMP) zijn sterk gericht op talen met veel bronnen (zoals Engels), wat leidt tot een gebrek aan onderzoek naar low-resource talen (LRLs).

Deze studie richt zich op het Georgisch, een taal met een zeldzaam gesplitst-ergatief casussysteem. In dit systeem worden de grammaticale gevallen (nominatief, ergatief, datief) voor het onderwerp en het lijdend voorwerp niet vastgesteld door een enkelvoudig patroon, maar variëren ze afhankelijk van de werkwoordsvorm (tijd-aspect-modus, of "screeve").

• Het kernprobleem: Het is onbekend of taalmodellen deze complexe, contextafhankelijke casusregels daadwerkelijk hebben geleerd, of dat ze slechts patronen uit de trainingsdata hebben gememoriseerd. Vooral het ergatief geval is zeldzaam en specifiek, wat het een ideale testcase maakt voor de syntactische vaardigheden van modellen.

Methodologie

De auteurs hebben een nieuwe aanpak ontwikkeld om minimale paren (minimal pairs) te genereren voor het Georgisch, gebaseerd op bestaande linguïstische annotaties.

1. Data-Generatie:

   • Er werd gebruikgemaakt van de GLC UD treebank (Georgian Language Corpus Universal Dependencies) met 3.013 geannoteerde zinnen.
   • Met de Grew query-taal (een grafgebaseerde querytaal) werden specifieke syntactische patronen opgezocht: intransitieve constructies met nominatief, en transitieve constructies met nominatief-datief, ergatief-nominatief, en datief-nominatief.
   • Er werden 370 syntactische tests gegenereerd, verdeeld over 7 taken (50-70 samples per taak). Elke test bevat een zin met een gemaskerd woord, vergezeld van drie vormen van hetzelfde zelfstandig naamwoord: nominatief, ergatief en datief.
   • Het doel was om te bepalen welk geval het model als het meest waarschijnlijk beschouwt in de gegeven context.

2. Modellen:

   • Er werden zeven taalmodellen geëvalueerd: vijf encoder-only modellen (o.a. XLM-RoBERTa, mBERT, HPLT-BERT-ka) en twee decoder-only modellen (GPT2-geo, mGPT-ka).
   • De modellen varieerden in grootte (110M tot 1,3B parameters) en in de hoeveelheid Georgische data waarop ze waren getraind.

3. Evaluatiemetrics:

   • Woord-niveau (Word-Level): Berekening van de gezamenlijke waarschijnlijkheid van alleen het doelwoord, gegeven de context. Dit meet de zekerheid op het exacte moment van keuze.
   • Zin-niveau (Sentence-Level): Berekening van de gezamenlijke waarschijnlijkheid van de volledige getokeniseerde zin.
   • Een model wordt als correct beschouwd als het de grammaticale vorm een hogere waarschijnlijkheid toekent dan de twee ongrammaticale vormen.

Belangrijkste Bijdragen

• Eerste Syntactische Benchmark voor Georgisch: De publicatie van een dataset van 370 specifieke tests voor casusuitlijning, wat een van de eerste gestructureerde evaluaties is voor deze taal.
• Query-gebaseerde Generatie: Een generaliseerbare methode om minimale paren te extraheren uit treebanks met behulp van Grew, wat nuttig is voor andere talen met beperkte benchmarks.
• Isolatie van Syntactische Kenmerken: Het onderzoek isoleert de prestaties van modellen op één specifiek syntactisch fenomeen (gesplitst-ergativiteit) in plaats van algemene taalbegrip.

Resultaten

De resultaten tonen een duidelijke correlatie tussen de frequentie van een geval in de taal en de prestaties van de modellen:

1. Prestatievolgorde: Modellen presteerden het beste op het nominatief, gevolgd door het datief, en het slechtst op het ergatief.
   • Gemiddelde woord-niveau nauwkeurigheid: Nominatief (88,6%) > Datief (48,8%) > Ergatief (24,4%).
2. Strijd met het Ergatief: Ongeacht het model of de taak, hadden modellen grote moeite om het ergatief geval correct toe te wijzen. Dit geval wordt slechts in zeer specifieke contexten gebruikt (bijv. verleden tijd bij transitieve werkwoorden), wat leidt tot een gebrek aan trainingsdata.
3. Nominatief-Bias: Er is een sterke neiging (bias) bij modellen om het nominatief als standaard te kiezen, zelfs wanneer het datief of ergatief vereist is. In gevallen waarin het nominatief fout was, werd het datief vaker gekozen dan het ergatief.
4. Correlatie met Frequentie: De prestaties correleerden sterk met de verdeling in de trainingsdata (Nominatief > Datief > Ergatief). De zeldzaamheid van het ergatief in de data (ongeveer 24 keer minder vaak dan het nominatief in de treebank) lijkt de belangrijkste oorzaak van de slechte prestaties.
5. Tokenisatie: Er werd geen significante correlatie gevonden tussen de lengte van de getokeniseerde woorden/zinnen en de prestaties, wat suggereert dat het probleem ligt in de syntactische leerbaarheid en data-schaarste, niet in de tokenisatie-algoritmen.

Betekenis en Conclusie

De studie concludeert dat taalmodellen, ondanks hun vermogen om complexe syntaxis te leren, moeite hebben met zeldzame, specifiek getriggerde grammaticale regels in low-resource talen. Het ergatief geval in het Georgisch fungeert als een "stress test" die blootlegt dat modellen vaak overgeneraliseren naar het meest frequente geval (nominatief) in plaats van de specifieke syntactische triggers te begrijpen.

De gemaakte dataset en de gebruikte methodologie bieden een waardevol kader voor toekomstig onderzoek naar syntactische evaluatie in talen waarvoor geen uitgebreide benchmarks bestaan. Het benadrukt dat voor lage-resource talen niet alleen meer data nodig is, maar ook specifieke aandacht voor zeldzame grammaticale structuren om de generalisatie van taalmodellen te verbeteren.