Technische Samenvatting: DaLA – Deense Linguïstische Aanvaardbaarheidsevaluatie Gestuurd door Real-World Fouten

Probleemstelling

De evaluatie van linguïstische aanvaardbaarheid, de taak van het bepalen van de welgevormdheid of natuurlijkheid van een zin, is cruciaal voor het beoordelen van de linguïstische capaciteiten van Large Language Models (LLMs). Hoewel er aanzienlijke middelen bestaan voor veel gesproken talen, lijden laag-resource talen zoals het Deens onder een tekort aan hoogwaardige datasets. Bestaande Deense bronnen, zoals ScaLA (Nielsen, 2023), vertrouwen op beperkte corruptiestrategieën (bijv. woordverwijdering en het verwisselen van woorden) die niet representatief zijn voor real-world fouten gemaakt door moedertaalsprekers. Bovs de dat deze voorgaande methoden vaak afhankelijk zijn van specifieke annotatieformaten (bijv. Universal Dependencies POS-tags) en missen een rigoureuze validatie om te waarborgen dat gecorrumpeerdeerde zinnen daadwerkelijk ongrammaticaal zijn. Deze kloof belemmert de training en evaluatie van meertalige modellen, met name gezien de subtiele fouten die ontstaan wanneer modellen nabij verwante talen verwerken (bijv. Deens en Noors).

Methodologie

De auteurs introduceren DaLA (Danish Linguistic Acceptability Evaluation), een dataset en evaluatiekader ontworpen om real-world linguïstische fouten te reflecteren via een systematisch, geautomatiseerd corruptieproces.

1. Foutanalyse en Corruptiefuncties

De kern van DaLA is een set van 14 nieuwe corruptiefuncties afgeleid van een analyse van veelvoorkomende fouten gemaakt door native Deense sprekers. Het selectieproces maakte gebruik van de "Typiske Problemer"-lijst van de Deense Taalraad en de Vereniging van de Deense Taal en Literatuur. Fouten werden gescoord op basis van implementatiecomplexiteit, fouttype (grammaticaal, semantisch, mechanisch) en de waarschijnlijkheid van het produceren van een daadwerkelijk onjuiste zin.

• Fouttypen: De 14 nieuwe typen omvatten verwarringen tussen specifieke voornaamwoorden (nogle vs. nogen, som vs. der), werkwoordparen (ligge vs. lægge), suffixen (-ende vs. -ene), het "R-probleem" (suffixverwarring), genitiefcorruptie en determinatiefouten.
• Implementatie: Elk fouttype is geïmplementeerd als een toegewijde functie met behulp van de SpaCy-bibliotheek. De auteurs hanteerden een conservatieve aanpak door invoerzinnen te filteren om gevallen te minimaliseren waarin een corruptie per ongeluk een grammaticaal correcte zin zou kunnen resulteren.

2. Iteratief Corruptie-algoritme

Om een gebalanceerde distributie van fouttypen te garanderen ondanks de variërende frequentie van linguïstische fenomenen in de brongegevens, gebruiken de auteurs een iteratief algoritme (Algoritme 1).

• Proces: Corruptiefuncties worden gesorteerd op hun toepasbaarheidfrequentie op de startdataset. Het algoritme past eerst de minst frequente corruptie toe, waarbij zinnen als "gecorrumpeerd" worden gemarkeerd zodra een fout is geïnjecteerd. Vervolgende, meer frequente corrupties worden alleen toegepast op zinnen die nog niet gecorrumpeerd zijn.
• Brongegevens: De basiszinnen zijn afkomstig uit de Universal Dependencies Danish (UDD) corpus, die als linguïstisch aanvaardbaar wordt beschouwd.

3. Validatiekader

Om de kwaliteit van de gegenereerde dataset te waarborgen, werd een hybride validatieproces geïmplementeerd:

• Automatische Validatie: De writeassistant-tool, een leidend Deens systeem voor het corrigeren van grammaticale fouten, werd gebruikt om gecorrumpeerde zinnen te classificeren. Het systeem behaalde een gemiddelde precisie van 99,7% bij het identificeren van werkelijk gecorrumpeerde zinnen.
• Manuele Validatie: Een expert-linguïst heeft handmatig zinnen beoordeeld die het automatische systeem niet had gemarkeerd of verkeerd had geclassificeerd. Voor grote volumes fouttypen (voornaamwoord- en suffix-determinatorcorruptie) werd een subset van 304 voorbeelden geannoteerd om de precisiescores statistisch aan te passen.
• Resultaat: De uiteindelijke gemiddelde precisie van de corruptiefuncties is ongeveer 0,957, wat bevestigt dat het overgrote deel van de gegenereerde zinnen inderdaad ongrammaticaal is.

4. Datasetconstructie

De definitieve DaLA-dataset bestaat uit zinparen (één correcte, één gecorrumpeerde).

• Standaard Split: 1.664 paren (512 training, 1.024 validatie, 128 test) om de vergelijkbaarheid met ScaLA te behouden.
• Uitgebreide Versies: "DaLA Medium" (4.592 trainingsamples) en "DaLA Large" (6.124 trainingsamples) worden eveneens aangeboden, wat in totaal tot 7.656 zinnen komt.
• Labels: Elk paar bevat een binaire aanvaardbaarheidslabel en een classificatie van het specifieke fouttype.

Belangrijkste Bijdragen

1. Afleiding van Real-World Fouten: De afleiding van 14 nieuwe corruptiefuncties op basis van veelvoorkomende fouten van moedertaalsprekers, waarmee de beperkte scope van eerdere Deense benchmarks wordt overstegen.
2. Robuuste Datasetcreatie: De creatie van DaLA, een dataset van 3.328 zinnen (met uitgebreide versies beschikbaar) die niet afhankelijk is van vooraf bestaande oordelen over aanvaardbaarheid of specifieke annotatieformaten, waardoor het toepasbaar is op willekeurige Deense bronnen.
3. Rigoureuze Validatie: De implementatie van een tweefasig (automatisch en manueel) validatieproces om een hoge precisie in foutinjectie te garanderen, waarmee een gat in eerdere datasets wordt gedicht waar corruptienauwkeurigheid ongeverifieerd bleef.
4. Benchmarking: Het leveren van baseline-resultaten voor state-of-the-art open-source en open-weight LLM's op deze nieuwe benchmark.

Resultaten

De auteurs evalueerden verschillende top-presterende LLM's (inclusief encoder-only, instruction-tuned, base generative en reasoning modellen) op DaLA en vergeleken hun prestaties met de ScaLA-benchmark met behulp van de Matthews Correlation Coefficient (MCC).

• Verhoogde Moeilijkheidsgraad: Negen van de tien modellen vertoonden een prestatievermindering op DaLA vergeleken met ScaLA. De gemiddelde prestatiedaling was 6,04%, waarbij sommige modellen een daling van tot 14,55% ervoeren.
• Discriminatievermogen: De dataset demonstreerde een hoger discriminatievermogen. Opvallend genoeg leden reasoning-modellen (bijv. Qwen3) de scherpste daling (gemiddeld 14,32%), wat suggereert dat DaLA nuances in linguïstische aanvaardbaarheid beter vangt dan eerdere benchmarks.
• Model-specificiteit: De DFM Sentence Encoder Large was het enige model dat een verbeterde prestatie liet zien, waarschijnlijk door de gespecialiseerde Deense-only training, wat suggereert dat DaLA modellen bevoordeelt met diepere, taal-specifieke kennis.

Betekenis en Claims

Het artikel claimt dat DaLA een significante vooruitgang vertegenwoordigt in de evaluatie van Deense linguïstische aanvaardbaarheid door te verschuiven van synthetische, op regels gebaseerde fouten naar real-world, op data gebaseerde fouten.

• Rigor: Door een breder scala aan corruptietypen te incorporeren en deze rigoureus te valideren, biedt DaLA een meer uitgebreide en moeilijke test voor LLM's.
• Representativiteit: De benchmark wordt betoogd meer representatief te zijn voor werkelijke gebruiksscenario's en veelvoorkomende fouten, wat een authentiekere beoordeling biedt van de linguïstische capaciteiten van een model.
• Differentiatie: De resultaten suggereren dat DaLA beter is in het onderscheiden tussen hoogpresterende en laagpresterende modellen, met name bij het identificeren van modellen die vertrouwen op oppervlakkige patronen versus die met een werkelijk grammaticaal begrip.

De auteurs concluderen dat hoewel de methode momenteel geworteld is in Deense linguïstische regels, het framework uitbreidbaar is naar andere talen en fouttypen (semantisch, pragmatisch), wat een pad biedt voor meer realistische linguïstische evaluatie over laag-resource talen heen.