Technische Samenvatting: DiaLLM – Een onderzoek naar de kloof tussen robuustheid en generatie in de adaptatie van Engelse dialecten

1. Probleemstelling

Large Language Models (LLMs) hebben een toenemend vermogen getoond om dialectaal Engels te begrijpen, maar ze genereren voornamelijk output in standaard, op de VS gerichte Engelse taal. Dit creëert een "robuustheid-generatiekloof": modellen kunnen dialectale input tolereren (robuustheid), maar slagen er niet in om dialectaal passende output te produceren (generatie). Bestaande benaderingen, zoals dialect-adapters (bijv. TADA, HyperLoRA) of low-rank adaptaties (LoRDD), richten zich primair op NLU-robuustheid onder dialectale input. Geen van deze methoden heeft systematisch de volledige adaptatie-pipeline onderzocht—variërend van continue pretraining, supervised fine-tuning (SFT) tot alignment—noch hebben zij bepaald of modellen daadwerkelijk dialectaal gemarkeerde tekst kunnen produceren. Bovendien schieten huidige benchmarks vaak tekort in het vastleggen van de nuances van dialectale generatie, omdat ze zich concentreren op input-robuustheid.

2. Methodologie

2.1 Basismodellen en Corpus

De studie maakt gebruik van drie open-weight LLM-families die verschillende architecturen en parameterrange beslaan: Llama 3.1-8B, Qwen 3-8B en Gemma 3-4B-it.
De modellen worden continu gepre-traind (CPT) op het International Corpus of English (ICE), een collectie van 18 Engelse varianten (ongeveer 20 miljoen tokens) die zowel "Inner Circle" (bijv. VK, VS) als "Outer Circle" (bijv. India, Nigeria) varianten beslaat. CPT wordt uitgevoerd met GaLore voor geheugenefficiënte full-parameter optimalisatie.

2.2 Post-Training Paradigma's

Vanuit de CPT-checkpoints volgen de auteurs twee afzonderlijke adaptatiepaden:

1. Impliciete Adaptatie: Past standaard instructie-tuning (SFT) toe op algemene voorkeurscatastrofe (UltraFeedback), gevolgd door brede alignment. Dit pad richt zich niet expliciet op specifieke dialecten tijdens SFT.
2. Expliciete Adaptatie: Past dialect-specifieke SFT (SFTd) toe met behulp van een dataset waarbij de geprefereerde voltooiingen zijn getransformeerd naar doeldialecten (Australisch, Indiaas, Noord-Brits Engels) met behulp van de Multi-VALUE bibliotheek en eWAVE functies. Dit wordt gevolgd door variëteit-gerichte alignment.

2.3 Alignment Strategieën

Drie alignment-methoden worden vergeleken binnen beide paradigma's:

• Direct Preference Optimisation (DPO): Een offline methode die direct optimaliseert vanaf contrastieve paren (dialectaal versus standaard).
• Group Relative Policy Optimisation (GRPO): Een online methode die meerdere rollouts per prompt genereert en een baseline schat op basis van groepsgemiddelde beloningen.
• Group Sequence Policy Optimisation (GSPO): Vergelijkbaar met GRPO, maar maakt gebruik van sequentie-niveau herweging in plaats van token-niveau belangssampling om bias te voorkomen.

2.4 Beloningsformulering

Voor online alignment (GRPO/GSPO) wordt een samengestelde beloningsfunctie gebruikt:
$$R = \lambda \cdot \phi_{dial}(y) + \frac{1-\lambda}{2} \cdot \phi_{comet}(y, \hat{y}) + \frac{1-\lambda}{2} \cdot \phi_{cos}(y, \hat{y})$$

• $\phi_{dial}(y)$: Een log-sum beloning afgeleid van een multi-label classifier die 135 morfofonologische en lexicale kenmerken detecteert uit de eWAVE typologische database.
• $\phi_{comet}$ en $\phi_{cos}$: Metrieken die semantische getrouwheid en behoud van betekenis waarborgen ten opzichte van de gekozen SFT-voltooiing.
• $\lambda$ staat vast op 0,80 om prioriteit te geven aan dialectale kenmerken.

2.5 Evaluatie

Evaluatie gaat verder dan standaard benchmarks (BBH, GPQA, GLUE, VALUE, BESSTIEB) en omvat:

• Automatische Metrieken: Een variëteitsclassifier (DeBERTa-v3-base) om doeldialecten te detecteren.
• Menselijke Voorkeur: Native speakers voeren paar- of drie-weg vergelijkingen uit van de output.
• LLM-als-Judge: Gebruik van Phi-4 om dialectale kenmerken te evalueren, met en zonder expliciete eWAVE-kenmerkenlijsten in de system prompt.
• Linguïstische Analyse: Een regelgebaseerde, onafhankelijke analyse van oppervlaktemarkers (lexicaal, orthografisch, morfofonologisch) om de dialectale rijkdom te verifiëren zonder te vertrouwen op het trainingsbeloningssignaal.

3. Belangrijkste Bijdragen

1. DiaLLM Framework: Een full-pipeline dialect-adaptatieframework dat een gecontroleerde vergelijking biedt van CPT, SFT en drie alignment-methoden (DPO, GRPO, GSPO) over twee paradigma's en drie modelfamilies. Alle code, checkpoints en voorkeurscatastrofes worden vrijgegeven.
2. Robuustheid-Generatiekloof: De studie stelt vast dat benchmark-prestaties (robuustheid) primair worden gedreven door CPT en SFT, terwijl alignment-methoden marginale effecten hebben op benchmarks, maar de generatie zichtbaar hervormen op manieren die benchmarks niet vangen.
3. Belonings-Kwaliteitkloof: Het artikel legt een discrepantie bloot tussen het optimaliseren van dialectale beloningssignalen en het produceren van hoogwaardige dialectale output. De methode die de dialectale beloning het meest agressief optimaliseert (GRPO) wordt niet geprefereerd door menselijke annotatoren of LLM-judges, en onafhankelijke linguïstische analyse bevestigt dat deze minder herkenbare oppervlaktemarkers produceert dan andere methoden.

4. Belangrijkste Resultaten

• Dissociatie van Robuustheid en Generatie: Benchmarks worden gevormd door CPT en SFT. Alignment (DPO, GRPO, GSPO) produceert inconsistente verschuivingen in benchmarkscores, maar verandert de generatiestijl aanzienlijk.
• Expliciete Targeting wordt Geprefereerd: Expliciete variëteit-gerichte adaptatie (SFTd + variëteit-gerichte alignment) produceert output die betrouwbaar als dialectaal wordt herkend en wordt geprefereerd boven brede alignment door zowel mensen als LLM-judges.
• De Belonings-Kwaliteitkloof:
  • GRPO bereikt de hoogste eWAVE-kenmendichtheid (het trainingsdoel) over alle modelfamilies.
  • Echter, GRPO is de minst geprefereerde methode door menselijke annotatoren en LLM-judges.
  • Onafhankelijke linguïstische analyse onthult dat GRPO de minste oppervlakte-dialectale markers en de laagste kenmerkdiversiteit produceert voor Llama en Qwen, ondanks het maximaliseren van de beloning. Dit suggereert dat het eWAVE-gebaseerde beloningssignaal oppervlakkige kenmendichtheid stimuleert in plaats van authentieke, holistische dialectale kwaliteit.
• Variëteit-Specifieke Nuances:
  • Indiaas Engels (en-IN) en Noord-Brits Engels (en-UK) vertonen een duidelijke voorkeur voor expliciete adaptatie.
  • Australisch Engels (en-AU) is een uitzondering; annotatoren tonen geen duidelijke voorkeur voor SFTd boven de baseline, waarschijnlijk vanwege de subtiliteit van Australische kenmerken en hun registerflexibiliteit, die casual prompts niet betrouwbaar oproepen.
• Prestaties van Alignment-Methoden: Geen enkele alignment-methode domineert in alle condities. DPO presteert vaak beter dan GRPO wat betreft waargenomen kwaliteit, ondanks een lagere kenmendichtheid.

5. Betekenis en Claims

De auteurs claimen dat DiaLLM een kritiek empirisch verslag levert van dialect-adaptatie, waarbij de aanname dat het maximaliseren van een dialectaal beloningssignaal gelijkstaat aan het genereren van authentieke dialectale tekst, wordt uitgedaagd.

• Beperkingen van Benchmarks: Het paper betoogt dat het vertrouwen op enkel standaard benchmarks een incompleet en potentieel misleidend beeld van dialect-adaptatie geeft, omdat ze de kwalitatieve verschuivingen in generatie veroorzaakt door alignment niet vangen.
• Beloningsontwerp: De bevindingen wijzen op een specifieke beperking bij het gebruik van typologische kenmerkeninventarissen (zoals eWAVE) als beloningssignalen voor generatieve training. Deze inventarissen documenteren weliswaar aangetoonde kenmerken, maar houden geen rekening met pragmatische conditionering, register of de perceptuele kwaliteit van dialect, wat leidt tot een "belonings-kwaliteitkloof".
• Toekomstige Richtingen: Het werk suggereert dat het dichten van de dialectkloof rijkere beloningsontwerpen vereist die verder gaan dan eenvoudige kenmendichtheid, en voortdurende investering in dialectale bronnen. Het positioneert DiaLLM niet als definitieve oplossing, maar als een fundamentele stap naar het begrijpen van de huidige grenzen van dialect-adaptatie en de specifieke uitdagingen bij het genereren van authentieke, niet-standaard Engelse varianten.

De auteurs benadrukken dat hun doel niet was om één enkel "winnend recept" vast te stellen, maar om empirisch aan te tonen hoe verschillende pipeline-componenten bijdragen aan dialect-adaptatie en waar huidige alignment-methoden tekortschieten.