💬 NLP

Polite on the Surface, Wrong in Practice: A Curated Dataset for Fixing Honorific Failures in Multilingual Bangla Generation

Dit artikel introduceert BLADE, een gecureerde dataset van 4.196 interactieparen die is ontworpen om eerbiedsvormen en pragmatische fouten in meertalige Bangla-generatie aan te pakken, en toont aan dat het fijnafstemmen van open-gewichtmodellen op deze bron de structurele trouw en culturele afstemming aanzienlijk verbetert.

Oorspronkelijke auteurs: Md. Asaduzzaman Shuvo, Mahedi Hasan, Md. Tashin Parvez, Azizul Haque Noman, Md. Shafayet Hossain Ovi

Gepubliceerd 2026-05-22

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Md. Asaduzzaman Shuvo, Mahedi Hasan, Md. Tashin Parvez, Azizul Haque Noman, Md. Shafayet Hossain Ovi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Kernprobleem: De "Hofelijk maar Onwetende" Robot

Stel je voor dat je een zeer slimme, goed gelezen robot vraagt om een formele brief te schrijven aan je schoolhoofd om een paar dagen vrij te krijgen. De robot schrijft iets dat op het eerste gezicht perfect lijkt. Het bevat grote woorden, het is grammaticaal correct en het loopt goed.

Maar dan lees je nauwkeuriger. De robot begint de brief met "Geachte heer", maar halverwege schakelt hij over naar het spreken tegen de schoolhoofd alsof ze je beste vriend is, met straattaal en informele voornaamwoorden. Hij zou bijvoorbeeld kunnen zeggen: "Hé, kun je me een gunst bewijzen?" direct na het zeggen van "Ik verzoek u vriendelijk om toestemming".

Voor een moedertaalspreker is dit een ramp. Het is alsof je een smoking draagt naar een begrafenis, maar dan een salto maakt terwijl je binnenkomt. De robot klinkt vloeiend, maar faalt in de belangrijkste test: sociale competentie.

Het artikel betoogt dat huidige AI-modellen (LLM's) uitstekend zijn in het leren van woordenschat, maar vreselijk in het leren van culturele regels, vooral voor talen zoals het Bangla, waar de manier waarop je spreekt verandert afhankelijk van tegen wie je praat (eerbetuigingen).

De Oplossing: Het "BLADE"-dataset

Om dit op te lossen, bouwden de onderzoekers een speciaal trainingshandboek genaamd BLADE (BangLa Applications and DialoguEs).

Stel je bestaande AI-trainingsdata voor als een gigantische bibliotheek met willekeurige boeken, nieuwsartikelen en internetberichten. Het is enorm, maar het is rommelig. Als je wilt leren hoe je een formele brief schrijft, vind je misschien een paar voorbeelden, maar die kunnen vermengd zijn met informele tekst of fouten bevatten.

BLADE is anders. Het is als een strenge, door experts geleide schrijfworkshop.

De Inhoud: Het bevat 4.196 zorgvuldig samengestelde voorbeelden van formele aanvragen (zoals verlofaanvragen) en dialogen.
De Leraren: Deze werden niet zomaar door computers geschreven. Ze werden gecureerd door mensen, gecontroleerd tegenover overheidsleerboeken en geverifieerd door taalexperts om ervoor te zorgen dat de "hofelijkheidsniveaus" (eerbetuigingen) perfect waren.
De Regel: Elk enkel voorbeeld leert de AI dat je in een formele setting altijd de "respectvolle" vorm van "jij" moet gebruiken, nooit de "informele" vorm, en dat je een specifieke structuur moet volgen (Datum → Ontvanger → Onderwerp → Inhoud → Afsluiting).

Het Experiment: De Robot de Regels Leren

De onderzoekers namen verschillende populaire AI-modellen (sommige enorm, sommige klein) en gaven hen de keuze:

De "Zero-Shot" Test: Vraag de AI om een brief te schrijven zonder speciale training. (Resultaat: De AI klonk vloeiend maar maakte onbeleefde fouten, zoals het mengen van formele en informele taal).
De "Fine-Tuning" Test: Geef de AI het BLADE-dataset om de specifieke regels van formeel Bangla-schrijven te leren.

De Resultaten:

Voor Training: Zelfs de grootste, duurste AI-modellen faalden om een bruikbare brief te schrijven. Ze kregen lage scores omdat ze de sociale regels niet begrepen.
Na Training: De modellen verbeterden dramatisch.
- De "Kleine" Winnaar: Een klein model (slechts 1,5 miljard parameters) getraind op BLADE presteerde beter dan de enorme, ongetrainde modellen.
- De Analogie: Het is alsof je een kleine, lokale kok die het exacte recept voor een traditioneel gerecht kent, een perfect kookboek geeft. Ze zullen een betere maaltijd bereiden dan een wereldberoemde kok die dit specifieke recept nog nooit heeft gezien.

Belangrijkste Punten

Datakwaliteit > Modelgrootte: Voor talen met complexe sociale regels (zoals Bangla) is een enorm brein niet genoeg. Je hebt de juiste trainingsdata nodig. Een klein model met hoogwaardige, cultureel specifieke data wint het van een gigantisch model met generieke data.
De "Pragmatische Kloof": Er is een enorm verschil tussen een model dat een taal kan spreken en een model dat het correct kan gebruiken in het echte leven. Het artikel toont aan dat zonder specifieke training AI faalt in het "echte leven"-gedeelte.
Structuur is Belangrijk: De AI leerde niet alleen woorden; het leerde de vorm van een formeel document. Het leerde dat een formele brief een datum bovenaan en een specifieke afsluiting onderaan nodig heeft, niet zomaar willekeurige alinea's.

Wat het Artikel Niet Beweert

Het beweert niet dat dit alle AI-problemen oplost.
Het beweert niet dat dit werkt voor informele straattaal of casual tekstberichten (het dataset was gericht op formeel, institutioneel schrijven).
Het beweert niet dat de modellen nu perfect zijn; ze zijn gewoon veel beter in deze specifieke taak dan daarvoor.

In het kort: Het artikel zegt: "Als je wilt dat een AI een formele brief in het Bangla schrijft, geef het dan niet alleen een groter brein. Geef het een betere leraar en een streng regelboek."

Technische Samenvatting: BLADE – Het Oplossen van Eerbetoonfouten in Meertalige Bengaalse Generatie

1. Probleemstelling

Ondanks vooruitgang in meertalige grote taalmodellen (MLLM's), blijft een kritieke "pragmatische kloof" bestaan in taalkundig beperkte talen zoals het Bengaals. Hoewel modellen vaak oppervlakkige vloeiendheid bereiken, slagen ze er niet in om te voldoen aan de diepe culturele en structurele conventies die nodig zijn voor functioneel gebruik. Met name algemene modellen worstelen met:

Inconsistentie in Eerbetoon: Het Bengaals encodeert sociale relaties grammaticaal via een tweelaags eerbetoonsysteem (Apni voor formeel/respectvol, Tumi voor informeel). Zero-shot-modellen mengen deze registers vaak binnen één enkel document (bijvoorbeeld een schoolhoofd aanspreken met informele voornaamwoorden), waardoor de output institutioneel onaanvaardbaar wordt.
Structurele Tekortkomingen: Modellen laten vaak verplichte documentcomponenten (datum, onderwerpregel, aanhef, handtekening) weg of plaatsen ze verkeerd, en volgen niet de canonieke volgorde van institutioneel Bengaals schrijven.
Blindheid voor Register: Huidige pretraining-data, vaak afkomstig van web-schaal corpora of machine-vertaalde instructies, mist de "registerbewuste supervisie" die nodig is om format-gevoelige en cultureel passende discoursmarkers te internaliseren.

De auteurs betogen dat dit geen vocabulaireprobleem is, maar een structurele beperking die elke taal beïnvloedt waarin institutioneel schrijven sociale relaties grammaticaal encodeert.

2. Methodologie

Het BLADE Dataset

Om deze gaten op te vullen, introduceren de auteurs BLADE (BangLa Applications and DialoguEs), een gecureerde dataset voor instructie-aanpassing bestaande uit 4.196 hoogwaardige prompt-responsparen over 2.008 unieke onderwerpen. De dataset bestrijkt educatieve, professionele, administratieve en conversationele domeinen.

Data-acquisitiepijplijn (Drie-niveau):

Institutionele Leerboeken (1.972 samples): Geëxtraheerd uit door de overheid goedgekeurde NCTB-leerboeken om een "goudstandaard" te vestigen voor canonieke documentopmaak.
Publieke Webportalen (1.382 samples): Gecureerd uit geverifieerde Bengaalse educatieve portalen, waarbij ongeveer 23% werd verworpen vanwege registerinconsistenties of misvormde structuren.
Door de Auteur gegenereerde Voorbeelden (842 samples): Specifiek ontworpen om complexe, ondervertegenwoordigde scenario's aan te pakken (bijvoorbeeld meer-draads dialogen die aanhoudende eerbetoonconsistentie vereisen), cross-gevalideerd door native taalexperts.

Belangrijke Ontwerpprincipes:

Registerbewustzijn: Het afdwingen van consistente uitlijning van aanheften, voornaamwoorden, werkwoordmorphologie en afsluitingen.
Structurele Fideliteit: Strikte naleving van de canonieke documentvolgorde (Datum → Adressee → Onderwerp → Aanhef → Inhoud → Afsluiting → Handtekening).
Topische Diversiteit: Focus op real-world institutioneel schrijven in plaats van generieke webcontent.

Experimentele Opstelling

Zero-Shot Baseline: Vijf state-of-the-art modellen (waaronder Gemini-2.5-Flash, LLaMA-4-Scout-17B, Kimi-K2-32B) werden zonder fine-tuning geëvalueerd op BLADE.
Supervised Fine-Tuning (SFT): Vier architecturen (DeepSeek-8B, Qwen2-1.5B, LLaMA-3.2-3B, TigerLLM-1B) werden gefine-tuned met Parameter-Efficient Fine-Tuning (PEFT).
- Techniek: LoRA (Low-Rank Adaptation) met rang $r=16$ , $\alpha=32$ .
- Quantisatie: 4-bit NormalFloat (NF4).
- Hardware: Dual NVIDIA Tesla T4 GPU's (32 GB VRAM).
- Configuratie: 2 epocha's, sequentielengte van 2048 tokens (met sliding-window packing), cosinus learning rate decay ( $2\times10^{-5}$ ), en een format-bewuste prompttemplate.

Evaluatiemetrics

De studie hanteert een multifacettig evaluatiekader:

Automatische Metrics: BLEU, chrF (character n-gram F-score), ROUGE-L, WER (Word Error Rate) en BERTScore.
LLM-as-Judge: GPT-4.1 scoorde 450 samples op een schaal van 1–10 op basis van structurele correctheid, registerconsistentie en semantische relevantie.
Menselijke Evaluatie: Drie native Bengaalse filologie-experts beoordeelden 100 gestratificeerde samples op een 5-punt Likert-schaal voor Structurele Integriteit, Vloeiendheid en Culturele Uitlijning.

3. Belangrijkste Resultaten

Zero-Shot Prestaties

Zelfs de sterkste zero-shot baselines (bijvoorbeeld Gemini-2.5-Flash) slaagden er niet in functioneel bruikbare Bengaalse documenten te produceren, met een maximale BLEU-score van slechts 7,88.

Foutmodi: Systematische structurele verschuivingen (ontbrekende datums/onderwerpen) en mismatch in eerbetoon (oscillerend tussen Apni en Tumi).
Menselijke Scores: Zero-shot baselines scoorden gemiddeld 1,85/5 op Structurele Integriteit.

Fine-Tuning Prestaties

Fine-tuning op BLADE leverde aanzienlijke verbeteringen op bij alle modellen, wat aantoont dat datakwaliteit modelgrootte overtreft voor pragmatische generatie in taalkundig beperkte contexten.

DeepSeek-8B: Toonde de meest dramatische verbetering, met een BLEU-toename van 22-voudig (0,78 → 17,73) en chrF die steeg van 9,85 naar 45,87. De LLM-judge-score sprong van 3,8 naar 8,9.
Qwen2-1.5B: Ondanks zijn kleine formaat behaalde het de laagste post-SFT WER (0,84) en de hoogste BERTScore (0,748), en presteerde beter dan zero-shot Gemini-2.5-Flash op deze metrics.
Menselijke Evaluatie: Post-SFT-modellen behaalden gemiddelde scores boven de 4,6/5 over alle dimensies (Structuur, Vloeiendheid, Culturele Uitlijning).
Convergentie: Automatische metrics, LLM-judge-scores en menselijke expertbeoordelingen convergeerden, wat echte verbeteringen in functioneel gebruik bevestigt in plaats van oppervlakkige metricinflatie.

Ablatiestudie

De studie identificeerde verschillende kritieke factoren voor succes:

Contextlengte: Uitbreiding naar 2048 tokens (tegenover 512) was beslissend voor het behoud van structurele integriteit in langere teksten.
Promptontwerp: Format-bewuste templates en expliciete rol-tags verlaagden de WER aanzienlijk en verbeterden structurele scores.
Adapterconfiguratie: Het toepassen van LoRA op zowel attention- als MLP-lagen presteerde beter dan alleen attention-adaptatie.

4. Betekenis en Claims

Het artikel claimt dat de culturele specificiteit van instructie-aanpassingsdata kritischer is dan modelgrootte voor pragmatische generatie in taalkundig beperkte contexten.

Data boven Schaal: Een compact model (Qwen2-1.5B) gefine-tuned op door experts gecureerde, registerbewuste data, presteerde beter dan zero-shot frontier-modellen (Gemini-2.5-Flash) die meerdere ordes van grootte groter zijn.
Functioneel Gebruik: De primaire bijdrage is het verschuiven van modeloutput van "oppervlakkige vloeiendheid" naar "institutioneel aanvaardbare" documenten. De auteurs betogen dat zonder registerbewuste supervisie, algemene pretraining niet kan substitueren voor de specifieke culturele conventies die nodig zijn in talen zoals het Bengaals.
Benchmarking: BLADE dient als een rigoureuze benchmark voor het meten van pragmatische gaten en het evalueren van de effectiviteit van fine-tuning-strategieën in taalkundig beperkte, hoog-context omgevingen.

De auteurs concluderen dat BLADE een weg biedt naar het overbruggen van pragmatische dispariteiten in meertalige tekstgeneratie, en suggereren dat toekomstige vooruitgang in onderbediende talen afhankelijk is van hoogwaardige, domeinspecifieke supervisie in plaats van louter het verhogen van het aantal parameters.