NCTB-QA: A Large-Scale Bangla Educational Question Answering Dataset and Benchmarking Performance

Deze studie introduceert NCTB-QA, een groot dataset voor vraag-antwoordtaken in het Bengaals met een evenwichtige verdeling van beantwoordbare en onbeantwoordbare vragen uit nationale leerboeken, en toont aan dat domeinspecifieke fine-tuning van transformer-modellen de prestaties aanzienlijk verbetert.

De kern

Stel je voor dat je een enorme bibliotheek hebt vol met schoolboeken in het Bengaals, de taal die door meer dan 230 miljoen mensen wordt gesproken. Nu, wat als je een slimme computer wilt bouwen die deze boeken leest en vragen over de inhoud kan beantwoorden? Dat klinkt leuk, maar er zit een groot probleem in.

Tot nu toe waren de 'slimme' computers die we hadden, vaak net als een student die denkt dat hij alles weet, zelfs als hij het niet weet. Als je ze een vraag stelde die niet in het boek stond, gaven ze vaak een antwoord dat klonk alsof het waar was, maar dat volledig verzonnen was. In het onderwijs is dat gevaarlijk: een kind dat een fout antwoord krijgt van een computer, kan in de war raken en het vertrouwen in technologie verliezen.

De auteurs van dit paper, onderzoekers van de Universiteit van Dhaka, hebben een oplossing bedacht. Ze hebben een nieuw, enorm digitaal trainingspakket gemaakt genaamd NCTB-QA. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De Grote Bibliotheek (De Dataset)

Stel je voor dat je 50 officiële schoolboeken uit Bangladesh (van klas 1 tot 10) hebt. De onderzoekers hebben deze boeken niet handmatig ingevoerd, maar met een robot (een web-scraping tool) volledig geautomatiseerd uit elkaar gehaald. Ze hebben de tekst schoongemaakt, zoals het verwijderen van paginanummers en opmaakfouten, en de inhoud in logische stukjes verdeeld.

Het resultaat? Een gigantische verzameling van bijna 88.000 vraag-antwoordparen.

2. De 'Trucvragen' (Onbeantwoorde vragen)

Dit is het meest innovatieve deel. In de meeste oude datasets kregen de computers alleen vragen waar het antwoord in de tekst stond. Het was alsof je een speler alleen oefent op vragen die hij al kan beantwoorden.

In NCTB-QA hebben ze echter trucvragen toegevoegd.

• De analogie: Stel je voor dat je een quiz geeft. De helft van de vragen heeft het antwoord in de tekst (bijvoorbeeld: "Wie is de hoofdpersoon?"). De andere helft zijn vragen die niet in de tekst staan, maar die wel lijken alsof ze er wel in staan (bijvoorbeeld: "Wat is de favoriete kleur van de hoofdpersoon?" terwijl de tekst daar niets over zegt).
• Het doel: De computer moet leren om te zeggen: "Ik weet het niet," in plaats van een verzonnen antwoord te geven. Ze hebben zelfs vragen bedacht die 'valstrikken' bevatten, zodat de computer echt moet nadenken en niet zomaar raadt.

3. De Oefening (Het Trainen van Modellen)

De onderzoekers hebben drie verschillende 'hersenen' (AI-modellen genaamd BERT, RoBERTa en ELECTRA) getraind met deze nieuwe dataset.

• Vóór de training: De modellen waren als een beginnende leerling. Ze gaven vaak foutieve antwoorden of verzonnen dingen.
• Na de training: Ze hebben de modellen laten 'oefenen' met deze specifieke schoolboeken. Het resultaat was verbazingwekkend. De modellen leerden niet alleen om het juiste antwoord te vinden, maar ook om te erkennen wanneer ze geen antwoord moesten geven.

Een van de modellen (BERT) werd zelfs 313% beter in het vinden van de juiste antwoorden na het oefenen. Het was alsof je een student van een C naar een A+ hebt getild in één zomer.

4. Waarom is dit belangrijk?

Vroeger was het alsof je probeerde een auto te leren rijden op een lege parkeerplaats (oude datasets). Nu hebben ze de auto op een echte, drukke weg gezet met verkeersborden, andere auto's en onverwachte obstakels (de nieuwe dataset).

Dit onderzoek laat zien dat:

1. Specifieke oefening werkt: Als je AI specifiek traint op schoolboeken, wordt hij veel beter in het begrijpen van die stof dan als je hem alleen algemene kennis geeft.
2. Eerlijkheid is cruciaal: Een slimme computer moet durven zeggen "Ik weet het niet" als het antwoord er niet is. Dat voorkomt dat kinderen misleid worden.
3. Toekomst: Dit is een enorme stap vooruit voor het onderwijs in Bangladesh en voor het begrijpen van het Bengaals door computers. Het is de basis voor toekomstige hulpmiddelen die leerlingen kunnen helpen bij hun huiswerk, zonder hen in de war te brengen.

Kortom: De onderzoekers hebben een nieuwe, slimme 'trainingsgids' gemaakt voor computers, zodat ze niet alleen kunnen lezen, maar ook kunnen begrijpen wat er niet staat. Dat maakt ze veel betrouwbaarder voor het onderwijs.

Technische samenvatting

Probleemstelling

Leesbegripssystemen voor taalkundig onderbelichte talen (low-resource languages), zoals het Bengaals, staan voor aanzienlijke uitdagingen, met name bij het omgaan met onbeantwoordbare vragen. Bestaande systemen hebben de neiging om onbetrouwbare, "hallucinerende" antwoorden te genereren met een hoge zekerheid, zelfs wanneer het juiste antwoord niet in de context aanwezig is. Dit is in educatieve settings bijzonder schadelijk, omdat het leerlingen kan verwarren en het vertrouwen in geautomatiseerde systemen kan ondermijnen.

Bestaande Bengaalse QA-datasets (zoals BanglaRQA of TigerLLM) hebben drie belangrijke beperkingen:

1. Schaal: Ze zijn vaak te klein (vaak <15.000 paren) om robuuste transformer-modellen effectief te trainen.
2. Balans: Ze bevatten vaak een onevenwichtige verdeling tussen beantwoordbare en onbeantwoordbare vragen, of missen onbeantwoordbare vragen volledig.
3. Adversariale kwaliteit: Ze missen vaak zorgvuldig ontworpen, onbeantwoordbare voorbeelden met plausibele afleiders (distractors) die het model dwingen tot echt contextueel redeneren in plaats van oppervlakkige patronen te herkennen.

Methodologie

1. Dataset Constructie (NCTB-QA)
De auteurs introduceren NCTB-QA, een groot schaal Bengaals dataset specifiek voor educatieve doeleinden.

• Bron: 50 officiële leerboeken van de National Curriculum and Textbook Board (NCTB) van Bangladesh, dekkend leerjaar 1 tot 10.
• Verzameling: Geautomatiseerde web-scraping van Markdown-bestanden, gevolgd door een multi-stap pipeline voor reiniging (verwijderen van paginanummers, metadata, etc.) en segmentatie.
• Context: Tekst is opgesplitst in coherente segmenten (max. 2000 tekens, 500 tekens overlap) met behoud van thematische samenhang.
• Generatie: Met behulp van Gemini 2.5 Pro werden vragen gegenereerd voor elk contextsegment.
  • Balans: De dataset bevat 87.805 vraag-antwoordparen. De verdeling is zorgvuldig gebalanceerd: 57,25% beantwoordbaar en 42,75% onbeantwoordbaar.
  • Adversariale insteek: Onbeantwoordbare vragen zijn ontworpen om thematisch relevant te zijn maar bevatten geen correct antwoord, vaak met plausibele afleiders om hallucinatie te voorkomen.
  • Format: SQuAD-stijl JSON, inclusief start/stop offsets voor beantwoordbare vragen en Chain-of-Thought (CoT) annotaties (hoewel deze in deze studie niet volledig benut werden).

2. Experimenteel Opzet

• Modellen: Drie transformer-architecturen werden gefinetuned: BERT, RoBERTa en ELECTRA.
• Preprocessing: Toepassing van SQuAD-standaarden, inclusief correctie van antwoord-offsets en het gebruik van "sliding windows" voor lange contexten.
• Training: Gefinetuned op een enkele GPU (12GB VRAM) met mixed-precision (FP16). Hyperparameters zoals leerkracht, batchgrootte en warmup-ratio waren afgestemd op de specifieke modellen (zie Tabel 4 in het paper).
• Evaluatiemetrics:
  • Exact Match (EM): Strikte overeenkomst na normalisatie.
  • F1-score: Token-level overlap.
  • BERTScore: Semantische gelijkenis (belangrijk voor morfologisch rijke talen zoals Bengaals).
  • Specifieke scoring voor onbeantwoordbare vragen: Correcte afstoting (abstention) levert een perfecte score op.

Belangrijkste Resultaten

De resultaten tonen aan dat domain-specifiek finetuning cruciaal is voor prestaties in low-resource settings:

• Verbetering door Finetuning:
  • BERT: Toonde de grootste relatieve verbetering. De F1-score steeg van 0,150 (zero-shot) naar 0,620 (na finetuning), een verbetering van 313%. De EM steeg van 0,059 naar 0,509.
  • RoBERTa: Startte met de sterkste zero-shot prestaties (F1 0,428) vanwege de grotere pre-training corpus, maar toonde bescheiden verbeteringen na finetuning (F1 0,469).
  • ELECTRA: Bereikte een F1 van 0,550 na finetuning (van 0,406), een verbetering van 35,5%.
• Semantische Kwaliteit: Alle modellen vertoonden aanzienlijke verbeteringen in BERTScore (bijv. BERT van 0,665 naar 0,880), wat aangeeft dat de antwoorden niet alleen exacter, maar ook semantisch beter werden.
• Onbeantwoordbare Vragen: Alle modellen presteerden zeer goed in het herkennen van onbeantwoordbare vragen (F1 tussen 0,82 en 0,98), wat aantoont dat het "niet antwoorden" een relatief eenvoudiger leerproces is dan het nauwkeurig extraheren van antwoorden.
• Vraagtypes: BERT presteerde het sterkst bij het verbeteren van redeneertaken zoals vergelijkende vragen (Comparative), waar de F1 steeg van 0,126 naar 0,767.

Bijdragen

1. NCTB-QA Dataset: De introductie van een schaalrijke (87k+ paren), educatief gefocuste dataset voor het Bengaals met een unieke balans tussen beantwoordbare en onbeantwoordbare vragen.
2. Adversariale Ontwerp: De dataset bevat zorgvuldig ontworpen onbeantwoordbare voorbeelden die modellen dwingen tot dieper contextueel begrip in plaats van oppervlakkige correlaties.
3. Benchmarking: Een uitgebreide evaluatie van state-of-the-art transformer-modellen in een low-resource educatieve context, waarbij wordt aangetoond dat zero-shot prestaties vaak ontoereikend zijn zonder domain-specifieke finetuning.
4. Chain-of-Thought: De dataset bevat CoT-annotaties die toekomstig onderzoek naar generatieve en interpreteerbare redeneersystemen mogelijk maken.

Betekenis en Toekomstperspectief

Dit onderzoek benadrukt dat voor low-resource talen zoals het Bengaals, het simpelweg toepassen van algemene modellen onvoldoende is. De combinatie van een groot, educatief dataset en domain-specifiek finetuning is essentieel voor robuuste prestaties.

NCTB-QA vult een kritieke lacune in de NLP-resourcen voor het Bengaals en biedt een uitdagende benchmark voor toekomstig onderzoek. De dataset is niet alleen nuttig voor het verbeteren van leesbegrip, maar ook voor toepassingen zoals geautomatiseerde toetsing en gepersonaliseerd leren binnen het nationale curriculum van Bangladesh. Toekomstig werk zou kunnen focussen op het benutten van de CoT-annotaties met generatieve modellen (zoals Qwen) en het uitbreiden van de dataset naar multimodale vormen (diagrammen, tabellen).

Beperkingen: De evaluatie was beperkt tot extractieve modellen (encoder-only) en de maximale antwoordlengte was beperkt door VRAM-beperkingen, wat langere educatieve verklaringen uitsluit.