BengaliMCQ: Automatic Generation and Answer Prediction of Academic Multiple-Choice Questions in a Low-Resource Language

In de wereld van kunstmatige intelligentie zijn grote taalmodellen krachtige hulpmiddelen geworden voor het lezen, schrijven en redeneren. Deze systemen kunnen enorme hoeveelheden tekst verwerken, maar ze worden geconfronteerd met een praktische limiet: ze kunnen niet een hele bibliotheek tegelijkertijd lezen. Wanneer ze worden gevraagd om een specifiek type vraag te genereren op basis van een lang tekstboekhoofdstuk, raakt het model vaak de weg kwijt in de enorme hoeveelheid woorden, waardoor de belangrijkste details worden gemist. Om dit op te lossen, gebruiken onderzoekers een techniek genaamd retrieval-augmented generation. Deze aanpak werkt als een bibliothecaris die eerst de exacte pagina's vindt die een student nodig heeft voordat hij het boek aan de leraar overhandigt. Echter, standaardmethoden om deze pagina's te vinden, behandelen een tekstboek vaak als een platte lijst van zinnen, waarbij de manier waarop hoofdstukken, koppen en paragrafen zijn georganiseerd, wordt genegeerd. Dit is bijzonder moeilijk bij talen zoals het Bengaals, waar minder digitale bronnen bestaan om deze systemen op te trainen, wat leidt tot resultaten die vaak onnauwkeurig of irrelevant zijn.

Een team van onderzoekers aan de BRAC University in Bangladesh zette zich in om dit probleem op te lossen door computers te leren de structuur van een boek te begrijpen, en niet alleen de woorden. Ze ontwikkelden een systeem genaamd BengaliMCQ, ontworpen om automatisch meerkeuzevragen te maken voor studenten en die vragen met hoge nauwkeurigheid te beantwoorden, en dat alles in de Bengaalse taal. In plaats van het hele tekstboek aan de kunstmatige intelligentie te voeren, bouwt hun systeem eerst een kaart van het boek. Het behandelt het tekstboek als een hiërarchie, waarbij hoofdstukken worden verbonden met koppen, koppen met paragrafen, en paragrafen met individuele zinnen. Deze kaart stelt de computer in staat om te zien hoe ideeën van de ene sectie naar de andere stromen, net zoals een stamboom de relaties tussen verwanten laat zien.

Om deze kaart bruikbaar te maken, trainden de onderzoekers een gespecialiseerd computerprogramma om erdoorheen te navigeren. Ze creëerden een dataset van duizenden voorbeeldvragen en de specifieke passages in de boeken die deze vragen beantwoordden. Met behulp van deze training leerde het systeem welke delen van een boek het meest relevant waren voor een specifiek onderwerp. Wanneer een gebruiker het systeem vraat om een vraag te genereren over een onderwerp als "fotosynthese" of "Bengaalse literatuur", scant het systeem niet het hele boek. In plaats daarvan gebruikt het zijn kaart om slechts de vijf belangrijkste passages op te halen. Deze korte, gefocuste fragmenten worden vervolgens naar een groot taalmodel gestuurd, dat ze gebruikt om een hoogwaardige vraag te schrijven of het juiste antwoord te vinden. Dit proces vermindert de hoeveelheid informatie die de computer moet verwerken drastisch, waardoor de taak sneller en nauwkeuriger wordt.

De resultaten van deze aanpak waren opmerkelijk. In tests waarbij hun methode werd vergeleken met standaardtechnieken, bleek het nieuwe systeem veel beter in het vinden van de juiste informatie. Terwijl andere methoden vaak moeite hadden met het lokaliseren van de juiste passage, identificeerde het systeem van de onderzoekers consequent de meest relevante tekst. Wanneer ze de bekwaamheid van het systeem testten om vragen te genereren, was de output niet alleen nauwkeuriger, maar ook diverser en pedagogisch sterker. Misschien nog indrukwekkender is dat het systeem een nauwkeurigheid van 91,41 procent bereikte bij het voorspellen van antwoorden. Dit betekent dat wanneer het systeem een vraag uit een oud examen kreeg, het het juiste antwoord in meer dan negen van de tien gevallen correct kon identificeren. In contrast hiermee presteerden andere methoden die probeerden het hele boek in één keer te lezen of minder gestructureerde zoekmethoden gebruikten, aanzienlijk slechter, omdat ze vaak verdwaalden in de ruis van irrelevante tekst.

De onderzoekers ontdekten ook dat de structuur van het boek de meest cruciale factor voor hun succes was. Wanneer ze de verbindingen die de hiërarchie van de tekst vertegenwoordigden verwijderden — zoals de link tussen een hoofdstuk en zijn subkoppen — stortte de prestatie van het systeem in. Dit bewees dat het begrijpen van de organisatie van het materiaal veel belangrijker was dan simpelweg toegang hebben tot de woorden zelf. Ze vonden ook dat het systeem het beste werkte wanneer het getraind was om naar een specifiek aantal gerelateerde zinnen te zoeken en verbindingen te negeren die te zwak waren. Door deze instellingen fijn af te stemmen, zorgden ze ervoor dat het systeem zich alleen concentreerde op de sterkste relaties tussen ideeën.

Om ervoor te zorgen dat de kwaliteit van hun werk verder ging dan computerscores, lieten de onderzoekers menselijke experts de gegenereerde vragen beoordelen. Twee specialisten in literatuur en wetenschap evalueerden een willekeurige steekproef van de door het systeem gemaakte vragen. De experts beoordeelden de overgrote meerderheid van de vragen als relevant en nuttig, waarbij biologievragen de hoogste cijfers kregen. Deze menselijke validatie bevestigde dat het systeem niet alleen patronen naboots, maar daadwerkelijk inhoud produceerde die voldeed aan de standaarden van een echte klasomgeving. De studie benadrukte ook een aanzienlijke efficiëntiewinst: door dit gestructureerde proces te gebruiken, verminderde het systeem de hoeveelheid tekst die het moest verwerken van meer dan 43.000 woorden naar slechts 1.651 woorden, zonder enige noodzakelijke context te verliezen.

Ondanks deze successen erkennen de onderzoekers dat hun werk niet zonder beperkingen is. De trainingsdata die werd gebruikt om het systeem te onderwijzen, werd gecreëerd door andere kunstmatige intelligentiemodellen, wat betekent dat er een kleine kans is op fouten of "hallucinaties" die in de basis zijn ingebouwd. Daarnaast was de menselijke evaluatie beperkt tot een kleine groep experts en een specifieke set onderwerpen. Het team suggereert dat toekomstig werk gebruik moet maken van grotere datasets die volledig door mensen zijn samengesteld om de betrouwbaarheid verder te verbeteren. Desalniettemin toont deze studie een duidelijke weg vooruit voor onderwijstechnologie in talen met weinig digitale middelen. Door de natuurlijke structuur van tekstboeken te respecteren en deze te gebruiken om kunstmatige intelligentie te sturen, is het mogelijk om tools te creëren die zowel zeer nauwkeurig als diep relevant zijn voor het leerproces, waardoor de kloof tussen complexe technologie en de dagelijkse behoeften van studenten en docenten wordt overbrugd.