BengaliMCQ: Automatic Generation and Answer Prediction of Academic Multiple-Choice Questions in a Low-Resource Language

In der Welt der künstlichen Intelligenz sind große Sprachmodelle zu leistungsstarken Werkzeugen für das Lesen, Schreiben und Schlussfolgern geworden. Diese Systeme können riesige Textmengen verarbeiten, stehen aber vor einer praktischen Grenze: Sie können nicht eine ganze Bibliothek auf einmal lesen. Wenn sie gebeten werden, einen spezifischen Typ von Frage basierend auf einem langen Lehrbuchkapitel zu generieren, verliert das Modell oft in der schieren Menge an Wörtern den Überblick und übersieht die wichtigsten Details. Um dies zu lösen, nutzen Forscher eine Technik namens Retrieval-Augmented Generation (erweiterte Generierung durch Abruf). Dieser Ansatz fungiert wie ein Bibliothekar, der zuerst genau die Seiten findet, die ein Schüler benötigt, bevor er das Buch dem Lehrer überreicht. Herkömmliche Methoden zur Suche dieser Seiten behandeln ein Lehrbuch jedoch oft wie eine flache Liste von Sätzen und ignorieren dabei die Art und Weise, wie Kapitel, Überschriften und Absätze organisiert sind. Dies ist besonders schwierig bei Sprachen wie Bengali, für die weniger digitale Ressourcen existieren, um diese Systeme zu trainieren, was zu Ergebnissen führt, die oft ungenau oder irrelevant sind.

Ein Team von Forschern der BRAC University in Bangladesch setzte sich zum Ziel, dieses Problem zu lösen, indem sie Computern beibrachten, die Struktur eines Buches zu verstehen, und nicht nur dessen Wörter. Sie entwickelten ein System namens BengaliMCQ, das darauf ausgelegt ist, automatisch Multiple-Choice-Fragen für Studenten zu erstellen und diese Fragen mit hoher Genauigkeit zu beantworten, und das alles unter Verwendung der Sprache Bengali. Anstatt das gesamte Lehrbuch in die künstliche Intelligenz einzuspeisen, erstellt ihr System zuerst eine Karte des Buches. Es behandelt das Lehrbuch als eine Hierarchie und verbindet Kapitel mit Überschriften, Überschriften mit Absätzen und Absätze mit einzelnen Sätzen. Diese Karte ermöglicht es dem Computer zu sehen, wie Ideen von einem Abschnitt zum nächsten fließen, ganz ähnlich wie ein Stammbaum die Beziehungen zwischen Verwandten aufzeigt.

Um diese Karte nutzbar zu machen, trainierten die Forscher ein spezialisiertes Computerprogramm, um darin zu navigieren. Sie erstellten einen Datensatz aus tausenden Beispielfragen und den spezifischen Textpassagen in den Büchern, die diese beantworteten. Durch dieses Training lernte das System zu identifizieren, welche Teile eines Buches für ein bestimmtes Thema am relevantesten waren. Wenn ein Nutzer das System bittet, eine Frage zu einem Thema wie „Photosynthese“ oder „Bengalische Literatur“ zu generieren, scannt das System nicht das ganze Buch. Stattdessen nutzt es seine Karte, um nur die fünf wichtigsten Passagen abzurufen. Diese kurzen, fokussierten Auszüge werden dann an ein großes Sprachmodell gesendet, welches sie nutzt, um eine hochwertige Frage zu schreiben oder die richtige Antwort zu finden. Dieser Prozess reduziert die Menge der zu verarbeitenden Informationen drastisch und macht die Aufgabe schneller und präziser.

Die Ergebnisse dieses Ansatzes waren beeindruckend. In Tests, die ihre Methode mit Standardtechniken verglichen, erwies sich das neue System als weitaweit besser darin, die richtigen Informationen zu finden. Während andere Methoden oft Schwierigkeiten hatten, die korrekte Passage zu lokalisieren, identifizierte das System der Forscher konsistent den relevantesten Text. Als sie die Fähigkeit des Systems testeten, Fragen zu generieren, war das Ergebnis nicht nur genauer, sondern auch vielfältiger und pädagogisch fundierter. Vielleicht am beeindruckendsten ist, dass das System eine Genauigkeit bei der Vorhersage von Antworten von 91,41 Prozent erreichte. Das bedeutet, dass das System, wenn ihm eine Frage aus einer vergangenen Prüfung vorgelegt wurde, die Antwort in mehr als neun von zehn Fällen korrekt identifizieren konnte. Im Gegensatz dazu schnitten andere Methoden, die versuchten, das gesamte Buch auf einmal zu lesen, oder die weniger strukturierte Suchmethoden verwendeten, deutlich schlechter ab, da sie sich oft in der Unordnung irrelevanter Texte verloren.

Die Forscher entdeckten auch, dass die Struktur des Buches der entscheidende Faktor für ihren Erfolg war. Als sie die Verbindungen entfernten, die die Hierarchie des Textes repräsentierten – wie etwa die Verbindung zwischen einem Kapitel und seinen Unterüberschriften –, brach die Leistung des Systems zusammen. Dies bewies, dass das Verständnis der Organisation des Materials weitaus wichtiger war als der bloße Zugriff auf die Wörter selbst. Sie fanden auch heraus, dass das System am besten funktionierte, wenn es darauf trainiert wurde, nach einer spezifischen Anzahl verwandter Sätze zu suchen und Verbindungen zu ignorieren, die zu schwach waren. Durch das Feinabstimmung dieser Einstellungen stellten sie sicher, dass sich das System nur auf die stärksten Beziehungen zwischen Ideen konzentrierte.

Um sicherzustellen, dass die Qualität ihrer Arbeit über Computerscores hinausgeht, setzte das Team menschliche Experten ein, um die generierten Fragen zu überprüfen. Zwei Spezialisten für Literatur und Naturwissenschaften bewerteten eine Zufallsstichprobe der vom System erstellten Fragen. Die Experten bewerteten die überwiegende Mehrheit der Fragen als relevant und nützlich, wobei Biologiefragen die höchsten Bewertungen erhielten. Diese menschliche Validierung bestätigte, dass das System nicht nur Muster nachahmte, sondern tatsächlich Inhalte produzierte, die den Standards eines echten Klassenzimmers entsprachen. Die Studie hob auch einen signifikanten Effizienzgewinn hervor: Durch die Verwendung dieses strukturierten Ansatzes reduzierte das System die Menge des zu verarbeitenden Textes von über 43.000 Wörtern auf nur 1.651 Wörter, ohne dabei den notwendigen Kontext zu verlieren.

Trotz dieser Erfolge räumen die Forscher ein, dass ihre Arbeit nicht ohne Einschränkungen ist. Die zum Training des Systems verwendeten Daten wurden von anderen Modellen der künstlichen Intelligenz erstellt, was bedeutet, dass eine kleine Chance für Fehler oder „Halluzinationen“ in das Fundament eingebaut wurde. Zudem war die menschliche Evaluierung auf eine kleine Gruppe von Experten und ein spezifisches Set an Themen beschränkt. Das Team schlägt vor, dass zukünftige Arbeiten größere, vollständig von Menschen kuratierte Datensätze beinhalten sollten, um die Zuverlässigkeit weiter zu verbessern. Dennoch zeigt diese Studie einen klaren Weg für die Bildungstechnologie in ressourcenarmen Sprachen auf. Indem man die natürliche Struktur von Lehrbüchern respektiert und sie nutzt, um die künstliche Intelligenz zu leiten, ist es möglich, Werkzeuge zu schaffen, die sowohl hochpräzise als auch tiefgreifend relevant für den Lernprozess sind, wodurch die Lücke zwischen komplexer Technologie und den alltäglichen Bedürfnissen von Schülern und Lehrern geschlossen wird.