Evaluating and Mitigating Hallucinations in Retrieval-Augmented Question Answering over Uzbek School Textbooks

Im modernen Klassenzimmer wenden sich Schüler zunehmend an künstliche Intelligenz, um schwierige Konzepte zu erklären, Kapitel zusammenzufassen oder sich auf Tests vorzubereiten. Diese digitalen Assistenten basieren auf großen Sprachmodellen – Systemen, die auf riesigen Mengen an Text trainiert wurden und flüssige, selbstbewusste und oft überzeugende Antworten generieren können. Es entsteht jedoch ein deutliches Risiko, wenn ein Schüler eine Frage stellt, auf die er die Antwort noch nicht kennt: Er verfügt nicht über das Wissen, um die Antwort zu überprüfen. Wenn das System einen Fakt erfindet, bleibt der Fehler unbemerkt, und der Schüler lernt etwas Falsches. Um dies zu beheben, haben Forscher eine Methode namens Retrieval-Augmented Generation entwickelt. Anstatt sich allein auf das interne Gedächtnis des Modells zu verlassen, sucht das System zuerst in einem spezifischen, vertrauenswürdigen Dokument – wie einem Schulbuch – nach dem relevanten Abschnitt, bevor es antwortet. Dies hält die Antwort in der Realität verankert, garantiert jedoch keine Perfektion. Das System kann dennoch scheitern, den richtigen Abschnitt zu finden, oder es findet den richtigen Abschnitt und ignoriert ihn dann, oder es interpretiert das Gefundene falsch.

Diese Unsicherheit ist besonders ausgeprägt im Usbekischen, einer Sprache, die von Millionen gesprochen wird, aber in der Welt der künstlichen Intelligenz als „ressourcenarm“ gilt. Im Gegensatz zum Englischen, das die Daten dominiert, die zum Training dieser Modelle verwendet werden, stehen für das Usbekische weniger digitale Texte zur Verfügung. Zudem ist Usbekisch eine agglutinierende Sprache, was bedeutet, dass ein einzelnes Stammwort mit vielen verschiedenen Endungen modifiziert werden kann, um eine enorme Vielfalt an Oberflächenformen zu erzeugen. Ein Schüler, der nach „Unabhängigkeit“ fragt, verwendet möglicherweise eine Wortform, die sich optisch völlig von der im Lehrbuch verwendeten Form unterscheidet, was dazu führt, dass das Suchsystem die Antwort komplett übersieht. Bis jetzt gab es keine Standardmethode, um zu testen, wie gut diese Systeme für die usbekische Geschichte funktionieren oder um zu messen, wie oft sie Dinge erfinden.

Eine aktuelle Studie des unabhängigen Forschers Ruzimboy Kholmurotov adressiert diese Lücke, indem er einen spezifischen Testdatensatz namens UzHistQA erstellt hat, der auf einem offiziellen Geschichtslehrbuch für die zehnte Klasse basiert, welches die Jahre 1917 bis 1991 abdeckt. Der Forscher analysierte das Lehrbuch und fand eine signifikante linguistische Hürde: Von fast 31.000 Wörtern im Buch trat mehr als die Hälfte der einzigartigen Wortformen nur ein einziges Mal auf. Diese extreme Vielfalt bedeutet, dass eine einfache Suche nach exakten Wortübereinstimmungen wahrscheinlich fehlschlagen wird. Um zu testen, wie man dieses Problem überwindet, erstellte die Studie 56 Fragen, darunter solche, die das Lehrbuch schlichtweg nicht beantworten konnte, um zu sehen, ob das System seine Unwissenheit eingestehen oder eine Antwort erfinden würde. Der Forscher verglich daraufhin vier verschiedene Arten, das System laufen zu lassen: eines, das sich nur auf sein internes Gedächtnis verließ, eines, das das Lehrbuch mittels einer Standard-Semantischen Suche durchsuchte, eines, das dies mit einer Schlüsselwortsuche kombinierte, und eine letzte Version, die strikt angewiesen wurde, ihre Quelle zu zitieren und die Antwort zu verweigern, falls die Beweise fehlten.

Die Ergebnisse waren drastisch. Wenn das System sich ohne Blick in das Lehrbuch nur auf sein internes Gedächtnis verließ, stellte es bei 91 Prozent seiner Antworten unbegründete oder erfundene Behauptungen auf. Es fabricierte selbstbewusst Daten, Namen und Listen für Fragen, die das Lehrbuch nicht behandelte. Wenn das System gezwungen war, zuerst im Lehrbuch nachzusehen, sank die Rate dieser unbegründeten Behauptungen dramatisch auf nur 9 Prozent. Dies bestätigte, dass die Verankerung der Antworten im tatsächlichen Text für die Zuverlässigkeit essenziell ist. Die Studie offenbarte jedoch auch eine überraschende Komplikation. Die Version, die die anspruchsvollste Suchmethode verwendete, welche semantisches Verständnis mit Schlüsselwortabgleich kombinierte, fand tatsächlich häufiger die richtigen Abschnitte als die einfachere Suche. Doch trotz des Findens besserer Belege produzierte dieses fortgeschrittene System mehr unbegründete Behauptungen als das einfachere. Es scheint, dass, wenn das System einen größeren, vielfältigeren Satz an Abschnitten abruft, die zusätzlichen Informationen das Modell verwirren, was zu falschen Schlussfolgerungen oder Berechnungen führt, selbst wenn die Fakten direkt vor ihm liegen.

Die effektivste Konfiguration für die Sicherheit war diejenige, die strikte Regeln durchsetzte: Das System musste für jede Behauptung die spezifische Seite zitieren und wurde angewiesen, „Ich weiß es nicht“ zu sagen, wenn das Lehrbuch die Antwort nicht enthielt. Dieser Ansatz eliminierte alle fabrizierten Antworten für Fragen, die das Lehrbuch nicht abdecken konnte. Der Nachteil war, dass das System 14 Prozent der Fragen verweigerte, die es hätte beantworten können, manchmal sogar wenn die Antwort im abgerufenen Text vorhanden war. Der Forscher kommt zu dem Schluss, dass diese Verweigerung für ein Bildungsumfeld eine notwendige Funktion ist. Ein Schüler, der ein „Ich weiß es nicht“ erhält, kann einen Lehrer um Hilfe bitten, aber ein Schüler, der eine selbstbewusste, erfundene Antwort erhält, lernt eine Unwahrheit und hat keine Möglichkeit zu wissen, dass sie falsch ist. Die Studie stellt fest, dass Retrieval-Augmented Generation diese Systeme zwar für das usbekische Bildungswesen lebensfähig macht, es aber eine sorgfältige Gestaltung erfordert, um zu verhindern, dass das System halluziniert, und sie hebt hervor, dass das Finden der richtigen Informationen und das Schreiben einer korrekten Antwort zwei separate Herausforderungen sind, die unabhängig voneinander gemessen werden müssen.