Generative AI-Based Virtual Assistant using Retrieval-Augmented Generation: An evaluation study for bachelor projects
Dieser Beitrag stellt einen auf Retrieval-Augmented Generation basierenden virtuellen Assistenten vor und bewertet diesen, der Studierende der Maastricht University bei projektspezifischen Vorschriften unterstützt, und zeigt dabei seine Wirksamkeit bei der Überwindung gängiger Einschränkungen großer Sprachmodelle wie Halluzinationen sowie bei der Gewährleistung präziser, kontextspezifischer Antworten in einem spezialisierten Bildungsbereich.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine belebte Universitätseinheit vor, in der Hunderte von Studierenden an Abschlussprojekten arbeiten. Sie haben einen Berg an Regeln, Vorschriften und Prüfungsdetails zu befolgen. Normalerweise müssen sie, wenn ein Student verwirrt ist – etwa: „Darf ich dieses Meeting überspringen, wenn mein Bus liegen geblieben ist?" – eine müde Projektkoordinatorin per E-Mail kontaktieren. Die Koordinatorin wird von Hunderten ähnlicher E-Mails überflutet, und der Student wartet tagelang auf eine Antwort.
Dieser Artikel beschreibt ein Team aus Studierenden und Forschenden, das einen intelligenten digitalen Assistenten entwickelt hat, um diesen Stau zu beheben. Betrachten Sie diesen Assistenten nicht als magisches Orakel, das alles weiß, sondern als überaus schnellen, überaus organisierten Bibliothekar, der jedes einzelne Regelwerk im Gebäude gelesen hat.
Hier ist, wie sie ihn entwickelt haben und was sie herausfanden, einfach erklärt:
Das Problem: Der „halluzinierende" Bibliothekar
Normalerweise erfindet eine Standard-KI (wie ein Chatbot), wenn Sie eine spezifische Frage zu Schulregeln stellen, Dinge. Es ist wie ein Bibliothekar, der so selbstbewusst ist, dass er eine Regel einfach erfindet, weil er das Buch nicht findet. Dies wird „Halluzination" genannt. Im Schulkontext ist das Erfinden von Regeln gefährlich.
Die Lösung: Der „retrieval-augmentierte" Bibliothekar
Um zu verhindern, dass die KI Dinge erfindet, entwickelte das Team ein System namens RAG (Retrieval-Augmented Generation).
- Der Retrieval-Teil: Bevor die KI antwortet, läuft sie zuerst zur Bibliothek (eine Datenbank offizieller Dokumente) und holt die exakten Seiten heraus, die für die Frage relevant sind. Es ist, als würde der Bibliothekar das Regelwerk physisch vom Regal ziehen, bevor er spricht.
- Der Generation-Teil: Die KI liest dann diese spezifischen Seiten und schreibt eine Antwort, die sich ausschließlich auf das stützt, was sie gefunden hat.
- Die Selbstreflexion (Die „zweite Meinung"): Dies ist der clevere Teil. Nachdem die KI eine Antwort geschrieben hat, führt sie einen „Selbstcheck" durch. Sie fragt sich: „Habe ich das gerade erfunden? Stimmt das wirklich mit den Seiten überein, die ich herausgeholt habe?" Wenn die Antwort „Nein" lautet, versucht sie es erneut oder bittet den Studierenden, seine Frage zu präzisieren. Es ist wie ein Lehrer, der seine eigene Hausaufgaben vor der Abgabe korrigiert.
Das Experiment: Ein Klassenzimmer-Test
Das Team testete diesen Assistenten mit echten Studierenden der Maastricht University.
- Der Aufbau: Sie teilten die Studierenden in zwei Gruppen auf. Eine Gruppe musste schwierige Fragen zu Projektregeln mit ihrem eigenen Gehirn (und vielleicht unter Rückfrage bei einem Menschen) beantworten. Die andere Gruppe durfte den KI-Assistenten nutzen.
- Die Fragen: Die Fragen waren Szenarien wie: „Ich habe ein Meeting wegen einer Busverspätung verpasst. Was passiert mit meiner Note?"
Was sie herausfanden
- Die KI wurde schlauer: Wenn Studierende den Assistenten nutzten, erhielten sie viel häufiger die richtigen Antworten. Beispielsweise stieg in einem Szenario die Anzahl der Studierenden, die die richtige Antwort gaben, von 32 % auf 57 %.
- Weniger Raten: Bevor sie die KI nutzten, sagten viele Studierende einfach: „Ich weiß es nicht." Nach der Nutzung der KI sanken die Antworten „Ich weiß es nicht" erheblich. Die KI half, die Verwirrung aufzuklären.
- Geschwindigkeit: Der Assistent antwortete in etwa 10 Sekunden. Die Studierenden waren zufrieden mit der Geschwindigkeit im Vergleich zum Warten auf eine E-Mail-Antwort.
- Es ist noch nicht perfekt:
- In einigen kniffligen Szenarien machte die KI die Studierenden tatsächlich schlechter bei der Beantwortung. Dies geschah, weil den offiziellen Dokumenten Details fehlten oder die KI nicht zwischen einem „Meeting" und einer „Prüfung" unterscheiden konnte.
- Einige Studierende versuchten, das System zu betrügen, indem sie die Fragen direkt kopierten und einfügten, anstatt natürlich zu fragen, was das Team blockieren musste.
- Die KI verwechselte manchmal verschiedene Arten von Kursen, was zeigt, dass sie ein besseres „Wörterbuch" für Schulbegriffe benötigt.
Das Fazit
Der Artikel kommt zu dem Schluss, dass dieser „Intelligente Bibliothekar" ein hervorragendes Werkzeug ist, um Studierenden zu helfen, sich durch komplexe Schulregeln zu navigieren, ohne das menschliche Personal zu überfordern. Es ist schnell, reduziert die Anzahl der Antworten „Ich weiß es nicht" und lässt Studierende im Allgemeinen selbstbewusster wirken.
Allerdings ist es noch kein perfekter Ersatz für einen Menschen. Es benötigt bessere Trainingsdaten (vollständigere Regelwerke) und intelligentere Wege, um Situationen zu bewältigen, die die Regeln nicht ausdrücklich abdecken. Aber als erster Schritt hat es erfolgreich bewiesen, dass KI ein hilfreicher, zuverlässiger Partner in der Bildung sein kann, wenn man ihr die richtigen Werkzeuge gibt, um ihre eigene Arbeit zu überprüfen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.