Generative AI-Based Virtual Assistant using Retrieval-Augmented Generation: An evaluation study for bachelor projects
Dit artikel presenteert en evalueert een op Retrieval-Augmented Generation gebaseerde virtuele assistent die is ontworpen om studenten van de Universiteit Maastricht te ondersteunen bij projectspecifieke regelgeving, waarbij de effectiviteit wordt aangetoond in het overwinnen van veelvoorkomende beperkingen van Large Language Models zoals hallucinaties en het waarborgen van accurate, contextspecifieke antwoorden binnen een gespecialiseerd educatief domein.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een drukke universiteitsafdeling voor waar honderden studenten werken aan hun eindprojecten. Ze hebben een berg aan regels, voorschriften en exameninformatie te volgen. Meestal, wanneer een student in de war raakt—bijvoorbeeld: "Mag ik deze vergadering overslaan als mijn bus kapot is?"—moeten ze een uitgeputte projectcoördinator een e-mail sturen. De coördinator wordt overspoeld met honderden vergelijkbare e-mails, en de student wacht dagen op een antwoord.
Dit artikel beschrijft een team van studenten en onderzoekers dat een slimme digitale assistent bouwde om dit fileprobleem op te lossen. Denk aan deze assistent niet als een magisch orakel dat alles weet, maar als een supersnelle, supergeorganiseerde bibliothecaris die elk regelboek in het gebouw heeft gelezen.
Hieronder wordt uitgelegd hoe ze het bouwden en wat ze ontdekten, in eenvoudige bewoordingen:
Het Probleem: De "Hallucinerende" Bibliothecaris
Meestal, als je een standaard AI (zoals een chatbot) een specifieke vraag stelt over schoolregels, kan het dingen verzinnen. Het is alsof een bibliothecaris zo zelfverzekerd is dat ze gewoon een regel uitvinden omdat ze het boek niet kunnen vinden. Dit heet "hallucinatie". In een schoolomgeving is het verzinnen van regels gevaarlijk.
De Oplossing: De "Retrieval-Augmented" Bibliothecaris
Om te voorkomen dat de AI dingen verzint, bouwde het team een systeem genaamd RAG (Retrieval-Augmented Generation).
- Het Retrieval-deel: Voordat de AI antwoordt, rent het eerst naar de bibliotheek (een database met officiële documenten) en pakt de exacte pagina's die relevant zijn voor de vraag. Het is alsof de bibliothecaris fysiek het regelboek van het plank haalt voordat het spreekt.
- Het Generation-deel: De AI leest vervolgens die specifieke pagina's en schrijft een antwoord op basis alleen van wat het vond.
- De Zelfreflectie (Het "Tweede Oordeel"): Dit is het slimme deel. Nadat de AI een antwoord heeft geschreven, ondergaat het een "zelfcontrole"-stap. Het vraagt zichzelf: "Heb ik dit net verzonnen? Komt dit eigenlijk overeen met de pagina's die ik heb gepakt?" Als het antwoord "Nee" is, probeert het het opnieuw of vraagt het de student om hun vraag te verduidelijken. Het is alsof een leraar hun eigen huiswerk nakijkt voordat het wordt ingeleverd.
Het Experiment: Een Klaslokaaltest
Het team testte deze assistent met echte studenten van de Universiteit Maastricht.
- De Opzet: Ze verdeelden studenten in twee groepen. De ene groep moest moeilijke vragen over projectregels beantwoorden met hun eigen brein (en misschien een mens vragen). De andere groep mocht de AI-assistent gebruiken.
- De Vragen: De vragen waren scenario's zoals: "Ik heb een vergadering gemist vanwege een busvertraging. Wat gebeurt er met mijn cijfer?"
Wat Ze Vonden
- De AI werd Slimmer: Wanneer studenten de assistent gebruikten, kregen ze veel vaker het juiste antwoord. Bijvoorbeeld, in één scenario steeg het aantal studenten dat het juiste antwoord gaf van 32% naar 57%.
- Minder Gissen: Voordat ze de AI gebruikten, zouden veel studenten gewoon zeggen: "Ik weet het niet." Na het gebruik van de AI daalde het aantal "Ik weet het niet"-antwoorden aanzienlijk. De AI hielp de verwarring op te helderen.
- Snelheid: De assistent antwoordde in ongeveer 10 seconden. Studenten waren blij met hoe snel het was in vergelijking met wachten op een e-mailantwoord.
- Het Is Nog Niet Perfect:
- In een paar moeilijke scenario's maakte de AI studenten eigenlijk slechter in het beantwoorden van vragen. Dit gebeurde omdat de officiële documenten details misten of de AI het onderscheid niet kon maken tussen een "vergadering" en een "examen".
- Sommige studenten probeerden het systeem te bedriegen door de vragen direct te kopiëren en te plakken in plaats van natuurlijk te vragen, wat het team moest blokkeren.
- De AI verwarde soms verschillende soorten lessen, wat laat zien dat het een betere "woordenlijst" van schooltermen nodig heeft.
De Conclusie
Het artikel concludeert dat deze "Slimme Bibliothecaris" een geweldig hulpmiddel is om studenten te helpen complexe schoolregels te navigeren zonder het menselijke personeel te overweldigen. Het is snel, het vermindert het aantal "Ik weet het niet"-antwoorden, en het maakt studenten over het algemeen zelfverzekerder.
Echter, het is nog geen perfect vervanging voor een mens. Het heeft betere trainingsdata nodig (volledigere regelboeken) en slimmere manieren om situaties aan te pakken die de regels niet expliciet behandelen. Maar als eerste stap heeft het succesvol bewezen dat AI een behulpzame, betrouwbare partner in het onderwijs kan zijn als je het de juiste hulpmiddelen geeft om zijn eigen werk te controleren.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.