AI University: An LLM-Powered Learning Assistant for Engineering---A Finite Element Method Case Study

In de wereld van het hoger onderwijs, met name in velden zoals engineering en natuurkunde, bestaat leren vaak uit het beheersen van complexe, abstracte concepten die beschrijven hoe de fysieke wereld zich gedraagt. Een dergelijk concept is de eindige-elementenmethode (finite element method), een krachtige numerieke techniek die wordt gebruikt om moeilijke wiskundige problemen op te lossen die alles beschrijven, van hoe een brug doorbuigt onder gewicht tot hoe warmte door een straalmotor stroomt. Decennialang hebben studenten deze onderwerpen geleerd via colleges, tekstboeken en opdrachten, waarbij ze vertrouwden op menselijke instructeurs om de nuances van het materiaal uit te leggen. Vandaag de dag is er een nieuw hulpmiddel opgekomen om dit proces te ondersteunen: het grote taalmodel (large language model). Dit zijn kunstmatige intelligentiesystemen die getraind zijn op enorme hoeveelheden tekst van het internet en in staat zijn om vragen te beantwoorden en verklaringen te genereren over bijna elk onderwerp. Hoewel deze algemene modellen echter ongelooflijk deskundig zijn, missen ze vaak de specifieke stem, stijl en diepgang van een bepaald universitair vak. Ze kunnen een concept correct uitleggen, maar niet op de manier waarop een specifieke professor het onderwijst, wat studenten potentieel in verwarring kan brengen door onbekende terminologie of het missen van de specifieke voorbeelden die in hun klas worden gebruikt.

Een team van onderzoekers aan de University of Southern California heeft een systeem ontwikkeld genaamd AI University om deze kloof te overbruggen. Hun doel was om een leerassistent te creëren die niet alleen de leerstof kent, maar ook de taal spreeelt van de specifieke cursus waar hij bij helpt. Om dit idee te testen, richtten zij zich op een graduate-niveau engineeringcursus gewijd aan de eindige-elementenmethode. De onderzoekers bouwden een framework dat een gespecialiseerde kunstmatige intelligentie combineert met een systeem dat onmiddellijk door het eigen materiaal van de cursus kan zoeken, inclusief opgenomen videocolleges, collegeverslagen en tekstboeken. Het resultaat is een digitale tutor die vragen van studenten kan beantwoorden met dezelfde toon, stijl en referenties als de menselijke instructeur, terwijl hij ook direct naar het exacte moment in een videocollege of de pagina in een boek wijst waar het concept oorspronkelijk werd uitgelegd.

Het proces begon met de creatie van een aangepaste dataset. De onderzoekers namen het primaire tekstboek van de cursus, transcripties van colleges en programmeeropdrachten, en gebruikten een geavanceerde AI om duizenden vraag-en-antwoordparen te genereren die strikt gebaseerd waren op dat materiaal. Deze stap was cruciaal; het zorgde ervoor dat de AI de specifieke manier leerde waarop de docent nieuwe ideeën introduceerde, de symbolen die zij prefereerden en de diepgang van detail die werd verwacht. Vervolgens gebruikten ze deze data om een middelgroot open-source AI-model te "fine-tunen". Fine-tuning is een proces waarbij een algemene AI extra training krijgt op een specifiek onderwerp om een expert op dat gebied te worden. De onderzoekers gebruikten een techniek genaamd Low-Rank Adaptation, die de mogelijkheid biedt aan het model om het nieuwe materiaal efficiënt te leren zonder dat het volledig opnieuw gebouwd hoeft te worden. Het resulterende model, dat zij LLaMA-TOMMI-1.0 noemden, was ontworpen om de instructiestijl van de cursus na te bootsen.

De onderzoekers wisten echter dat een model dat getraind is op oud materiaal moeite zou kunnen hebben met nieuwe vragen of fouten zou kunnen maken als het te zwaar leunde op zijn algemene training. Om dit op te lossen, bouwden ze een tweede laag in het systeem. Wanneer een student een vraag stelt, vraagt het systeem eerst aan het gefinetunede expertmodel om een antwoord. Het doorzoekt vervolgens onmiddellijk de database van cursusmateriaal om relevante secties uit het tekstboek of de videocolleges te vinden. Een tweede, meer logische AI-modellen fungeert vervolgens als een synthesizer. Het neemt het initiële antwoord van het expertmodel en de opgehaalde cursusmaterialen, vergelijkt ze en construeert een definitief antwoord. Als het antwoord van het expertmodel sterk is, verrijkt de synthesizer het met citaten uit de cursusmaterialen. Als het antwoord zwak of onnauwkeurig is, negeert de synthesizer het en bouwt een nieuw antwoord op basis van de opgehaalde cursusinhoud. Dit systeem bevat ook een "denkstap" waarbij de AI zijn redenering uitlegt en een betrouwbaarheidsniveau aan zijn antwoord toekent, wat studenten helpt begrijpen hoe de conclusie is bereikt.

Het team testte dit systeem rigoureus om te zien of het daadwerkelijk beter werkte dan het gebruik van een standaard, ongetrainde AI. Ze vergeleken de prestaties van hun aangepaste, getunede model met de originele, ongewijzigde versie van dezelfde AI. In geautomatiseerde tests produceerde het gefinetunede model antwoorden die aanzienlijk dichter bij de "ground truth" van de cursusmaterialen lagen. Wanneer geëvalueerd door een kwantitatieve maatstaf, scoorde het expertmodel hoger in 86% van de testgevallen. Belangrijker nog, wanneer menselijke experts die bekend waren met de cursusinhoud de antwoorden beoordeelden, toonden zij ook een sterke voorkeur voor het aangepaste model. Deze geavanceerde gebruikers kozen de gefinetunede versie bijna twee keer zo vaak als het basismodel wanneer hen werd gevraagd welke reactie beter was voor het begrijpen van de cursusinhoud.

De onderzoekers vergeleken hun systeem ook met een zeer krachtig, commercieel beschikbaar AI-model dat niet gefinetuned is voor de cursus. Hoewel het commerciële model in staat was om wiskundig geavanceerde antwoorden te geven, gebruikte het vaak concepten en terminologie die buiten de reikwijdte van de specifieke graduate-klas vielen. Het gaf soms antwoorden die technisch correct waren, maar te geavanceerd of irrelevant voor het huidige niveau van de studenten. In tegenstelling hiertoe bood het AI University-systeem consequent antwoorden die overeenkwamen met de specifieke instructiestijl van de cursus en refereerden aan de exacte materialen die de studenten gebruikten. De docent van de cursus, die de reacties beoordeelde op toon en afstemming, gaf de voorkeur aan het aangepaste systeem in 55% van de gevallen, waarbij opmerkte dat het voelde als een natuurlijke verlenging van de klaservaring.

Een kernkenmerk van het project is een werkende webapplicatie die studenten kunnen gebruiken. Deze interface stelt gebruikers in staat om vragen te stellen en antwoorden te ontvangen die klikbare links bevatten naar de specifieke tijdstempels in videocolleges en de relevante secties in het tekstboek. Deze functie voegt een laag van vertrouwen en transparantie toe, waardoor studenten de informatie onmiddellijk kunnen verifiëren. Het systeem is ontworpen om flexibel te zijn; naarmate de cursus vordert en er nieuwe colleges worden toegevoegd, kan het systeem worden bijgewerkt om deze nieuwe inhoud op te nemen, zodat de assistent gedurende het hele semester actueel blijft. De onderzoekers benadrukken dat hun volledige systeem is gebouwd met open-source tools, wat betekent dat het lokaal gehost kan worden om de privacy van studenten te beschermen en niet afhankelijk is van propriëtaire gegevensdeling.

De studie concludeert dat hoewel algemene kunstmatige intelligentiemodellen krachtig zijn, ze het meest effectief zijn in het onderwijs wanneer ze zijn afgestemd op de specifieke behoeften en stijl van een cursus. Het AI University-framework laat zien dat door fine-tuning te combineren met een retrievalsysteem dat antwoorden fundeert in specifieke cursusmaterialen, het mogelijk is om een leerassistent te creëren die zowel accuraat als pedagogisch afgestemd is. De resultaten suggereren dat deze aanpak een praktisch pad biedt voor de integratie van AI in het hoger onderwijs, waarbij studenten een hulpmiddel krijgt dat hun leren ondersteunt zonder de unieke stem en structuur van hun docent te verliezen. De onderzoekers merken op dat hoewel hun studie beperkt was tot een kleine groep gevorderde gebruikers en een enkele cursus, de consistentie van de resultaten wijst op een veelbelovende methode om AI aan te passen aan gespecialiseerde velden in de wetenschap en engineering.