AI University: An LLM-Powered Learning Assistant for Engineering---A Finite Element Method Case Study

In der Welt der Hochschulbildung, insbesondere in Fachbereichen wie Ingenieurwesen und Physik, besteht das Lernen oft darin, komplexe, abstrakte Konzepte zu meistern, die beschreiben, wie sich die physische Welt verhält. Eines solcher Konzepte ist die Finite-Elemente-Methode, eine leistungsstarke numerische Technik, die verwendet wird, um schwierige mathematische Probleme zu lösen, die alles beschreiben – von der Frage, wie eine Brücke unter Last durchbiegt, bis hin zum Wärmefluss durch ein Strahltriebwerk. Seit Jahrzehnten lernen Studenten diese Themen durch Vorlesungen, Lehrbücher und Aufgabenstellungen und verlassen sich dabei auf menschliche Dozenten, die die Nuancen des Materials erklären. Heute ist ein neues Werkzeug entstanden, um diesen Prozess zu unterstützen: das Large Language Model (großes Sprachmodell). Dies sind Systeme der künstlichen Intelligenz, die auf riesigen Mengen von Texten aus dem Internet trainiert wurden und in der Lage sind, Fragen zu beantworten und Erklärungen zu fast jedem Thema zu generieren. Diese allgemeinen Modelle sind zwar unglaublich wortgewandt, ihnen fehlt jedoch oft die spezifische Stimme, der Stil und die Tiefe eines bestimmten Universitätskurses. Sie mögen ein Konzept korrekt erklären, aber nicht auf die Weise, wie ein spezifischer Professor es lehrt, was dazu führen kann, dass Studenten durch unbekannte Terminologie verwirrt werden oder die spezifischen Beispiele ihres Kurses verpassen.

Ein Forscherteam an der University of Southern California hat ein System namens AI University entwickelt, um diese Lücke zu schließen. Ihr Ziel war es, einen Lernassistenten zu schaffen, der nicht nur das Fachwissen besitzt, sondern auch die Sprache des spezifischen Kurses spricht, bei dem er hilft. Um diese Idee zu testen, konzentrierten sie sich auf einen Masterkurs im Ingenieurwesen, der sich der Finite-Elemente-Methode widmet. Die Forscher bauten ein Framework, das eine spezialisierte künstliche Intelligenz mit einem System kombiniert, das in der Lage ist, sofort durch die eigenen Materialien des Kurses zu suchen, einschließlich aufgezeichneter Videovorlesungen, Vorlesungsnotizen und Lehrbücher. Das Ergebnis ist ein digitaler Tutor, der Fragen der Studenten mit demselben Tonfall, demselben Stil und denselben Referenzen wie der menschliche Dozent beantworten kann, während er gleichzeitig direkt auf den exakten Moment in einer Videovorlesung oder die Seite in einem Buch hinweist, an dem das Konzept ursprünglich erklärt wurde.

Der Prozess begann mit der Erstellung eines benutzerdefinierten Datensatzes. Die Forscher nahmen das primäre Lehrbuch des Kurses, Transkripte der Vorlesungen und Programmieraufgaben und nutzten eine fortgeschrittene KI, um Tausende von Frage-Antwort-Paaren basierend strikt auf diesem Material zu generieren. Dieser Schritt war entscheidend; er stellte sicher, dass die KI die spezifische Art und Weise lernte, wie der Kursleiter neue Ideen einführte, welche Symbole er bevorzugte und welche Detailtiefe erwartet wurde. Sie verwendeten diese Daten dann, um ein mittelgroßes Open-Source-KI-Modell „feinzutunen“ (fine-tuning). Fine-tuning ist ein Prozess, bei dem eine allgemeine KI mit zusätzlichem Training zu einem spezifischen Thema versehen wird, um sie zu einem Experten auf diesem Gebiet zu machen. Die Forscher nutzten eine Technik namens Low-Rank Adaptation, die es dem Modell ermöglicht, das neue Material effizient zu lernen, ohne dass es komplett neu aufgebaut werden muss. Das resultierende Modell, das sie LLaMA-TOMMI-1.0 nannten, wurde darauf ausgelegt, den instruktionalen Stil des Kurses nachzuahmen.

Die Forscher wussten jedoch, dass ein Modell, das auf vergangenen Materialien trainiert wurde, Schwierigkeiten mit neuen Fragen haben könnte oder Fehler machen könnte, wenn es sich zu sehr auf sein allgemeines Training verlassen würde. Um dies zu lösen, bauten sie eine zweite Ebene in das System ein. Wenn ein Student eine Frage stellt, fragt das System zuerst das feingestimmte Expertenmodell nach einer Antwort. Es durchsucht dann sofort die Datenbank der Kursmaterialien, um relevante Abschnitte aus dem Lehrbuch oder den Videovorlesungen zu finden. Ein zweites, logischeres KI-Modell fungt dann als Synthetisator. Es nimmt die ursprüngliche Antwort des Expertenmodells und die abgerufenen Kursmaterialien, vergleicht sie und konstruiert eine endgültige Antwort. Wenn die Antwort des Expertenmodells stark ist, reichert der Synthetisator sie mit Zitaten aus den Kursmaterialien an. Wenn die Antwort schwach oder ungenau ist, ignoriert der Synthetisator sie und baut eine neue Antwort ausschließlich auf Basis der abgerufenen Kursinhalte auf. Dieses System enthält auch einen „Denkprozess“, bei dem die KI ihre Argumentation erklärt und einen Konfidenzwert für ihre Antwort angibt, was den Studenten hilft zu verstehen, wie das Fazit erreicht wurde.

Das Team testete dieses System streng, um zu sehen, ob es tatsächlich besser funktioniert als die Verwendung einer Standard-KI, die nicht speziell trainiert wurde. Sie verglichen die Leistung ihres maßgeschneiderten Modells mit der ursprünglichen, unveränderten Version derselben KI. In automatisierten Tests lieferte das feingestimmte Modell Antworten, die der „Ground Truth“ (der tatsächlichen Wahrheit) der Kursmaterialien signifikant näher kamen. Bei einer quantitativen Bewertung erzielte das Expertenmodell in 86 % der Testfälle eine höhere Punktzahl. Noch wichtiger war, dass menschliche Experten, die mit dem Kursmaterial vertraut waren, die Antworten überprüften und dabei ebenfalls eine starke Präferenz für das maßgeschneiderte Modell zeigten. Diese fortgeschrittenen Nutzer wählten die feingestimmte Version fast doppelt so häufig wie das Basismodell, wenn sie gefragt wurden, welche Antwort besser für das Verständnis des Kursinhalts geeignet sei.

Die Forscher verglichen ihr System zudem mit einem sehr leistungsfähigen, kommerziell erhältlichen KI-Modell, das nicht für den Kurs feingestimmt wurde. Während das kommerzielle Modell in der Lage war, mathematisch anspruchsvolle Antworten zu liefern, verwendete es oft Konzepte und Terminologien, die außerhalb des Rahmens des spezifischen Graduiertenkurses lagen. Es lieferte manchmal Antworten, die technisch korrekt, aber zu fortgeschritten oder irrelevant für das aktuelle Niveau der Studenten waren. Im Gegensatz dazu lieferte das AI University System konsistent Antworten, die dem spezifischen instruktionalen Stil des Kurses entsprachen und auf die exakten Materialien verwiesen, die die Studenten verwendeten. Der Kursleiter, der die Antworten hinsichtlich Tonfall und Übereinstimmung bewertete, bevorzugte das maßgeschneiderte System in 55 % der Fälle und merkte an, dass es sich wie eine natürliche Erweiterung der Klassenzimmererfahrung anfühlte.

Ein Schlüsselmerkmal des Projekts ist eine funktionierende Webanwendung, die Studenten nutzen können. Diese Benutzeroberfläche ermöglicht es Nutzern, Fragen zu stellen und Antworten zu erhalten, die anklickbare Links zu den spezifischen Zeitstempeln in den Videovorlesungen und den relevanten Abschnitten des Lehrbuchs enthalten. Diese Funktion schafft eine Ebene des Vertrauens und der Transparenz, da sie es den Studenten ermöglicht, die Informationen sofort zu verifizieren. Das System ist flexibel gestaltet; während der Kurs voranschreitet und neue Vorlesungen hinzugefügt werden, kann das System aktualisiert werden, um diese neuen Inhalte einzubeziehen, wodurch sichergestellt wird, dass der Assistent während des gesamten Semesters aktuell bleibt. Die Forscher betonen, dass ihr gesamtes System unter Verwendung von Open-Source-Tools aufgebaut wurde, was bedeutet, dass es lokal gehostet werden kann, um die Privatsphäre der Studenten zu schützen, und nicht auf die Weitergabe proprietärer Daten angewiesen ist.

Die Studie kommt zu dem Schluss, dass allgemeine KI-Modelle zwar leistungsstark sind, aber am effektivsten in der Bildung sind, wenn sie auf die spezifischen Bedürfnisse und den Stil eines Kurses zugeschnitten sind. Das AI University Framework zeigt, dass durch die Kombination von Fine-Tuning mit einem Retrieval-System, das Antworten in den spezifischen Kursmaterialien verankert, ein Lernassistent geschaffen werden kann, der sowohl präzise als auch pädagogisch abgestimmt ist. Die Ergebnisse legen nahe, dass dieser Ansatz einen praktischen Weg für die Integration von KI in die Hochschulbildung bietet, indem er Studenten ein Werkzeug zur Verfügung stellt, das ihr Lernen unterstützt, ohne die einzigartige Stimme und Struktur ihres Dozenten zu verlieren. Die Forscher merken an, dass ihre Studie auf eine kleine Gruppe fortgeschrittener Nutzer und einen einzelnen Kurs begrenzt war, die Konsistenz der Ergebnisse jedoch auf eine vielversprechende Methode hindeutet, KI an spezialisierte Felder in Wissenschaft und Ingenieurwesen anzupassen.