ACE-TA: An Agentic Teaching Assistant for Grounded Q&A, Quiz Generation, and Code Tutoring

Die Arbeit stellt ACE-TA vor, ein agentices Framework, das mithilfe von vortrainierten Large Language Models und drei koordinierten Modulen konzeptionelle Fragen beantwortet, adaptive Quizze generiert und Studierende durch schrittweise Code-Tutoring-Sitzungen mit Sandkasten-Ausführung unterstützt.

Das Wesentliche

Stellen Sie sich vor, Sie lernen Programmieren, aber Ihr Lehrer ist nur zu bestimmten Zeiten im Büro und Ihre Nachhilfelehrer (die oft selbst noch lernen) sind so überlastet, dass sie kaum Zeit für Ihre Fragen haben. Genau hier kommt ACE-TA ins Spiel.

ACE-TA ist wie ein super-intelligenter, 24/7 verfügbarer digitaler Tutor, der nicht nur redet, sondern auch handelt. Er wurde von Forschern entwickelt, um Studenten beim Lernen von Programmierung (speziell Python) zu helfen.

Hier ist eine einfache Erklärung, wie er funktioniert, mit ein paar kreativen Vergleichen:

1. Der Türsteher (Der Router)

Wenn Sie eine Frage stellen, trifft ACE-TA nicht sofort eine Antwort. Zuerst schaut ein kleiner, schlauer Türsteher (ein KI-Modell) auf Ihre Frage.

• Die Analogie: Stellen Sie sich einen Empfangschef in einem großen Hotel vor. Wenn Sie reinkommen, fragt er: „Wollen Sie ein Zimmer (Faktenwissen), ein Restaurant (Quiz) oder den Koch (Programmieren)?"
• Je nach Ihrer Frage schickt er Sie an die richtige Station. Er weiß genau, wann er Sie zum Fakten-Check schickt und wann Sie Hilfe beim Coden brauchen.

2. Station A: Der Fakten-Check (Konzeptuelle Fragen)

Wenn Sie fragen: „Was ist eine Schleife in Python?", holt ACE-TA nicht einfach irgendeine Antwort aus dem Internet.

• Die Analogie: Er ist wie ein perfekter Bibliothekar, der nicht nur das Buch kennt, sondern auch die genaue Seite aufschlägt. Er sucht in Ihrem Lehrbuch (dem Kursmaterial) nach den relevanten Stellen, liest sie genau durch und erklärt es Ihnen dann in eigenen Worten.
• Der Vorteil: Er erfindet keine Fakten. Er bleibt strikt bei dem, was im Buch steht, und erklärt es so, dass Sie es verstehen, ohne dass er „halluziniert" (also Dinge erfindet).

3. Station B: Der Quiz-Meister (Lern-Tests)

ACE-TA kann auch für Sie Tests erstellen, die sich Ihrem Niveau anpassen.

• Die Analogie: Stellen Sie sich einen persönlichen Fitness-Trainer vor. Wenn Sie eine Übung leicht schaffen, macht er die nächste Übung schwerer. Wenn Sie stolpern, macht er sie einfacher und gibt Ihnen Tipps.
• ACE-TA erstellt Fragen, die nicht nur auswendig gelerntes Wissen abfragen, sondern prüfen, ob Sie das Konzept wirklich verstanden haben. Er mischt die Themen so, dass Sie nicht nur das eine Thema kennen, sondern den ganzen Stoff verknüpfen können.

4. Station C: Der Koch-Assistent (Programmieren Schritt für Schritt)

Das ist vielleicht der coolste Teil. Wenn Sie einen Code schreiben müssen, gibt ACE-TA Ihnen nicht einfach die fertige Lösung.

• Die Analogie: Er ist wie ein Koch-Assistent in einer Küche, der Ihnen nicht den ganzen Kuchen backt, sondern Ihnen sagt: „Zuerst mischen wir die Eier. Gut gemacht! Jetzt fügen wir das Mehl hinzu."
• Wie es funktioniert:
  1. Er teilt das große Problem in kleine, machbare Schritte auf.
  2. Sie schreiben den Code für einen Schritt.
  3. ACE-TA prüft ihn sofort in einer sicheren Umgebung (einem „Sandbox"-Kessel), damit nichts kaputtgeht.
  4. Wenn es falsch ist, sagt er nicht nur „Falsch", sondern erklärt: „Du hast das Mehl vergessen" oder „Du hast den Zucker zu früh reingetan".
  5. Sie korrigieren es und gehen zum nächsten Schritt. So bauen Sie das Programm gemeinsam Stück für Stück auf.

Warum ist das so besonders?

Frühere KI-Systeme waren oft wie Rednerpulte: Sie gaben eine Antwort, aber sie konnten nicht wirklich helfen, Probleme zu lösen oder zu üben. ACE-TA ist wie ein Schwarm von Spezialisten, die zusammenarbeiten:

• Einer kennt das Buch perfekt.
• Einer ist ein genialer Test-Ersteller.
• Einer ist ein geduldiger Programmier-Lehrer.

Das Ergebnis

Die Forscher haben getestet, wie gut ACE-TA funktioniert. Die Ergebnisse zeigen:

• Die Erklärungen sind genau und basieren auf dem Lehrbuch.
• Die Quiz-Fragen sind fair und decken alle wichtigen Themen ab.
• Beim Programmieren hilft er Schülern, Fehler zu finden, ohne die Lösung einfach vorzugeben.

Zusammenfassend: ACE-TA ist wie ein unsichtbarer, unermüdlicher Tutor, der immer zur Verfügung steht, wenn Sie nachts um 3 Uhr noch an einer Programmieraufgabe sitzen. Er sorgt dafür, dass Sie nicht nur die Antwort kennen, sondern wirklich verstehen, wie man sie findet.

Technische Zusammenfassung

1. Problemstellung

Der Hochschulsektor steht vor der Herausforderung, eine wachsende Anzahl von Studierenden mit begrenzten personellen Ressourcen zu betreuen. Insbesondere in MINT-Fächern (STEM) und Programmierkursen leiden Studierende oft unter fehlender zeitnaher Unterstützung außerhalb der Sprechstunden. Herkömmliche KI-Systeme auf Basis von Large Language Models (LLMs) bieten zwar oft allgemeine Antworten, scheitern jedoch häufig an komplexen, mehrstufigen Aufgaben wie der Code-Entwicklung, dem Debugging oder der Erstellung adaptiver Assessments. Es fehlt an integrierten Systemen, die konzeptionelles Verständnis, geführte Code-Entwicklung und formatives Feedback (z. B. durch Quizze) in einer einzigen, autonomen Pipeline vereinen.

2. Methodik: Das ACE-TA-Framework

ACE-TA (Agentic Coding and Explanations Teaching Assistant) ist ein lokales, modulares Tutoring-Framework, das auf Agentic AI (AAI) basiert. Es nutzt vortrainierte LLMs in Kombination mit Retrieval-Augmented Generation (RAG), Tool-Use und mehrstufiger Planung.

Das System besteht aus einer Orchestrierungsschicht (Query Router) und drei spezialisierten Modulen:

A. Orchestrierungsschicht (Query Router)

Ein leichter Router (basierend auf dem Modell Phi-3-Mini) analysiert jede Benutzeranfrage und leitet sie deterministisch an eines der drei Module weiter:

1. Conceptual Q&A (Konzeptuelle Fragen & Antworten)
2. Quiz Generator (Quiz-Erstellung)
3. Code Tutor (Schritt-für-Schritt-Code-Tutoring)
   Dies ermöglicht die Wiederverwendung geladener Modelle und reduziert die Latenz.

B. Konzeptuelles Q&A (Grounded Q&A)

Dieses Modul liefert präzise, kontextbezogene Erklärungen basierend auf Lehrbuchmaterial.

• Hybride Suche: Es kombiniert dichte Retrieval-Verfahren (FAISS) und lexikalische Suche (BM25).
• Reranking: Die Top-K-Ergebnisse werden durch einen Cross-Encoder (MS MARCO-MiniLM) neu sortiert, um die besten Kontextpassagen auszuwählen.
• Generierung: Das Antwortmodell (GPT-OSS-20B) generiert Antworten, die strikt auf den extrahierten Beweisen basieren, und gibt an, wenn der Kontext unzureichend ist.

C. Quiz-Generator

Dieses Modul erstellt adaptive Multiple-Choice-Tests (MCQs), die auf höherer kognitiver Ebene (Bloom-Taxonomie) abzielen.

• Themenzerlegung: Komplexe Anfragen werden in Subthemen unterteilt.
• Diversität: Mit dem Maximum Marginal Relevance (MMR)-Algorithmus werden diverse Passagen aus der Quiz-Datenbank ausgewählt, um Redundanzen zu vermeiden.
• Adaptivität: Die Schwierigkeit der folgenden Fragen wird basierend auf der Richtigkeit der vorherigen Antwort angepasst (höhere Komplexität bei Erfolg, Korrekturfeedback bei Fehlern).
• Validierung: Ein Validator prüft die strukturelle Korrektheit und die Ausrichtung auf die Bloom-Taxonomie.

D. Interaktiver Code-Tutor

Dies ist der Kern für das Programmierenlernen. Der Tutor zerlegt Probleme in logische Schritte und führt eine schrittweise, iterative Anleitung durch:

1. Planung: Das System generiert einen logischen Plan ohne Code.
2. Schrittweise Implementierung: Der Studierende schreibt nur den Code für den aktuellen Schritt.
3. Validierung:
   • AST-Check: Der Code wird vor der Ausführung auf Syntax- und Einrückungsfehler geprüft (Abstract Syntax Tree).
   • Sandbox-Ausführung: Der Code wird in einer isolierten Umgebung ausgeführt.
   • Vergleich: Ein LLM-basierter Comparator prüft den Code gegen eine Referenzlösung, akzeptiert aber äquivalente Logik.
4. Feedback: Bei Fehlern wird eine detaillierte Analyse der Fehlerursache und ein Vorschlag zur Verbesserung gegeben.

3. Schlüsselbeiträge

• Einheitliches Agentic Framework: ACE-TA ist eines der ersten Systeme, das konzeptionelle Q&A, adaptive Quizze und schrittweises Code-Tutoring in einer einzigen, intelligent gerouteten Pipeline vereint.
• Hybride Retrieval-Strategien: Einführung von dualen Vektordatenbanken mit aufgabenspezifischen Chunking-Strategien (z. B. „Late Chunking" für Q&A-Fidelität vs. semantische Chunking für Quiz-Diversität).
• Iteratives Code-Tutoring: Ein neuartiger Ansatz, der Code nicht als Ganzes generiert, sondern durch schrittweise Zerlegung, Sandbox-Validierung und sofortiges Feedback den Lernprozess steuert.
• Adaptive Assessments: Generierung von MCQs mit Bloom-Tagging und dynamischer Schwierigkeitsanpassung.

4. Ergebnisse und Evaluation

Die Evaluation erfolgte an einem Datensatz aus dem Buch Learning Python (Mark Lutz) mit 100 Q&A-Paaren, 108 MCQs und 150 Coding-Problemen.

• Konzeptionelles Q&A:

  • Metriken: Hohe Antwortrelevanz (0,94) und Context Precision (0,99) mittels RAGAS. Hohe semantische Ähnlichkeit (BERTScore F1 ≈ 0,93).
  • Expertenbewertung: Drei Fachexperten (SMEs) bewerteten die Erklärungstiefe von ACE-TA (Ø 3,8/5) signifikant höher als die von Gemini 2.5 Pro (Ø 1,3/5). ACE-TA bleibt thematisch fokussiert, während Gemini oft irrelevante Informationen hinzufügt.

• Quiz-Generator:

  • Abdeckung: Die generierten Quizzes zeigten eine hohe thematische Breite (mittlerer Breadth-Score 1,73) und eine ausgeglichene Verteilung der Subthemen (Pielou's Evenness Ø 0,97).
  • Qualität: Die Erklärungen zu den Quizfragen wurden von Experten mit einem Durchschnitt von 3,57/5 als angemessen bewertet.

• Code-Tutor:

  • Robustheit: Über 150 Probleme (einfach, mittel, schwer) hinweg erzielten größere Modelle (z. B. Gemma-3-27B, Llama-4-Scout) eine nahezu perfekte „Difficulty Weighted Performance Measure" (DWPM ≈ 1,0).
  • Korrelation: Es wurde eine starke positive Korrelation (Spearman ρ = 0,875) zwischen der effektiven Modellkapazität (Parameter + Präzision) und der Robustheit festgestellt.
  • Qualität: Hohe CodeBERT-Ähnlichkeit (semantisch korrekt) bei moderatem CodeBLEU (lexikalische Variation akzeptiert).
  • Schritt-Klarheit: Experten bewerteten die Klarheit der generierten Schritte mit einem Durchschnitt von 3,84/5, wobei die Qualität auch bei komplexen Aufgaben stabil blieb.

5. Bedeutung und Ausblick

ACE-TA demonstriert, dass agentic AI-Frameworks die Lücke zwischen reinem Informationsabruf und angewandtem Problemlösen in der Hochschulbildung schließen können. Durch die Kombination von RAG für Faktenhaltigkeit, adaptiven Assessments und schrittweisem, sandbox-gestütztem Code-Tutoring bietet das System eine skalierbare Lösung für die Betreuung großer Studierendengruppen.

Zukünftige Arbeiten zielen darauf ab, das System auf weitere Kurse (jenseits von Python) zu generalisieren und eine Feldstudie im Klassenzimmer durchzuführen, um den tatsächlichen Lerneffekt zu messen und Schwachstellen in der Feedback-Qualität zu identifizieren.

Zusammenfassend stellt ACE-TA einen signifikanten Fortschritt dar, da es nicht nur Antworten liefert, sondern den Lernprozess durch strukturierte Interaktion, Validierung und adaptive Herausforderung aktiv steuert.