ACE-TA: An Agentic Teaching Assistant for Grounded Q&A, Quiz Generation, and Code Tutoring

Dit paper introduceert ACE-TA, een autonoom agentsysteem dat conceptuele vragen uit programmeercursussen verwerkt door middel van een gecoördineerde combinatie van een op zoekopdrachten gebaseerd Q&A-systeem, een quizgenerator en een interactieve code-tutor.

De kern

Stel je voor dat je op een grote, drukke universiteit zit. Je probeert Python te leren (een programmeertaal), maar je vastloopt. Je leraar is bezet, de assistenten hebben geen tijd, en het is 2 uur 's nachts. Je hebt hulp nodig, maar niemand is wakker.

ACE-TA is als een superkrachtige, 24/7 digitale studiegenoot die precies weet wat je nodig hebt, wanneer je het nodig hebt. Het is geen simpele chatbot die zomaar wat uit de duim zuigt; het is een slim team van drie specialisten die samenwerken.

Hier is hoe ACE-TA werkt, vertaald naar alledaagse beelden:

1. De Slimme Portier (De Router)

Wanneer je een vraag stelt, staat er eerst een slimme "portier" (een klein, snel AI-model). Hij kijkt naar je vraag en beslist direct welke van de drie specialisten je moet helpen.

• Vraag je "Wat betekent deze term?"? → Hij stuurt je naar de Uitleg-Expert.
• Vraag je "Kun je me testen?"? → Hij stuurt je naar de Quiz-Maker.
• Vraag je "Hoe schrijf ik deze code?"? → Hij stuurt je naar de Code-Docent.

2. De Drie Specialisten

A. De Uitleg-Expert (Conceptuele Q&A)

Stel je voor dat je een vraag hebt over een boek. In plaats van dat de computer zomaar een antwoord bedenkt, loopt deze expert naar de bibliotheek (de digitale lesboeken).

• Hoe het werkt: Hij zoekt niet alleen op sleutelwoorden, maar begrijpt ook de samenhang. Hij pakt de beste pagina's uit het boek, leest ze, en geeft je een antwoord dat precies klopt met wat er in je lesmateriaal staat.
• Het voordeel: Hij leert je niet iets dat de leraar niet heeft gezegd. Het is alsof je een perfecte samenvatting krijgt die direct uit je eigen boek komt, maar dan in begrijpelijke taal.

B. De Quiz-Maker (Adaptieve Toetsen)

Deze specialist is als een slimme trainer die een oefenwedstrijd voor je opzet.

• Hoe het werkt: Als je vraagt om een quiz over "Lijsten in Python", maakt hij eerst een lijstje met onderwerpen waar je uit kunt kiezen. Vervolgens maakt hij vragen die niet alleen "ja/nee" zijn, maar vragen die je laten nadenken (zoals: "Wat zou er gebeuren als...?").
• De slimme twist: Als je een vraag goed beantwoordt, maakt hij de volgende vraag iets moeilijker. Als je het fout hebt, maakt hij hem iets makkelijker en geeft hij uitleg. Het is alsof de trainer zich aanpast aan jouw niveau, zodat je nooit saai wordt of te overweldigd raakt.

C. De Code-Docent (Stap-voor-stap Hulp)

Dit is misschien wel het coolste deel. Veel AI's geven je het volledige antwoord op een programmeeropgave. Dat helpt je niet echt om te leren. ACE-TA doet het anders.

• De Analogie: Stel je voor dat je een auto moet bouwen. Een slechte leraar geeft je de complete auto. ACE-TA zegt: "Oké, laten we eerst het wiel monteren."
• Hoe het werkt:
  1. Hij breekt het probleem op in kleine, haalbare stapjes.
  2. Hij vraagt jou om alleen de code voor die ene stap te schrijven.
  3. Hij test die stap direct in een veilige ruimte (een "zandbak") om te zien of het werkt.
  4. Als het fout gaat, zegt hij niet "Fout", maar: "Kijk, hier heb je een haakje vergeten. Probeer het nog eens."
  5. Pas als die stap werkt, gaan jullie naar de volgende stap.
• Het resultaat: Je bouwt het programma zelf op, stap voor stap, en leert echt hoe het werkt zonder dat je vastloopt.

Waarom is dit zo'n goed idee?

Vroeger waren AI-hulpmiddelen voor studenten vaak als een "magische toverstaf" die zomaar een antwoord gaf. Dat is niet altijd eerlijk of leerzaam.

ACE-TA is meer als een bouwmeester met een hulppakket:

1. Hij kijkt naar de blauwdrukken: Hij gebruikt je eigen lesboeken, dus hij vertelt je niets wat niet klopt.
2. Hij is geduldig: Hij breekt grote problemen op in kleine stukjes.
3. Hij is eerlijk: Hij test je werk direct en geeft feedback als je iets verkeerd doet, zodat je het kunt verbeteren.

Conclusie

ACE-TA is een slim systeem dat studenten helpt om niet alleen wat te leren, maar ook hoe ze het moeten toepassen. Of je nu een vraag hebt over een theorie, een test wilt doen, of vastloopt in je code, deze digitale assistent staat klaar om je stap voor stap naar het juiste antwoord te leiden, precies op het moment dat je het nodig hebt. Het maakt leren minder eenzaam en meer een gesprek met een geduldige, slimme leraar.

Technische samenvatting

Probleemstelling

Het hoger onderwijs kampt met een toenemende studentenaanwas, wat leidt tot grote klassen en overbelaste docenten en onderwijsassistenten (TAs). Studenten hebben vaak moeite om tijdig hulp te krijgen buiten kantoortijden, vooral bij complexe programmeerproblemen. Bestaande AI-oplossingen (zoals traditionele LLM-systemen) zijn vaak beperkt tot:

1. Alleen conceptuele vragen beantwoorden of administratieve ondersteuning.
2. Gebrek aan ondersteuning bij toegepaste probleemoplossing, zoals het debuggen van code of stap-voor-stap redeneren.
3. Het ontbreken van geïntegreerde systemen die conceptueel begrip, code-constructie en formatieve beoordeling (quizzen) combineren.

Er is dus behoefte aan een agente AI-architectuur die autonoom taken kan opdelen, externe tools kan gebruiken en studenten kan begeleiden bij multi-stap redenering en codering.

Methodologie: Het ACE-TA Framework

ACE-TA is een lokaal, multi-module tutoringsframework dat Retrieval-Augmented Generation (RAG), adaptieve beoordeling en stapsgewijze code-coaching integreert onder een gedeelde orkestratielaag. Het systeem gebruikt vooraf getrainde Large Language Models (LLMs) en werkt volledig lokaal (geen afhankelijkheid van externe API's voor de kernlogica).

1. Orkestratielaag (Query Router)

Een lichte laag routeert gebruikersvragen naar één van de drie gespecialiseerde modules:

• Conceptuele Q&A: Voor theoretische vragen.
• Quiz Generator: Voor het maken van toetsvragen.
• Code Tutor: Voor het oplossen van programmeeropdrachten.
  De router gebruikt een compact lokaal model (Phi-3-Mini) om de intentie te bepalen en de query te routeren, terwijl een groter generatormodel (GPT-OSS-20B) de inhoudelijke taken uitvoert. Dit minimaliseert de latentie.

2. Conceptuele Q&A Module

• Hybride Retrieval: Combineert dichte zoekopdrachten (FAISS) en lexische zoekopdrachten (BM25) over een "Hybrid Vector DB" met leerboekinformatie.
• Reranking: Een cross-encoder (MS MARCO-MiniLM) sorteert de top-resultaten opnieuw om de meest relevante context te selecteren.
• Generatie: Het antwoord wordt gegenereerd op basis van de geselecteerde context, met instructies om te verwijzen naar bewijs en toe te geven als de context ontoereikend is.

3. Quiz Generator

• Adaptieve Moeilijkheidsgraad: Het systeem breekt brede verzoeken op in subonderwerpen en kiest vervolgens 50 kandidaat-chunks uit een Quiz Vector DB.
• Diversiteit: Gebruik van Maximum Marginal Relevance (MMR) om diverse passages te selecteren en topic-drift te voorkomen.
• Constructie: Het genereert meerkeuzevragen (MCQ) met Bloom-tarieven (Analyseren, Evalueren, etc.), distractor-argumenten en correcte antwoorden.
• Validatie: Een validator controleert de structuur en de uitlijning met leerdoelen. De moeilijkheidsgraad past zich dynamisch aan op basis van het antwoord van de student.

4. Code Tutor (Stapsgewijze Coaching)

Dit is een interactieve module die natuurlijke taal omzet in uitvoerbare Python-code via iteratieve feedback:

• Planning: Het systeem genereert eerst een logisch stappenplan (zonder code).
• Stap-voor-stap Implementatie: De student voert code in voor één stap.
• Validatie & Sandbox:
  1. De code wordt eerst gecontroleerd op syntaxisfouten via een Abstract Syntax Tree (AST).
  2. Vervolgens wordt de code uitgevoerd in een gesandboxde omgeving.
  3. Als het mislukt, krijgt de student feedback over de specifieke fout.
• Vergelijking: Als het lukt, vergelijkt een LLM de studentcode met een referentiecode, accepteert alternatieve logica en geeft feedback voor de volgende stap.

Belangrijkste Bijdragen

1. Unificatie van Taken: ACE-TA is het eerste systeem dat conceptuele Q&A, adaptieve quiz-generatie en stapsgewijze code-tutoring combineert in één agentisch framework.
2. Hybride Architectuur: Innovatieve integratie van hybride retrieval (BM25 + FAISS + Reranking), multi-concept quiz-generatie en incrementele code-tutoring met sandbox-executie.
3. Lokaal & Robuust: Het systeem draait lokaal met open-source modellen, wat privacy en controle garandeert, en is getest op diverse modelgroottes (van 7B tot 27B parameters).

Resultaten en Evaluatie

De evaluatie is gebaseerd op kwantitatieve metrics en kwalitatieve beoordeling door SME's (Subject Matter Experts), waaronder docenten en TAs. De dataset bestond uit materiaal uit "Learning Python" (Mark Lutz).

• Conceptuele Q&A:

  • Retrieval: Zeer hoge precisie en recall.
  • Kwaliteit: De antwoorden hebben een hoge relevantie (RAGAS score ~0.94) en semantische gelijkenis (BERTScore ~0.93).
  • Expert Beoordeling: SME's gaven ACE-TA een gemiddelde diepte-score van 3.8 (op 5), significant hoger dan 1.3 voor een concurrentieel model (Gemini 2.5 Pro). ACE-TA's antwoorden waren beknopter en minder "rommelig".

• Quiz Generator:

  • Breedte & Balans: De gegenereerde quizzen dekken een breed scala aan onderwerpen (gemiddelde breedte-score 1.73) met een zeer evenwichtige verdeling (gemiddelde evenwichtigheid 0.97).
  • Kwaliteit: SME's beoordeelden de uitleg bij de vragen als "adequaat" (gemiddelde 3.57/5), hoewel er soms sprake was van kleine afwijkingen in de formulering.

• Code Tutor:

  • Robuustheid: Gemeten met DWPM (Difficulty Weighted Performance Measure). Grotere modellen (bijv. Gemma-3-27B) bereikten een score van 1.0, terwijl kleinere, gekwantiseerde modellen (bijv. Mistral-7B-8bit) iets lager scoorden (0.772) door formatfouten.
  • Correlatie: Er is een sterke positieve correlatie (ρ = 0.875) tussen de "effectieve capaciteit" van het model (parameters + precisie) en de robuustheid.
  • Kwaliteit: Hoewel de exacte tekstuele overlap (CodeBLEU) matig was, was de semantische correctheid (CodeBERT) zeer hoog (>0.97), wat aangeeft dat het systeem diverse correcte oplossingen accepteert.
  • Staphelderheid: SME's gaven de stap-voor-stap uitleg een gemiddelde van 3.84/5, wat aangeeft dat de instructies duidelijk en bruikbaar zijn.

Betekenis en Toekomstperspectief

ACE-TA demonstreert dat agente AI-systemen effectief kunnen worden ingezet om de schaalproblemen in het hoger onderwijs aan te pakken. Het biedt niet alleen toegang tot informatie, maar activeert dieper leren door:

• Studenten te dwingen om code stap-voor-stap te bouwen in plaats van volledige oplossingen te kopiëren.
• Adaptieve toetsing te bieden die zich aanpast aan het niveau van de student.
• Betrouwbare, context-gebonden antwoorden te geven die gebaseerd zijn op specifieke cursusmaterialen.

Toekomstig werk richt zich op het testen van ACE-TA in andere cursussen (generalisatie) en het uitvoeren van een daadwerkelijke klaslokaal-deploy om de leerimpact en falingsmodi in de praktijk te meten.