BoilerSketch: A TA-Supervised, Diagram-First GenAI Practice for Structured Diagrams in CS1/Early CS2

Technische Samenvatting: BoilerSketch

Probleemstelling
Grote introductiecursussen in de informatica (CS1 en vroege CS2) kampen met een ondersteuningsbottleneck tijdens practica en spreekuururen. Hoewel studenten behoefte hebben aan tijdige, geïndividualiseerde hulp, worden veel van hun vragen—met name die over recursie-traces, boomdoorlopen (tree traversals), pointer aliasing en dynamische programmeertabellen—het beste beantwoord met visuele diagrammen in plaats van tekst. Bestaande AI-begeleidingstools in het computeronderwijs zijn overwegend tekstgericht of codegericht; ze genereren oefeningen, leggen code uit of debuggen via dialoog, maar missen het vermogen om nauwkeurige, pedagogisch nuttige visuals te produceren. Daartegenover bieden klassieke programma-visualisatiesystemen sterke visuele representaties, maar zijn ze zelden conversationeel, multimodaal of ingebed binnen een gesuperviseerde hulpworkflow. Dit creëert een kloof tussen systemen die het gedrag van programma's visualiseren en systemen die het bespreken, wat leidt tot een behoefte aan een "diagram-eerst" AI-ondersteuningstool die expliciet beperkt is tot conceptuele uitleg en onder menselijk toezicht staat.

Methodologie en Systeemontwerp
De auteurs presenteren BoilerSketch, een door TAs (Teaching Assistants) gesuperviseerde, diagram-eerst GenAI-praktijk voor ondersteuning in de vroege informatica. Het systeem is geen autonome tutor, maar een begrensde instructiepraktijk bestaande uit vier kerncomponenten:

1. Dual-Pane Tablet Interface: Studenten interageren via een tablet die zowel natuurlijke taalchat als een pen-ondersteund whiteboard ondersteunt. Studenten kunnen tekstuele vragen indienen, structuren of traces schetsen, of afbeeldingen van handgetekende diagrammen uploaden. Het systeem ondersteunt een iteratieve, bidirectionele visueel-tekstuele dialoog.
2. Prompt-as-Policy Architectuur: Het systeem maakt gebruik van een tweelaagse prompting-strategie om pedagogische grenzen af te dwingen.
   • Base Instructional Prompt: Definieert de rol van het model als een beknopte assistent (TA), waarbij het genereren van uitvoerbare code, direct debuggen en klagen over de cursus verboden is. Het verplicht een focus op conceptuele ontleding en onafhankelijk probleemoplossend vermogen.
   • Visualization Subprompt: Wordt alleen aangeroepen wanneer een visuele uitleg gerechtvaardigd is; deze prompt beperkt het model tot het genereren van gestructureerde Mermaid-diagramsyntaxis in plaats van vrije afbeeldingen.
3. Gestructureerde Rendering Pipeline: Om betrouwbaarheid en inspecteerbaarheid te garanderen, genereert het systeem geen ruwe afbeeldingen. In plaats daarvan extraheert het de Mermaid-codeblok uit de respons van het model, valideert deze en rendert deze server-zijde voordat het aan de student wordt getoond. Dit zorgt ervoor dat de output stabiel, voorspelbaar en gemakkelijk te beoordelen is door personeel.
4. Human-in-the-Loop Supervisie: Teaching Assistants (TAs) fungeren als verantwoordelijke toezichthouders. Zij monitoren meerdere sessies en grijpen in wanneer reacties correctie, diepere exploratie of escalatie naar live hulp vereisen. De AI levert een "eerste pass" artefact, dat de TA kan accepteren, uitbreiden of afwijzen.

Evaluatiemethode
Het artikel rapporteert een expert-evaluatie uitgevoerd in het voorjaar van 2025 met 21 instructiemedewerkers (TAs en een instructiespecialist) van Purdue University's CS251 (Data Structures and Algorithms).

• Procedure: Deelnemers gebruikten een Android-tablet met BoilerSketch tijdens een 45 minuten durende hands-on sessie. Zij interageerden met het systeem alsof zij studenten waren, waarbij zij representatieve conceptuele prompts indiennen (bijv. recursie-traces, graaf-doorlopen) en zelf gegenereerde vragen stelden.
• Metrieken: Na de sessie vulden deelnemers een enquête na gebruik in, waarbij zij de waargenomen behulpzaamheid van het systeem voor conceptueel begrip en de bruikbaarheid voor typische ondersteuningstaken beoordeelden met behulp van ordinale schalen. Kwalitatieve feedback en illustratieve interacties werden ook verzameld om randvoorwaarden te identificeren.

Resultaten
De evaluatie leverde gemengde maar over het algemeen positieve resultaten op met betrekking tot de waargenomen bruikbaarheid:

• Behulpzaamheid: 66,7% (14/21) van de medewerkers beoordeelde het systeem als ten minste "matig behulpzaam" voor conceptueel begrip. 14,3% beoordeelde het als "matig niet behulpzaam" en 19,0% was neutraal.
• Bruikbaarheid: 66,7% (14/21) beoordeelde het systeem als ten minste "matig bruikbaar" voor typische ondersteuningstaken.
• Best-Fit Scenario's: Medewerkers identificeerden de sterkste waarde van het systeem bij routinematige, diagram-gecentreerde uitleg (bijv. het visualiseren van boomdoorlopen, dynamische programmeertabellen en graafalgoritmen zoals Dijkstra's).
• Beperkingen: Medewerkers merkten significante beperkingen op in het vermogen van het systeem om geavanceerde onderwerpen met grote diepgang aan te pakken of om specifieke, subtiele misconcepties van studenten te diagnosticeren die gemaskeerd kunnen worden in een breed plausibele AI-respons. 33,3% van de deelnemers beoordeelde het systeem als neutraal of niet behulpzaam/bruikbaar voor bepaalde scenario's, wat wijst op het risico dat de AI de specifieke kern van de verwarring van een student mist.

Belangrijkste Bijdragen en Claims
Het artikel levert drie primaire bijdragen als een "innovatieve praktijk"-paper:

1. Instructiepraktijk: Het presenteert een reproduceerbaar kader voor gesuperviseerde, diagram-gecentreerde AI-ondersteuning in vroege informatica-cursussen, waarmee het verder gaat dan tekst-gecentreerde AI-interacties.
2. Ontwerppatroon: Het formuleert een inzetbaar ontwerppatroon waarbij prompt-niveau waarborgen, gestructureerde diagram-rendering (Mermaid) en TA-escalatieregels gezamenlijk de AI-assistentie beperken tot conceptuele uitleg in plaats van antwoordproductie.
3. Expert Validatie: Het biedt expert-evaluatiedata die de "best-fit" toepassingen (routinematige conceptuele visualisatie) en randvoorwaarden (genuanceerde diagnose, geavanceerde onderwerpen) voor deze aanpak identificeren.

Significantie en Bescheidenheid van Claims
De auteurs positioneren BoilerSketch niet als een vervanging voor menselijke instructie, maar als een geloofwaardige eerste respons-laag voor routinematige, diagram-geschikte vragen. De significantie ligt in het aantonen dat AI-ondersteuning in de vroege informatica effectiever wordt wanneer deze:

• Nauw afgebakend is tot conceptuele uitleg.
• Structureel beperkt is via gestructureerde output (Mermaid) in plaats van vrije generatie.
• Ingebed is binnen duidelijke escalatieprotocollen naar menselijk personeel.

Het artikel claimt expliciet en bescheiden dat het geen studentenleerwinst, volledige correctheid over alle onderwerpen of reducties in wachttijden tijdens het spreekuur vaststelt. In plaats daarvan biedt het een concreet model voor het uitbreiden van conceptuele ondersteuning met behoud van instructiecontrole en academische integriteit. De auteurs stellen dat de "prompt-as-policy"-benadering het mogelijk maakt om cursuswaarden (zoals academische integriteit en conceptuele focus) direct te vertalen naar systeemgedrag, waardoor de prompt zelf een pedagogisch ontwerpartifact wordt.