BoilerSketch: A TA-Supervised, Diagram-First GenAI Practice for Structured Diagrams in CS1/Early CS2

Technisches Resümee: BoilerSketch

Problemstellung
Große Einführungskurse in der Informatik (CS1 und frühes CS2) stehen während der Laborsitzungen und Sprechstunden vor einem Support-Engpass. Während Studierende zeitnahe, individualisierte Unterstützung benötigen, lassen sich viele ihrer Fragen – insbesondere zu Rekursionstraces, Baumtraversierungen, Pointer-Aliasing und dynamischen Programmierungstabellen – am besten durch visuelle Diagramme beantworten statt durch Text. Bestehende KI-Tutoring-Tools in der Informatikausbildung sind überwiegend text- oder codeorientiert; sie generieren Übungen, erklären Code oder helfen beim Debugging durch Dialoge, verfügen aber nicht über die Fähigkeit, präzise, pädagogisch nützliche Visualisierungen zu erstellen. Umgekehrt bieten klassische Programmvisualisierungssysteme starke visuelle Darstellungen, sind jedoch selten konversationell, multimodal oder in einen kontrollierten Hilfsprozess eingebettet. Dies schafft eine Lücke zwischen Systemen, die das Programmverhalten visualisieren, und Systemen, die darüber diskutieren, was den Bedarf an einem „diagrammfokussierten“ KI-Support-Tool weckt, das explizit auf konzeptionelle Erklärungen beschränkt und unter menschlicher Aufsicht steht.

Methodik und Systemdesign
Die Autoren präsentieren BoilerSketch, eine TA-supervidierte, diagrammfokussierte GenAI-Praxis für die Unterstützung in der frühen Informatikausbildung. Das System ist kein autonomer Tutor, sondern eine begrenzte instruktionale Praxis, die aus vier Kernkomponenten besteht:

1. Dual-Pane-Tablet-Interface: Studierende interagieren über ein Tablet, das sowohl einen natürlichen Sprachchat als auch ein mit einem Stift bedienbares Whiteboard unterstützt. Studierende können Textfragen einreichen, Strukturen oder Traces skizzieren oder Bilder handgezeichneter Diagramme hochladen. Das System unterstützt einen iterativen, bidirektionalen visuellen-textuellen Dialog.
2. Prompt-as-Policy-Architektur: Das System verwendet eine zweistufige Prompting-Strategie, um pädagogische Grenzen durchzusetzen.
   • Base Instructional Prompt (Basis-Instruktions-Prompt): Definiert die Rolle des Modells als prägnanter Tutor (Teaching Assistant), der ausführbaren Code, direktes Debugging und Beschwerden über den Kurs verbietet. Er schreibt den Fokus auf konzeptionelle Entschlüsselung und unabhängige Problemlösung vor.
   • Visualization Subprompt (Visualisierungs-Subprompt): Wird nur aufgerufen, wenn eine visuelle Erklärung gerechtfertigt ist; dieser Prompt beschränkt das Modell darauf, strukturierte Mermaid-Diagrammsyntax zu generieren, anstatt freiformatige Bilder zu erzeugen.
3. Strukturierte Rendering-Pipeline: Um Zuverlässigkeit und Überprüfbarkeit zu gewährleisten, generiert das System keine Rohbilder. Stattdessen extrahiert es den Mermaid-Codeblock aus der Antwort des Modells, validiert ihn und rendert ihn serverseitig, bevor er dem Studierenden angezeigt wird. Dies stellt sicher, dass die Ausgabe stabil, vorhersehbar und für das Personal leicht überprüfbar ist.
4. Human-in-the-Loop-Supervision: Teaching Assistants (TAs) fungieren als verantwortliche Aufsichtspersonen. Sie überwachen mehrere Sitzungen und intervenieren, wenn Antworten eine Korrektur, tieferes Nachbohren oder eine Eskalation an menschliche Hilfe erfordern. Die KI liefert ein „First-Pass“-Artefakt, das der TA akzeptieren, erweitern oder ablehnen kann.

Evaluationsmethode
Die Arbeit berichtet über eine Expertenevaluation, die im Frühjahr 2025 mit 21 Lehrkräften (TAs und einer Fachkraft) aus Purdue Universitys CS251 (Datenstrukturen und Algorithmen) durchgeführt wurde.

• Verfahren: Die Teilnehmer nutzten ein Android-Tablet mit BoilerSketch für eine 45-minütige praktische Sitzung. Sie interagierten mit dem System, als wären sie Studierende, und reichten repräsentative konzeptionelle Prompts ein (z. B. Rekursionstraces, Graph-Traversierungen) sowie selbst generierte Fragen.
• Metriken: Im Anschluss an die Sitzung füllten die Teilnehmer eine Post-Use-Umfrage aus, in der sie die wahrgenommene Hilfreichkeit des Systems für das konzeptionelle Verständnis und dessen Nützlichkeit für typische Support-Aufgaben auf Ordinalskalen bewerteten. Qualitative Rückmeldungen und illustrative Interaktionen wurden ebenfalls gesammelt, um Grenzbedingungen zu identifizieren.

Ergebnisse
Die Evaluation lieferte gemischte, aber im Allgemeinen positive Ergebnisse hinsichtlich des wahrgenommenen Nutzens:

• Hilfreichkeit: 66,7 % (14/21) des Personals bewerteten das System als mindestens „moderat hilfreich“ für das konzeptionelle Verständnis. 14,3 % bewerteten es als „moderat nicht hilfreich“, und 19,0 % waren neutral.
• Nützlichkeit: 66,7 % (14/21) bewerteten das System als mindestens „moderat nützlich“ für typische Support-Aufgaben.
• Best-Fit-Szenarien: Das Personal identifizierte den stärksten Wert des Systems bei routinemäßigen, diagrammzentrierten Erklärungen (z. B. Visualisierung von Baumtraversierungen, dynamischen Programmierungstabellen und Graph-Algorithmen wie Dijkstra).
• Einschränkungen: Das Personal stellte signifikante Einschränkungen bei der Handhabung fortgeschrittener Themen fest, die eine tiefe Detailtiefe erfordern, oder bei der Diagnose spezifischer, subtiler Fehlvorstellungen von Studierenden, die in einer breit plausiblen KI-Antwort maskiert sein könnten. 33,3 % der Teilnehmer bewerteten das System in bestimmten Szenarien als neutral oder nicht hilfreich/nützlich, was das Risiko unterstreicht, dass die KI die spezifische Ursache der Verwirrung eines Studierenden zu übersehen.

Zentrale Beiträge und Behauptungen
Die Arbeit leistet drei primäre Beiträge als „Innovative Practice“-Paper:

1. Instruktionale Praxis: Sie präsentiert einen replizierbaren Rahmen für supervidierte, diagrammfokussierte KI-Unterstützung in frühen Informatikkursen und bewegt sich damit über textbasierte KI-Interaktionen hinaus.
2. Designmuster: Sie artikuliert ein einsetzbares Designmuster, bei dem Prompt-Level-Leitplanken, strukturierte Diagramm-Ausgabe (Mermaid) und TA-Eskalationsregeln die KI-Unterstützung gemeinsam auf die konzeptionelle Erklärung statt auf die bloße Antwortproduktion beschränken.
3. Expertenvalidierung: Sie liefert Daten aus der Expertenevaluation, die die „Best-Fit“-Anwendungen (routinemäßige konzeptionelle Visualisierung) und die Grenzbedingungen (nuancierte Diagnose, fortgeschrittene Themen) dieses Ansatzes identifizieren.

Bedeutung und Bescheidenheit der Ansprüche
Die Autoren positionieren BoilerSketch nicht als Ersatz für menschliche Lehre, sondern als eine glaubwürdige First-Response-Ebene für routinemäßige, diagramm-geeignete Fragen. Die Bedeutung liegt darin, zu zeigen, dass KI-Support in der frühen Informatik instruktional glaubwürdiger wird, wenn er:

• Eng gefasst ist auf konzeptionelle Erklärung.
• Strukturell beschränkt ist durch strukturierte Ausgabe (Mermaid) statt freier Generierung.
• Eingebettet ist in klare Eskalationsprotokolle an das Lehrpersonal.

Die Arbeit beansprucht ausdrücklich bescheiden, dass sie keine Lernzuwächse der Studierenden, eine umfassende Korrektheit über alle Themen oder eine Reduzierung der Wartezeiten in Sprechstunden nachweist. Stattdessen bietet sie ein konkretes Modell, um die konzeptionelle Unterstützung zu erweitieren und gleichzeitig die instruktionale Kontrolle und die akademische Integrität zu bewahren. Die Autoren argumentieren, dass der „Prompt-as-Policy“-Ansatz es ermöglicht, Kurswerte (wie akademische Integrität und konzeptionellen Fokus) direkt in das Systemverhalten zu übersetzen, wodurch der Prompt selbst zu einem pädagogischen Design-Artefakt wird.