BoilerSketch: A TA-Supervised, Diagram-First GenAI Practice for Structured Diagrams in CS1/Early CS2

Résumé Technique : BoilerSketch

Énoncé du Problème
Les cours d'introduction à l'informatique de grande envergure (CS1 et début de CS2) font face à un goulot d'étranglement en matière de soutien lors des travaux pratiques et des heures de permanence. Bien que les étudiants aient besoin d'une assistance rapide et individualisée, beaucoup de leurs questions — particulièrement celles impliquant des traces de récursion, des parcours d'arbres, de l'aliasing de pointeurs et des tables de programmation dynamique — sont mieux répondues par des diagrammes visuels plutôt que par du texte. Les outils de tutorat par IA existants dans l'enseignement de l'informatique sont principalement axés sur le texte ou le code ; ils génèrent des exercices, expliquent du code ou débuggent via le dialogue, mais ne parviennent pas à produire des visuels précis et pédagogiquement utiles. À l'inverse, les systèmes classiques de visualisation de programmes offrent de solides représentations visuelles, mais sont rarement conversationnels, multimodaux ou intégrés dans un flux de travail de soutien supervisé. Cela crée une lacune entre les systèmes qui visualisent le comportement d'un programme et ceux qui en discutent, laissant apparaître le besoin d'un outil de soutien par IA « axé sur le diagramme » qui soit explicitement contraint à l'explication conceptuelle et situé sous supervision humaine.

Méthodologie et Conception du Système
Les auteurs présentent BoilerSketch, une pratique de génération IA axée sur le diagramme et supervisée par des assistants d'enseignement (TA), conçue pour le soutien précoce en informatique. Le système n'est pas un tuteur autonome, mais une pratique pédagogique encadrée comprenant quatre composantes centrales :

1. Interface de Tablette à Double Panneau : Les étudiants interagissent via une tablette supportant à la fois un chat en langage naturel et un tableau blanc compatible avec le stylet. Les étudiants peuvent soumettre des questions textuelles, esquisser des structures ou des traces, ou télécharger des images de diagrammes dessinés à la main. Le système supporte un dialogue visuel-textuel itératif et bidirectionnel.
2. Architecture « Prompt-as-Policy » (Le Prompt comme Politique) : Le système emploie une stratégie de prompting à deux couches pour imposer des limites pédagogiques.
   • Prompt d'Instruction de Base : Définit le rôle du modèle comme un assistant d'enseignement concis, interdisant le code exécutable, le débogage direct et les plaintes concernant le cours. Il impose une focalisation sur le décodage conceptuel et la résolution de problèmes indépendante.
   • Sous-prompt de Visualisation : Invoqué uniquement lorsqu'une explication visuelle est justifiée, ce prompt contraint le modèle à générer une syntaxe de diagramme Mermaid structurée plutôt que des images libres.
3. Pipeline de Rendu Structuré : Pour garantir la fiabilité et l'inspectabilité, le système ne génère pas d'images brutes. Au lieu de cela, il extrait le bloc de code Mermaid de la réponse du modèle, le valide, et le rend côté serveur avant de l'afficher à l'étudiant. Cela garantit que la sortie est stable, prévisible et facilement révisable par le personnel.
4. Supervision Humaine dans la Boucle : Les assistants d'enseignement (TA) agissent comme des superviseurs responsables. Ils surveillent plusieurs sessions et interviennent lorsque les réponses nécessitent une correction, un approfondissement ou une escalade vers une aide en direct. L'IA fournit un artefact de « premier passage », que le TA peut accepter, étendre ou rejeter.

Méthode d'Évaluation
L'article rapporte une évaluation experte menée au printemps 2025 auprès de 21 membres du personnel pédagogique (TA et un spécialiste pédagogique) de l'unité CS251 (Structures de Données et Algorithmes) de l'Université Purdue.

• Procédure : Les participants ont utilisé une tablette Android avec BoilerSketch lors d'une session pratique de 45 minutes. Ils ont interagi avec le système comme s'ils étaient des étudiants, soumettant des prompts conceptuels représentatifs (ex: traces de récursion, parcours de graphes) et des questions auto-générées.
• Métriques : À la suite de la session, les participants ont rempli un sondage post-utilisation évaluant l'utilité perçue du système pour la compréhension conceptuelle et son utilité pour les tâches de soutien typiques à l'aide d'échelles ordinales. Des commentaires qualitatifs et des interactions illustratives ont également été collectés pour identifier les conditions limites.

Résultats
L'évaluation a produit des résultats mitigés mais généralement positifs concernant l'utilité perçue :

• Utilité (Aide) : 66,7 % (14/21) du personnel a jugé le système au moins « modérément utile » pour la compréhension conceptuelle. 14,3 % l'ont jugé « modérément non utile » et 19,0 % étaient neutres.
• Utilité (Usage) : 66,7 % (14/21) ont jugé le système au moins « modérément utile » pour les tâches de soutien typiques.
• Meilleurs Scénarios d'Usage : Le personnel a identifié la plus grande valeur du système dans les explications routinières centrées sur les diagrammes (ex: visualisation de parcours d'arbres, tables de programmation dynamique et algorithmes de graphes comme Dijkstra).
• Limites : Le personnel a noté des limitations significatives dans la capacité du système à traiter des sujets avancés nécessitant une grande profondeur ou à diagnostiquer des erreurs de compréhension spécifiques et subtiles de l'étudiant qui pourraient être masquées par une réponse de l'IA globalement plausible. 33,3 % des participants ont jugé le système neutre ou non utile/utile pour certains scénarios, soulignant le risque que l'IA passe à côté de la racine spécifique de la confusion de l'étudiant.

Contributions Clés et Revendications
L'article présente trois contributions principales en tant qu'article de « pratique innovante » :

1. Pratique Pédagogique : Il présente un cadre reproductible pour un soutien par IA supervisé et centré sur le diagramme dans les cours d'informatique de niveau débutant, allant au-delà des interactions par IA axées sur le texte.
2. Modèle de Conception (Design Pattern) : Il articule un modèle déployable où les garde-fous au niveau du prompt, le rendu de diagrammes structurés (Mermaid) et les règles d'escalade par les TA lient conjointement l'assistance de l'IA à l'explication conceptuelle plutôt qu'à la production de réponses.
3. Validation par les Experts : Il fournit des données d'évaluation par des experts identifiant les « meilleurs usages » (visualisation conceptuelle de routine) et les conditions limites (diagnostic nuancé, sujets avancés) pour cette approche.

Signification et Modestie des Revendications
Les auteurs positionnent BoilerSketch non pas comme un remplacement de l'instruction humaine, mais comme une couche de première réponse crédible pour les questions de routine aptes aux diagrammes. La signification réside dans la démonstration que le soutien par IA en informatique précoère devient plus crédible sur le plan pédagogique lorsqu'il est :

• Étroitement délimité à l'explication conceptuelle.
• Structurellement contraint via une sortie structurée (Mermaid) plutôt qu'une génération libre.
• Intégré dans des protocoles d'escalade clairs vers le personnel humain.

L'article revendique explicitement et modestement qu'il ne cherche pas à établir les gains d'apprentissage des étudiants, la correction complète sur tous les sujets, ou la réduction des temps d'attente lors des heures de permanence. Au lieu de cela, il offre un modèle concret pour étendre le soutien conceptuel tout en préservant le contrôle pédagogique et l'intégrité académique. Les auteurs soutiennent que l'approche « prompt-as-policy » permet de traduire directement les valeurs du cours (telles que l'intégrité académique et la focalisation conceptuelle) en comportement du système, faisant du prompt lui-même un artefact de conception pédagogique.