BoilerSketch: A TA-Supervised, Diagram-First GenAI Practice for Structured Diagrams in CS1/Early CS2

Sintesi Tecnica: BoilerSketch

Problematica
I corsi introduttivi di informatica di grandi dimensioni (CS1 e l'inizio di CS2) affrontano un collo di bottiglia nel supporto durante i laboratori e gli orari di ricevimento. Sebbene gli studenti richiedano assistenza tempestiva e individualizzata, molte delle loro domande — in particolare quelle che riguardano tracce di ricorsione, attraversamenti di alberi, aliasing di puntatori e tabelle di programmazione dinamica — sono meglio spiegate con diagrammi visivi piuttosto che con il testo. Gli strumenti di tutoring basati su IA esistenti nell'educazione informatica sono prevalentemente orientati al testo o al codice; generano esercizi, spiegano il codice o effettuano il debugging tramite dialogo, ma mancano della capacità di produrre visualizzazioni accurate e pedagogicamente utili. Al contrario, i classici sistemi di visualizzazione dei programmi offrono rappresentazioni visive forti, ma raramente sono conversazionali, multimodali o integrati all'interno di un flusso di lavoro di supporto supervisionato. Ciò crea una lacuna tra i sistemi che visualizzano il comportamento del programma e i sistemi che lo discutono, lasciando la necessità di uno strumento di supporto IA "orientato al diagramma" che sia esplicitamente vincolato alla spiegazione concettuale e situato sotto la supervisione umana.

Metodologia e Progettazione del Sistema
Gli autori presentano BoilerSketch, una pratica di apprendimento tramite GenAI supervisionata dai TA (Assistenti all'Insegnamento) e orientata ai diagrammi per il supporto iniziale in informatica. Il sistema non è un tutor autonomo, ma una pratica didattica delimitata composta da quattro componenti principali:

1. Interfaccia Tablet a Doppio Pannello: Gli studenti interagiscono tramite un tablet che supporta sia la chat in linguaggio naturale sia una lavagna utilizzabile con penna. Gli studenti possono inviare domande testuali, disegnare strutture o tracce, o caricare immagini di diagrammi disegnati a mano. Il sistema supporta un dialogo visivo-testuale iterativo e bidirezionale.
2. Architettura Prompt-as-Policy (Il Prompt come Politica): Il sistema impiega una strategia di prompting a due livelli per imporre confini pedagogici.
   • Base Instructional Prompt (Prompt Istruzionale di Base): Definisce il ruolo del modello come un assistente alla didattica conciso, vietando l'esecuzione di codice, il debugging diretto e le lamentele sul corso. Impone un focus sulla scomposizione concettuale e sulla risoluzione indipendente dei problemi.
   • Visualization Subprompt (Sotto-prompt di Visualizzazione): Invocato solo quando una spiegazione visiva è giustificata, questo prompt vincola il modello a generare sintassi strutturata per diagrammi Mermaid anziché immagini libere.
3. Pipeline di Rendering Strutturato: Per garantire affidabilità e ispezionabilità, il sistema non genera immagini grezze. Inveve, estrae il blocco di codice Mermaid dalla risposta del modello, lo valida e lo renderizza lato server prima di mostrarlo allo studente. Ciò assicura che l'output sia stabile, prevedibile e facilmente revisionabile dal personale.
4. Supervisione Human-in-the-Loop (Uomo nel Ciclo): I Teaching Assistants (TA) agiscono come supervisori responsabili. Monitorano più sessioni e intervengono quando le risposte richiedono correzioni, approfondimenti o l'escalation verso un aiuto dal vivo. L'IA fornisce un artefatto di "primo passaggio", che il TA può accettare, estendere o rifiutare.

Metodo di Valutazione
L'articolo riporta una valutazione esperta condotta nella primavera del 2025 con 21 membri del personale didattico (TA e uno specialista didattico) del corso CS251 (Data Structures and Algorithms) della Purdue University.

• Procedura: I partecipanti hanno utilizzato un tablet Android con BoilerSketch per una sessione pratica di 45 minuti. Hanno interagito con il sistema come se fossero studenti, inviando prompt concettuali rappresentativi (ad esempio, tracce di ricorsione, attraversamenti di grafi) e domande generate autonomamente.
• Metriche: Al termine della sessione, i partecipanti hanno completato un sondaggio post-utilizzo valutando l'utilità percepita del sistema per la comprensione concettuale e la sua utilità per i tipici compiti di supporto utilizzando scale ordinali. Il feedback qualitativo e le interazioni illustrative sono stati raccolti per identificare i limiti operativi.

Risultati
La valutazione ha prodotto risultati contrastanti ma generalmente positivi riguardo l'utilità percepita:

• Utilità (Helpfulness): Il 66,7% (14/21) del personale ha valutato il sistema come almeno "moderatamente utile" per la comprensione concettuale. Il 14,3% lo ha valutato come "moderatamente non utile" e il 19,0% è rimasto neutrale.
• Utilità (Usefulness): Il 66,7% (14/21) ha valutato il sistema come almeno "moderatamente utile" per i tipici compiti di supporto.
• Scenari di Migliore Accoppiamento: Il personale ha identificato il valore più forte del sistema nelle spiegazioni di routine orientate ai diagrammi (ad esempio, visualizzazione di attraversamenti di alberi, tabelle di programmazione dinamica e algoritmi di grafi come Dijkstra).
• Limitazioni: Il personale ha notato limitazioni significative nella capacità del sistema di gestire argomenti avanzati che richiedono una profondità maggiore o di diagnosticare specifiche e sottili misconcezioni degli studenti che potrebbero essere mascherate in una risposta dell'IA plausibile ma generica. Il 33,3% dei partecipanti ha valutato il sistema come neutrale o non utile/utile in determinati scenari, evidenziando il rischio che l'IA possa mancare la radice specifica della confusione dello studente.

Contributi Principali e Rivendicazioni
L'articolo presenta tre contributi principali come "paper di pratica innovativa":

1. Pratica Didattica: Presenta un framework replicabile per il supporto IA supervisionato e orientato ai diagrammi nei corsi iniziali di informatica, andando oltre le interazioni IA basate primariamente sul testo.
2. Design Pattern: Articola un modello di design implementabile dove i guardrail a livello di prompt, il rendering di diagrammi strutturati (Mermaid) e le regole di escalation dei TA delimitano congiuntamente l'assistenza IA alla spiegazione concettuale piuttosto che alla produzione di risposte.
3. Validazione Esperta: Fornisce dati di valutazione esperta che identificano i "migliori utilizzi" (visualizzazione concettuale di routine) e i limiti operativi (diagnosi sfumata, argomenti avanzati) di questo approccio.

Significatività e Modestia delle Rivendicazioni
Gli autori posizionano BoilerSketch non come un sostituto dell'istruzione umana, ma come uno strato di prima risposta credibile per domande di routine che si prestano alla rappresentazione tramite diagrammi. La significatività risiede nel dimostrare che il supporto IA nell'informatica iniziale diventa più credibile dal punto di vista didattico quando è:

• Strettamente delimitato alla spiegazione concettuale.
• Strutturalmente vincolato tramite output strutturato (Mermaid) anziché generazione libera.
• Integrato all'interno di chiari protocolli di escalation al personale umano.

L'articolo rivendica esplicitamente e con modestia che esso non stabilisce i guadagni di apprendimento degli studenti, la completezza della correttezza in tutti gli argomenti o le riduzioni dei tempi di attesa durante gli orari di ricevimento. Inveve, offre un modello concreto per espandere il supporto concettuale preservando il controllo didattico e l'integrità accademica. Gli autori sostengono che l'approccio "prompt-as-policy" permette ai valori del corso (come l'integrità accademica e il focus concettuale) di essere tradotti direttamente nel comportamento del sistema, rendendo il prompt stesso un artefatto di design pedagogico.