BoilerSketch: A TA-Supervised, Diagram-First GenAI Practice for Structured Diagrams in CS1/Early CS2

Resumo Técnico: BoilerSketch

Definição do Problema
Disciplinas introdutórias de computação de grande escala (CS1 e início de CS2) enfrentam um gargalo de suporte durante laboratórios e horários de monitoria. Embora os alunos necessitem de assistência individualizada e oportuna, muitos de seus questionamentos — particularmente aqueles envolvendo rastreios de recursão, travessias de árvores, aliasing de ponteiros e tabelas de programação dinâmica — são melhor respondidos com diagramas visuais do que com texto. As ferramentas de tutoria de IA existentes para o ensino de computação são predominantemente focadas em texto ou código; elas geram exercícios, explicam código ou depuram através de diálogo, mas carecem da capacidade de produzir visuais precisos e pedagogicamente úteis. Por outro lado, os sistemas clássicos de visualização de programas oferecem representações visuais fortes, mas raramente são conversacionais, multimodais ou incorporados em um fluxo de trabalho de ajuda supervisionada. Isso cria uma lacuna entre sistemas que visualizam o comportamento do programa e sistemas que o discutem, gerando a necessidade de uma ferramenta de suporte de IA "focada em diagramas" que seja explicitamente restrita à explicação conceitual e situada sob supervisão humana.

Metodologia e Design do Sistema
Os autores apresentam o BoilerSketch, uma prática de GenAI orientada por diagramas e supervisionada por TAs (assistentes de ensino) para suporte inicial em computação. O sistema não é um tutor autônomo, mas uma prática instrucional delimitada que compreende quatro componentes principais:

1. Interface de Tablet de Duas Telas: Os alunos interagem via um tablet que suporta tanto chat de linguagem natural quanto um quadro branco habilitado para caneta. Os alunos podem enviar perguntas textuais, esboçar estruturas ou rastreios, ou fazer upload de imagens de diagramas desenhados à mão. O sistema suporta um diálogo visual-textual iterativo e bidirecional.
2. Arquitetura de Prompt-como-Política: O sistema utiliza uma estratégia de prompting de duas camadas para impor limites pedagógicos.
   • Prompt Instrucional Base: Define o papel do modelo como um assistente de ensino conciso, proibindo código executável, depuração direta e reclamações sobre o curso. Ele exige foco no desempacotamento conceitual e na resolução independente de problemas.
   • Subprompt de Visualização: Invocado apenas quando uma explicação visual é necessária, este prompt restringe o modelo a gerar sintaxe de diagrama Mermaid estruturada, em vez de imagens de forma livre.
3. Pipeline de Renderização Estruturada: Para garantir confiabilidade e inspetabilidade, o sistema não gera imagens brutas. Em vez disso, ele extrai o bloco de código Mermaid da resposta do modelo, valida-o e o renderiza no lado do servidor antes de exibi-lo ao aluno. Isso garante que a saída seja estável, previsível e facilmente revisável pela equipe.
4. Supervisão com Humano no Ciclo (Human-in-the-Loop): Os Assistentes de Ensino (TAs) atuam como supervisores responsáveis. Eles monitoram múltiplas sessões e intervêm quando as respostas exigem correção, investigação mais profunda ou escalonamento para ajuda ao vivo. A IA fornece um artefato de "primeira passagem", que o TA pode aceitar, estender ou rejeitar.

Método de Avaliação
O artigo relata uma avaliação de especialistas realizada no Spring 2025 com 21 membros do corpo docente (TAs e um especialista instrucional) da disciplina CS251 (Estruturas de Dados e Algoritmos) da Purdue University.

• Procedimento: Os participantes utilizaram um tablet Android com o BoilerSketch durante uma sessão prática de 45 minutos. Eles interagiram com o sistema como se fossem alunos, enviando prompts conceituais representativos (ex: rastreios de recursão, travessias de grafos) e perguntas autogeradas.
• Métricas: Após a sessão, os participantes completaram uma pesquisa pós-uso classificando a utilidade percebida do sistema para a compreensão conceitual e sua utilidade para tarefas típicas de suporte usando escalas ordinais. Feedback qualitativo e interações ilustrativas também foram coletados para identificar condições limites.

Resultados
A avaliação gerou resultados mistos, porém geralmente positivos, em relação à utilidade percebida:

• Ajuda: 66,7% (14/21) dos funcionários classificaram o sistema como pelo menos "moderadamente útil" para a compreensão conceitual. 14,3% classificaram como "moderadamente não útil" e 19,0% foram neutros.
• Utilidade: 66,7% (14/21) classificaram o sistema como pelo menos "moderadamente útil" para tarefas típicas de suporte.
• Cenários de Melhor Ajuste: O pessoal identificou o valor mais forte do sistema em explicações rotineiras centradas em diagramas (ex: visualizar travessias de árvores, tabelas de programação dinâmica e algoritmos de grafos como Dijkstra).
• Limitações: O pessoal observou limitações significativas na capacidade do sistema de lidar com tópicos avançados que exigem profundidade ou em diagnosticar equívocos específicos e sutis dos alunos que podem ser mascarados em uma resposta de IA amplamente plausível. 33,3% dos participantes classificaram o sistema como neutro ou não útil/útil para certos cenários, destacando o risco de a IA perder a raiz específica da confusão do aluno.

Principais Contribuições e Alegações
O artigo apresenta três contribuições principais como um artigo de "prática inovadora":

1. Prática Instrucional: Apresenta um framework replicável para suporte de IA supervisionado e centrado em diagramas em cursos iniciais de computação, indo além das interações de IA focadas em texto.
2. Padrão de Design: Articula um padrão de design implantável onde salvaguardas de nível de prompt, renderização de diagramas estruturados (Mermaid) e regras de escalonamento de TA atuam conjuntamente para limitar a assistência de IA à explicação conceitual em vez da produção de respostas.
3. Validação por Especialistas: Fornece dados de avaliação de especialistas identificando os "melhores usos" (visualização conceitual rotineira) e as condições limites (diagnóstico matizado, tópicos avançados) para esta abordagem.

Significância e Modéstia das Alegações
Os autores posicionam o BoilerSketch não como um substituto para a instrução humana, mas como uma camada de primeira resposta credível para perguntas rotineiras passíveis de diagramação. A significância reside em demonstrar que o suporte de IA no início da computação torna-se instrucionalmente mais credível quando é:

• Estritamente delimitado à explicação conceitual.
• Estruturalmente restrito via saída estruturada (Mermaid) em vez de geração de forma livre.
• Incorporado dentro de protocolos claros de escalonamento para o corpo docente.

O artigo alega explicitamente, de forma modesta, que não estabelece ganhos de aprendizagem dos alunos, correção abrangente em todos os tópicos ou reduções nos tempos de espera de monitoria. Em vez disso, oferece um modelo concreto para expandir o suporte conceitual preservando o controle instrucional e a integridade acadêmica. Os autores argumentam que a abordagem "prompt-como-política" permite que os valores do curso (como integridade acadêmica e foco conceitual) sejam traduzidos diretamente no comportamento do sistema, tornando o próprio prompt um artefato de design pedagógico.