BoilerSketch: A TA-Supervised, Diagram-First GenAI Practice for Structured Diagrams in CS1/Early CS2

Resumen Técnico: BoilerSketch

Planteamiento del Problema
Los cursos introductorios de computación de gran escala (CS1 y principios de CS2) enfrentan un cuello de botella en el soporte durante las sesiones de laboratorio y horas de oficina. Aunque los estudiantes requieren asistencia oportuna e individualizada, muchas de sus preguntas —particularmente aquellas que involucran trazas de recursión, recorridos de árboles, alias de punteros y tablas de programación dinámica— se responden mejor con diagramas visuales en lugar de texto. Las herramientas de tutoría de IA existentes en la educación computacional son predominantemente orientadas al texto o al código; generan ejercicios, explican código o depuran mediante el diálogo, pero carecen de la capacidad de producir visuales precisos y pedagógicamente útiles. Por el contrario, los sistemas clásicos de visualización de programas ofrecen representaciones visuales sólidas, pero rara vez son conversacionales, multimodales o están integrados dentro de un flujo de trabajo de ayuda supervisado. Esto crea una brecha entre los sistemas que visualizan el comportamiento del programa y los sistemas que lo discuten, dejando la necesidad de una herramienta de soporte de IA "centrada en diagramas" que esté explícitamente limitada a la explicación conceptual y situada bajo supervisión humana.

Metodología y Diseño del Sistema
Los autores presentan BoolerSketch, una práctica de IA generativa centrada en diagramas y supervisada por asistentes de enseñanza (TA) para el soporte temprano en computación. El sistema no es un tutor autónomo, sino una práctica instructiva delimitada que consta de cuatro componentes principales:

1. Interfaz de Tableta de Doble Panel: Los estudiantes interactúan a través de una tableta que soporta tanto chat de lenguaje natural como una pizarra habilitada para lápiz óptico. Los estudiantes pueden enviar preguntas de texto, esbozar estructuras o trazas, o cargar imágenes de diagramas dibujados a mano. El sistema permite un diálogo visual-textual iterativo y bidireccional.
2. Arquitectura de Prompt como Política (Prompt-as-Policy): El sistema emplea una estrategia de prompting de dos capas para imponer límites pedagógicos.
   • Prompt Instructivo Base: Define el rol del modelo como un asistente de enseñanza conciso, prohibiendo el código ejecutable, la depuración directa y las quejas sobre el curso. Obliga a un enfoque en el despliegue conceptual y la resolución independiente de problemas.
   • Subprompt de Visualización: Se invoca solo cuando una explicación visual es necesaria; este prompt restringe al modelo a generar sintaxis de diagramas Mermaid estructurada en lugar de imágenes de forma libre.
3. Pipeline de Renderizado Estructurado: Para garantizar la confiabilidad e inspeccionabilidad, el sistema no genera imágenes puras. En su lugar, extrae el bloque de código Mermaid de la respuesta del modelo, lo valida y lo renderiza en el servidor antes de mostrarlo al estudiante. Esto asegura que la salida sea estable, predecible y fácilmente revisable por el personal.
4. Supervisión con Humano en el Bucle (Human-in-the-Loop): Los Asistentes de Enseñanza (TAs) actúan como supervisores responsables. Monitorean múltiples sesiones e intervienen cuando las respuestas requieren corrección, profundización o escalamiento a ayuda en vivo. La IA proporciona un artefacto de "primer paso", que el TA puede aceptar, extender o rechazar.

Método de Evaluación
El artículo reporta una evaluación de expertos realizada en la primavera de 2025 con 21 miembros del personal instructivo (TAs y un especialista instructivo) de la clase CS251 (Estructuras de Datos y Algoritmos) de la Universidad de Purdue.

• Procedimiento: Los participantes utilizaron una tableta Android con BoilerSketch durante una sesión práctica de 45 minutos. Interactuaron con el sistema como si fueran estudiantes, enviando prompts conceptuales representativos (por ejemplo, trazas de recursión, recorridos de grafos) y preguntas autogeneradas.
• Métricas: Tras la sesión, los participantes completaron una encuesta de uso calificando la utilidad percibida del sistema para la comprensión conceptual y su utilidad para tareas típicas de soporte utilizando escalas ordinales. También se recopilaron comentarios cualitativos e interacciones ilustrativas para identificar condiciones límite.

Resultados
La evaluación arrojó resultados mixtos pero generalmente positivos respecto a la utilidad percibida:

• Ayuda: El 66.7% (14/21) del personal calificó el sistema como al menos "moderadamente útil" para la comprensión conceptual. El 14.3% lo calificó como "moderadamente no útil" y el 19.0% se mantuvo neutral.
• Utilidad: El 66.7% (14/21) lo calificó como al menos "moderadamente útil" para las tareas típicas de soporte.
• Escenarios de Mejor Ajuste: El personal identificó el valor más fuerte del sistema en explicaciones rutinarias centradas en diagramas (por ejemplo, visualizar recorridos de árboles, tablas de programación dinámica y algoritmos de grafos como Dijkstra).
• Limitaciones: El personal señaló limitaciones significativas en la capacidad del sistema para manejar temas avanzados que requieren una profundidad mayor o para diagnosticar conceptos erróneos específicos y sutiles de los estudiantes que podrían quedar enmascarados en una respuesta de IA ampliamente plausible. El 33.3% de los participantes calificó el sistema como neutral o no útil/útil para ciertos escenarios, resaltando el riesgo de que la IA pase por alto la raíz específica de la confusión del estudiante.

Contribuciones Clave y Reivindicaciones
El artículo presenta tres contribuciones principales como un documento de "práctica innovadora":

1. Práctica Instructiva: Presenta un marco replicable para el soporte de IA supervisado y centrado en diagramas en cursos tempranos de computación, yendo más allá de las interacciones de IA centradas en el texto.
2. Patrón de Diseño: Articula un patrón de diseño desplegable donde las salvaguardas a nivel de prompt, el renderizado de diagramas estructurados (Mermaid) y las reglas de escalamiento de los TA delimitan conjuntamente la asistencia de la IA hacia la explicación conceptual en lugar de la producción de respuestas.
3. Validación de Expertos: Provee datos de evaluación de expertos que identifican los usos de "mejor ajuste" (visualización conceptual rutinaria) y las condiciones límite (diagnóstico matizado, temas avanzados) para este enfoque.

Significancia y Modestia de las Reivindicaciones
Los autores posicionan a BoilerSketch no como un reemplazo de la instrucción humana, sino como una capa de primera respuesta creíble para preguntas rutinarias susceptibles de ser diagramadas. La significancia radica en demostrar que el soporte de IA en la computación temprana se vuelve más instructivamente creíble cuando es:

• Estrechamente delimitado a la explicación conceptual.
• Estructuralmente restringido mediante salida estructurada (Mermaid) en lugar de generación de forma libre.
• Integrado dentro de protocolos claros de escalamiento al personal humano.

El artículo afirma explícitamente de manera modesta que no establece ganancias de aprendizaje estudiantil, integridad de la corrección integral en todos los temas, ni reducciones en los tiempos de espera de las horas de oficina. En su lugar, ofrece un modelo concreto para expandir el soporte conceptual preservando el control instructivo y la integridad académica. Los autores argumentan que el enfoque de "prompt como política" permite que los valores del curso (como la integridad académica y el enfoque conceptual) se traduzcan directamente en el comportamiento del sistema, haciendo que el propio prompt sea un artefacto de diseño pedagógico.