Teaching Prompt-Based Programming with LLMs: A 45-Minute Lesson with Guided Practice for End-User Programmers

Resumen Técnico: Enseñanza de la Programación Basada en Prompts con LLMs

Planteamiento del Problema
El surgimiento de los Modelos de Lenguaje de Gran Escala (LLMs) ha introducido la "programación basada en prompts", una modalidad donde los usuarios expresan objetivos computacionales en lenguaje natural en lugar de escribir código tradicional. Si bien esto reduce las barras de entrada para los programadores de usuario final (estudiantes de carreras no relacionadas con la informática o aquellos que usan el código como un medio para un fin), no elimina la necesidad de habilidades fundamentales de pensamiento computacional. La investigación indica que los estudiantes, particularmente los novatos, tienen dificultades para comunicar sus intenciones con claridad a los LLMs, produciendo a menudo prompts vagos o insuficientemente detallados, careciendo de estrategias de depuración y confundiendo el vocabulario técnico con términos coloquiales. Existe una brecha crítica en la comprensión de cómo integrar la instrucción explícita sobre el uso de prompts en los currículos actuales, los cuales están limitados en tiempo. Específicamente, no está claro cuánto tiempo de instrucción se requiere para producir mejoras significativas en la capacidad de uso de prompts y en la autoeficacia.

Metodología
Los autores llevaron a cabo un estudio controlado aleatorizado (RCT) con 55 estudiantes de primer año de ingeniería en una universidad. El estudio comparó una intervención experimental de 45 minutos contra una condición de control de "negocios como siempre" (business-as-usual) de igual duración.

• Condición Experimental: Una lección de 45 minutos sobre programación basada en prompts combinada con práctica guiada. La lección utilizó un enfoque de "diseño hacia atrás" (backward design), centrándose en cinco objetivos de aprendizaje derivados del marco "Golfo de la Visualización" (Gulf of Envisioning): especificar la estructura de la función, describir la transformación de datos (mapeo, filtrado, reducción), expresar lógica condicional, manejar casos límite y depurar prompts fallidos. Se enseñó a los estudiantes una plantilla de prompt reutilizable y practicaron con tres problemas de Promptly (tareas que requieren que los estudiantes infieran el comportamiento de una función a partir de pares de entrada/salida y generen un prompt para que un LLM la resuelva).
• Condición de Control: Una lección de 45 minutos sobre el rastreo de código (una actividad estándar de laboratorio de introducción a la computación). Este grupo recibió instrucción sobre la sintaxis de Python, flujo de control y rastreo de código usando Python Tutor, practicando en tres problemas equivalentes centrados en leer y comprender el código en lugar de escribir prompts.
• Diseño: Ambos grupos completaron pre-tests y post-tests consistentes en 8 problemas de Promptly y encuestas para medir la experiencia previa en programación y la autoeficacia en el uso de prompts. El estudio utilizó modelos lineales de efectos mixtos para analizar los datos, contabilizando las medidas repetidas y la agrupación por sesión.

Contribuciones Clave

1. Una Intervención Ligera: Los autores presentan un plan de lección de 45 minutos, disponible públicamente, con práctica guiada, diseñado para enseñar estrategias de prompting específicas de la computación (por ejemplo, plantillas estructuradas, patrones de transformación de datos) sin requerir conocimientos previos de ciencias de la computación.
2. Evidencia Empírica sobre Intervenciones Breves: El estudio proporciona datos experimentales controlados sobre la eficacia de una intervención breve. Demuestra que una sola sesión de 45 minutos puede aumentar significativamente la autoeficacia de los estudiantes en el uso de prompts y producir mejoras significativas, aunque estadísticamente modestas, en el desempeño de tareas en comparación con las actividades estándar de rastreo de código.

Resultados

• Desempeño en las Tareas (RQ1): El grupo experimental mostró mayores ganancias promedio en la resolución de problemas de Promptly de pre-test a post-test en comparación con el grupo de control (+10.8 puntos porcentuales frente a +1.1 puntos porcentuales). Sin embargo, esta diferencia no fue estadísticamente significativa al nivel $\alpha=0.05$ ($p=0.056$). El tamaño del efecto fue comparable al impacto de una desviación estándar completa de la experiencia previa en programación.
• Autoeficacia en el Uso de Prompts (RQ2): El grupo experimental demostró un aumento estadísticamente significativo en la autoeficacia de prompting en comparación con el grupo de control (+35.4 puntos porcentuales frente a +21.9 puntos porcentuales; $p=0.029$).
• Predictores: La experiencia previa en programación fue un predictor significativo del desempeño en las tareas en ambas condiciones.

Significancia y Reivindicaciones
El artículo sostiene que una intervención breve y dirigida es probablemente suficiente para mejorar la capacidad de los estudiantes para especificar objetivos computacionales a los LLMs y aumenta significativamente su confianza para hacerlo. Los autores posicionan la programación basada en prompts no como un reemplazo para la instrucción de codificación tradicional, sino como una vía complementaria que puede ofrecer un punto de entrada más accesible para los programadores de usuario final intimidados por la sintaxis.

Sin embargo, los autores mantienen un tono modesto respecto a la magnitud de estas ganancias. Reconocen que, si bien la intervención produjo mejoras significativas, el efecto en el desempeño de las tareas fue pequeño (menos de un problema adicional resuelto en promedio), lo que sugiere que 45 minutos probablemente sea insuficiente para que los estudiantes alcancen la fluidez o el dominio. Los resultados indican que las habilidades de prompting requieren más tiempo y práctica para desarrollarse plenamente. El estudio concluye que, si bien las intervenciones cortas pueden integrarse en los cursos existentes sin una interrupción sustancial, se necesita más investigación para determinar cómo extender estas ganancias a tareas de programación complejas, abiertas y de múltiples pasos.