💻 computer science

A Classroom Study of LLM-Generated Feedback Intervention in Introductory Programming

Este artículo presenta un estudio de aula a gran escala que introduce el conjunto de datos ProgFeed para demostrar que la retroalimentación generada por IA en lenguaje natural mejora significativamente las tasas de finalización de los estudiantes y la convergencia de soluciones en programación introductoria en comparación con la retroalimentación de casos de prueba o la ausencia de retroalimentación, resaltando la importancia crítica de la forma y la validez de la retroalimentación por encima de su mera presencia.

Autores originales: Hasnain Heickal, Andrew Lan

Publicado 2026-06-09

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Hasnain Heickal, Andrew Lan

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás aprendiendo a cocinar una receta nueva y complicada por primera vez. La intentas, y sabe fatal. Necesitas saber por qué falló para poder arreglarlo.

Este artículo trata sobre un gran experimento en un aula de ciencias de la computación donde los estudiantes estaban aprendiendo a "cocinar" (escribir código) usando a un "chef de IA" especial (un Modelo de Lenguaje Grande) para ayudarlos. Los investigadores querían ver qué tipo de "consejo del chef" ayudaba realmente a los estudiantes a arreglar sus platos de la manera más rápida y exitosa.

Aquí está el desglose de lo que hicieron y lo que encontraron, usando analogías simples:

La Configuración: Tres Tipos de Chefs

Los estudiantes fueron asignados aleatoriamente a uno de tres grupos cuando cometían un error en su código:

El Grupo Silencioso (Sin IA): Estos estudiantes solo veían una luz roja que decía "Incorrecto" y una luz verde que decía "Correcto" (como una simple calificación de aprobado o reprobado). Tenían que descubrir el resto por su cuenta.
El Grupo del "Ingrediente Malo" (Retroalimentación de Casos de Prueba): La IA les daba un ejemplo específico de un "ingrediente malo" que causó que el plato fallara. Por ejemplo, si el código debía sumar números, la IA podría decir: "Si pones 5 y 5, obtienes 12 en lugar de 10". Es como mostrarles un ingrediente específico que arruinó la sopa, pero sin decirles cómo arreglarlo.
El Grupo de la "Pista" (Retroalimentación en Lenguaje Natural): La IA les daba una frase corta y amable explicando el problema. Por ejemplo: "Olvidaste decirle a la computadora que sumara los números". Es como un chef susurrando: "Oye, te saltaste un paso en las instrucciones".

Los Resultados: ¿Qué Funcionó Mejor?

1. El Grupo de la "Pista" Ganó
Los estudiantes que recibieron las pistas amables en lenguaje natural tuvieron muchas más probabilidades de lograr que la receta saliera bien, y lo lograron más rápido.

La Analogía: Piensa en el código como un laberinto. Al grupo de la "Pista" se le dio un mapa que decía: "Vas por el camino equivocado; gira a la izquierda aquí". Esto les ayudó a encontrar la salida rápidamente.

2. El Grupo del "Ingrediente Malo" Tuvo Dificultades
Sorprendentemente, darles a los estudiantes un ejemplo específico de lo que salió mal (el grupo del "Ingrediente Malo") no los ayudó mucho en general. De hecho, no obtuvieron mejores resultados que el grupo que no recibió ayuda en absoluto.

La Analogía: Imagina que la IA le entrega al estudiante un trozo de pan tostado quemado y dice: "Esto es por lo que tu desayuno falló". El estudiante mira el pan quemado, pero como son principiantes, no saben cómo evitar que la tostadora queme la siguiente rebanada. Siguieron probando cosas al azar, a menudo cometiendo el mismo error nuevamente.

3. La Calidad del "Ingrediente Malo" Importa
Los investigadores descubrieron que los ejemplos del "Ingrediente Malo" solo eran útiles aproximadamente dos tercios de las veces. A veces, la IA daba un ejemplo que en realidad era erróneo o no tenía sentido. Cuando el ejemplo era correcto, aun así era difícil para los principiantes usarlo de manera efectiva.

La Gran Conclusión

La lección principal de este estudio es que cómo das la retroalimentación importa tanto como dar la retroalimentación.

Las pistas en lenguaje natural actúan como un guía, traduciendo los confusos errores de la computadora a un español sencillo que un principiante pueda entender.
Los ejemplos de datos brutos (como los casos de prueba) son como entregarle a alguien una pieza de motor rota sin un manual. Si el estudiante no sabe ya cómo arreglar motores, la pieza rota solo lo confunde.

Los investigadores concluyeron que, para los principiantes, una explicación simple y clara es mucho más poderosa que un ejemplo técnico complejo. También publicaron todos los datos de este experimento (llamado PROGFEED) para que otros investigadores puedan estudiar cómo aprenden los estudiantes y cómo construir mejores profesores de IA en el futuro.

En resumen: Si estás enseñando a un principiante, no te limites a mostrarle el error; explica por qué sucedió en palabras sencillas. Esa es la clave para ayudarlo a tener éxito.

Resumen Técnico: Un Estudio de Aula sobre la Intervención de Retroalimentación Generada por LLM en Programación Introductoria

Planteamiento del Problema

Si bien los Modelos de Lenguaje de Gran Escala (LLM) se despliegan cada vez más para proporcionar retroalimentación automatizada en cursos de programación introductoria, existe una escasez de evidencia empírica derivada de entornos de aula auténticos que compare diferentes modalidades de retroalimentación. Los conjuntos de datos de programación a gran escala existentes (por ejemplo, CodeNet) a menudo carecen de variación controlada de la retroalimentación, lo que dificulta la distinción de los efectos de la retroalimentación de factores de confusión como la capacidad del estudiante o la dificultad del problema. Por el contrario, los conjuntos de datos longitudinales con ricas trazas de interacción (por ejemplo, Blackbox) suelen carecer de manipulación experimental. Este estudio aborda esta brecha investigando cómo diferentes formas de retroalimentación generada por IA —específicamente pistas en lenguaje natural frente a casos de prueba fallidos— afectan el desempeño de los estudiantes, las trayectorias de aprendizaje y el comportamiento de envío.

Metodología

Los autores llevaron a cabo un estudio de aula aprobado por un IRB durante el semestre de otoño de 2025 en una institución R1 de EE. UU., involucrando a 215 estudiantes que consintieron participar en un curso de Python introductorio.

Diseño Experimental: El estudio utilizó un protocolo aleatorizado donde la retroalimentación se asignaba al nivel de envío para envíos incorrectos en tareas de laboratorio. Los estudiantes fueron asignados aleatoriamente a una de tres condiciones:
1. Grupo 0 (Sin Retroalimentación de IA): Recibía únicamente veredictos de paso/fallo de casos de prueba fijos.
2. Grupo 1 (Retroalimentación de Caso de Prueba Fallido): Recibía un par de entrada-salida generado por IA diseñado para fallar ante la entrega específica del estudiante.
3. Grupo 2 (Retroalimentación en Lenguaje Natural): Recibía una pista concisa en lenguaje natural que identificaba un problema probable, sin sugerencias de código ni casos de prueba.
Generación de Retroalimentación: Toda la retroalimentación fue generada por gpt-4o-mini a través de la API de OpenAI utilizando prompts fijos adaptados a la descripción del problema y al código del estudiante.
Recolección de Datos: El conjunto de datos resultante, PROGFEED, captura 6,693 envíos a través de 17 laboratorios y 43 problemas. Incluye el código fuente, el orden de envío, los resultados de ejecución, las condiciones de retroalimentación y datos temporales.
Análisis: El estudio empleó análisis asociativos (regresión logística y modelos de riesgos proporcionales de Cox) para examinar la dinámica de aprendizaje, dado que la retroalimentación se activaba condicionalmente por envíos incorrectos en lugar de estar totalmente aleatorizada. Las métricas incluyeron el cambio en la tasa de éxito de casos de prueba ( $\Delta$ tasa de éxito), la probabilidad de éxito eventual y el tiempo hacia la corrección (medido en envíos).

Contribuciones Clave

Estudio de Aula Controlado: Un despliegue a gran escala que permite la comparación controlada de las condiciones de lenguaje natural, casos de prueba fallidos y ausencia de retroalimentación de IA en un entorno educativo auténtico.
Conjunto de Datos PROGFEED: Un conjunto de datos longitudinal que vincula trayectorias completas de envío con condiciones de retroalimentación específicas y resultados de ejecución, apoyando un análisis detallado de las dinámicas de aprendizaje.
Análisis Empírico de la Efectividad de la Retroalimentación: Un riguro el análisis estadístico que demuestra cómo la modalidad de retroalimentación influye en las tasas de finalización, la velocidad de convergencia y la calidad de la propia retroalimentación.

Resultados

Dinámicas de Aprendizaje y Desempeño

Dinámicas a Corto Plazo: Las mejoras inmediatas tras la retroalimentación ( $\Delta$ tasa de éxito) no fueron consistentes ni garantizadas en ninguna condición. Los cambios medios fluctuaron cerca de cero, con alta variabilidad en los intentos de envío posteriores.
Éxito Eventual: La retroalimentación en lenguaje natural se asoció significativamente con una mayor probabilidad de que los estudiantes alcanzaran eventualmente una solución correcta. La regresión logística mostró una razón de momios de aproximadamente 2.33 ( $p=0.004$ ) en comparación con la línea base sin IA. La retroalimentación de casos de prueba no mostró una asociación significativa con el éxito eventual ( $p=0.40$ ).
Tiempo hacia la Corrección: El análisis de supervivencia (riesgos proporcionales de Cox) indicó que la retroalimentación en lenguaje natural se asoció con un aumento modesto pero significativo en el riesgo (hazard) de alcanzar la corrección ($HR=1.09, p=0.03$), lo que significa que los estudiantes convergieron a soluciones correctas más rápido. La retroalimentación de casos de prueba mostró un riesgo ligeramente menor ($HR=0.92, p=0.05$), sugiriendo una convergencia más lenta en comparación con la línea base.

Calidad y Validez de la Retroalimentación

Validez de los Casos de Prueba: Solo el 66% de los casos de prueba generados por IA fueron "válidos" (fallan ante el código del estudiante pero pasan la solución de referencia). El 24% fueron falsos positivos (fallan en ambos) y el 10% no tuvieron efecto. Los casos de prueba válidos se correlacionaron con mayores tasas de éxito, pero no redujeron el número de envíos posteriores, lo que sugiere que los estudiantes de nivel introductorio carecen de las habilidades de depuración sistemática para explotar eficientemente los contraejemplos incluso cuando son correctos.
Calidad del Lenguaje Natural: Una evaluación de 442 pistas en lenguaje natural utilizando GPT-4 como juez encontró que el 92.5% fueron etiquetadas como "útiles". Los casos restantes fueron mayoritariamente "vagos" (5.4%) o "incorrectos" (2.0%). Crucialmente, ninguna instancia de retroalimentación reveló explícitamente la solución o eludió el razonamiento del estudiante.

Significado y Reivindicaciones

El artículo argumenta que la forma de la retroalimentación generada por IA es un determinante crítico del impacto pedagógico, no simplemente una elección de diseño superficial.

Carga Cognitiva: La superioridad de las pistas en lenguaje natural se atribuye a una reducción de la carga cognitiva; los aprendices novatos luchan por interpretar fallos de pruebas crudos, y las pistas en lenguaje natural traducen el comportamiento del programa en explicaciones accesibles, bajando la barrera para identificar correcciones.
Calidad vs. Presencia de la Retroalimentación: El estudio enfatiza que evaluar la calidad de la retroalimentación es tan esencial como evaluar su presencia. Los efectos heterogéneos de la retroalimentación de casos de prueba dependen críticamente de la validez, e incluso la retroalimentación válida puede no mejorar la eficiencia si el aprendiz carece de las habilidades de depuración necesarias.
Implicaciones Pedagógicas: Los resultados sugieren que la retroalimentación efectiva puede mejorar la corrección sin necesariamente reducir el número de intentos de envío. Por lo tanto, las evaluaciones de la retroalimentación asistida por IA deben centrarse en las trayectorias de aprendizaje y la calidad de la retroalimentación, en lugar de solo en las tasas de éxito agregadas o los conteos de iteración.

Los autores concluyen que, si bien la retroalimentación en lenguaje natural muestra potencial para mejorar las tasas de finalización y la velocidad de convergencia, el despliegue de la retroalimentación de casos de prueba requiere una consideración cuidadosa de la validez de la retroalimentación y la preparación del aprendiz. El lanzamiento de PROGFEED tiene como objetivo apoyar la investigación adicional sobre las dinámicas de aprendizaje y el despliegue responsable de la IA en la educación.