Exploring the Value of Diverse LLM Explanations in Introductory Programming

Resumen Técnico: Explorando el Valor de las Explicaciones Diversas de LLM en la Programación Introductoria

Planteamiento del Problema
Si bien los Modelos de Lenguaje de Gran Escala (LLM) demuestran la capacidad de generar explicaciones de código que a menudo superan la calidad generada por pares, persiste una brecha crítica en la comprensión de cómo la presentación de múltiples explicaciones con énfasis semánticos intencionalmente distintos afecta a los programadores novatos. La investigación existente ha establecido que los LLM pueden generar formatos diversos, pero no está claro si variar el enfoque conceptual de estas explicaciones (por ejemplo, función, concepto, objetivo) mejora la comprensión de los estudiantes en comparación con las explicaciones genéricas y de propósito general. Basándose en la Teoría de la Variación y en conocimientos de la creatividad computacional, los autores plantean la hipótesis de que exponer a los alumnos a variaciones sistemáticas en el énfasis de la explicación puede ayudarles a discernir las características críticas de los conceptos de programación, profundizando así la comprensión más allá de lo que una única explicación de alta calidad o genérica podría lograr.

Metodología
Los autores llevaron a cabo un estudio de gran escala, entre sujetos, que involucró a 971 estudiantes de primer año de computación matriculados en un curso de C en una gran universidad pública de investigación.

• Diseño Experimental: Los participantes fueron asignados aleatoriamente para recibir explicaciones Genéricas (tres prompts idénticos solicitando un resumen de texto plano) o Diversas (tres prompts distintos dirigidos a dimensiones específicas: función, concepto y objetivo) para dos ejercicios de programación.
• Materiales: Se prepararon tres fragmentos de código (sumArray, randomizeString, countChar), aunque cada estudiante vio solo dos para limitar la carga cognitiva. Las explicaciones fueron generadas mediante GPT-4o.
• Procedimiento: Tras ver las explicaciones de cada fragmento, los estudiantes respondieron:
  1. Una Pregunta de Opción Múltiple (MCQ) que evalúa conceptos centrales.
  2. Una pregunta de Respuesta Abierta (OE) que requiere comparación conceptual o explicación.
  3. Ítems de escala de Likert sobre la utilidad percibida y la carga de información.
  4. Reflexiones abiertas sobre la utilidad y el uso de las explicaciones.
• Análisis:
  • Desempeño: La precisión de las MCQ se analizó cuantitativamente. Las respuestas de las OE se codificaron cualitativamente para su corrección utilizando una rúbrica, estableciendo la fiabilidad inter-evaluador mediante la Kappa de Fleiss ($\kappa = 0.75$).
  • Percepción: Los datos de Likert se analizaron mediante pruebas de Kruskal-Wallis H.
  • Análisis Temático: Las reflexiones abiertas se codificaron siguiendo las directrices de Braun y Clarke, agrupadas en temas compuestos (por ejemplo, "Comprensión Comprometida", "Monitoreo Activo", "Sobrecarga/Frustración").

Resultados Clave

• Desempeño (RQ1):
  • MCQs: La precisión fue consistentemente alta (>87%) en todas las condiciones. Las pruebas de chi-cuadrado no revelaron diferencias estadísticamente significativas entre los grupos de explicaciones diversas y genéricas.
  • Preguntas de Respuesta Abierta (OE): Los estudiantes que recibieron explicaciones diversas mostraron una mejora consistente de aproximadamente un 7.7% en los tres fragmentos de código en comparación con la condición genérica. Sin embargo, al modelarlo mediante regresión logística con ajuste de Bonferroni, el efecto de la condición no alcanzó la significancia estadística ($z = 2.15, p = 0.095$).
• Carga Cognitiva Percibida y Utilidad (RQ2):
  • No hubo diferencias estadísticamente significativas en la utilidad percibida o la carga de información percibida entre los grupos diverso y genérico.
  • Los estudiantes generalmente calificaron la cantidad de información como apropiada (calificaciones medias de ~3.3–3.4 en una escala de 5 puntos), lo que indica que la condición diversa no indujo una sobrecarga de información.
• Reflexiones de los Estudiantes:
  • El análisis temático de las respuestas abiertas indicó que los estudiantes en la condición "Diversa-Diversa" (DD) tenían más probabilidades de reportar "Comprensión Comprometida" y menos probabilidades de reportar "Sobrecarga/Frustración" en comparación con otros grupos, aunque estos patrones no alcanzaron la significancia estadística en las pruebas de chi-cuadrado.
  • El "Uso Estratégico" (usar las explicaciones para ayudar en la lectura del código) fue el tema más común en todas las condiciones.

Contribuciones Clave

1. Investigación Empírica de la Diversidad Semántica: El estudio proporciona una de las primeras pruebas empíricas a gran escala de si variar el énfasis semántico (función vs. concepto vs. objetivo) de las explicaciones generadas por LLM mejora los resultados de aprendizaje en comparación con las explicaciones genéricas.
2. Datos Escalables sobre el Compromiso del Estudiante: Con 971 participantes, el estudio ofrece datos robustos sobre cómo los estudiantes introductorios interactúan con múltiples explicaciones generadas por IA, abordando específicamente el compromiso entre la cantidad/diversidad de la explicación y la carga cognitiva.
3. Métricas de Desempeño Matizadas: El artículo destaca una discrepancia entre el desempeño en las MCQ (donde no se encontró diferencia) y el desempeño en las OE (donde se observó una ganancia constante de ~7.7% para las explicaciones diversas), sugiriendo que las explicaciones diversas pueden apoyar una articulación conceptual más profunda, incluso si no cambian inmediatamente la precisión de opción múltiple.

Significancia y Reivindicaciones
Los autores afirman modestamente que, si bien las explicaciones diversas no produjeron ganancias estadísticamente significativas en la comprensión en este contexto específico, estuvieron asociadas con un desempeño consistentemente mayor (ganancia de aproximadamente 7.7% en la precisión de las OE) y respuestas de los estudiantes más comprometidas a través de múltiples medidas.

El artículo argumenta que la falta de significancia estadística puede deberse a un "efecto techo" (alto desempeño base) o a que las dimensiones de variación utilizadas no estaban perfectamente alineadas con las características críticas que los estudiantes necesitaban discernir. Sin embargo, los hallazgos sugieren que proporcionar múltiples perspectivas concisas es una estrategia prometedora que no aumenta la carga cognitiva. Los autores concluyen que, en lugar de repetir explicaciones genéricas, los educadores y los sistemas de tutoría automatizados podrían aprovechar los LLM para generar perspectivas variadas, permitiendo a los estudiantes seleccionar el ángulo más útil para su aprendizaje, apoyando así la instrucción diferenciada a escala. Se sugiere para trabajos futuros explorar la retención a largo plazo y el impacto de variar los tipos de explicación según la experiencia del estudiante.