💻 computer science

LLM-Generated Design Problems for Assessing Higher-Order Thinking in Project-Based Learning

Este estudio propone el uso de problemas de diseño generados por LLM como una herramienta de evaluación complementaria en la educación computacional basada en proyectos para evaluar eficazmente el pensamiento de orden superior y las habilidades de transferencia, superando las limitaciones de calificación tradicionales y las barreras de la carga de trabajo del instructor.

Autores originales: Ahmad D. Suleiman, Daqing Hou, Maliha Noushin Raida

Publicado 2026-07-14

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Ahmad D. Suleiman, Daqing Hou, Maliha Noushin Raida

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás en una clase de cocina donde pasas todo el semestre perfeccionando el arte de hacer la pizza perfecta. Aprendes a amasar la masa, elegir la salsa y hornearla hasta que esté dorada. Al final del trimestre, el profesor suele calificarte por la pizza que realmente hiciste. Pero aquí está el problema: el hecho de que puedas hacer una gran pizza no significa que comprendas realmente por qué funciona, o que pudieras usar esas mismas habilidades para hornear un pastel o arreglar un horno estropeado. Es posible que solo hayas memorizado los pasos para la pizza, o que quizás recibiste ayuda de un chef robot (como una IA) que hizo el trabajo pesado mientras tú solo observabas.

Este es exactamente el rompecabezas que enfrentan los profesores de ciencias de la computación con el Aprendizaje Basado en Proyectos (PjBL). Los estudiantes construyen proyectos de software geniales, pero las pruebas tradicionales a menudo solo comprueban si pueden copiar y pegar código o escribir un informe sobre la cosa específica que construyeron. Estas pasan por alto el "pensamiento de orden superior" (HOT, por sus siglas en inglés): la capacidad de tomar lo que aprendieron y aplicarlo a una situación nueva y complicada.

La nueva herramienta: "Problemas de Diseño"

Para solucionar esto, los autores de este artículo introdujeron algo llamado Problemas de Diseño (DPs). Piensa en estos como un "desafío de cocina" que ocurre justo después de la clase de pizza. En lugar de preguntar: "¿Muéstrame tu pizza?", el profesor dice:

"Bien, imagina que un hospital necesita un sistema para rastrear cómo los pacientes de edad avanzada mueven sus dedos para detectar problemas de salud. Usando la misma lógica que usaste para tu aplicación de pizza, diseña un plan de alto nivel para este nuevo sistema. Tienes 30 minutos".

Esto obliga a los estudiantes a dejar de recitar hechos y comenzar a transferir su conocimiento. Tienen que analizar, evaluar y crear algo nuevo, demostrando que realmente entienden los conceptos, no solo el código específico que escribieron para su proyecto final.

El ayudante robot: ¿Puede la IA escribir las preguntas?

Crear estas preguntas de escenarios nuevos y complicados es un trabajo arduo para los profesores. Toma mucho tiempo inventar una situación fresca que se ajuste a cada proyecto de estudiante. Así que los investigadores preguntaron: ¿Puede un Modelo de Lenguaje Grande (LLM) —un chatbot de IA superinteligente— escribir estas preguntas por nosotros?

Probaron esto pidiendo a dos modelos de IA diferentes (uno estándar y uno de "razonamiento" que piensa paso a paso) que generaran 80 de estos Problemas de Diseño basados en cuatro proyectos de estudiantes diferentes (como una herramienta de seguridad, un juego distribuido y una aplicación móvil).

Lo que encontraron:

La IA es bastante buena: La IA de "razonamiento" fue especialmente impresionante. Creó escenarios que eran realistas y encajaban perfectamente con los objetivos de aprendizaje. De hecho, el 50% de los problemas generados por la IA obtuvieron una puntuación perfecta de expertos humanos.
La IA no es perfecta: A veces, la IA se volvía perezosa. Creaba un escenario que era demasiado similar al proyecto original (como pedir una pizza cuando ya habías hecho una pizza), o hacía que la pregunta fuera demasiado vaga.
El veredicto: El artículo sugiere que la IA puede ser de gran ayuda, actuando como un asistente incansable que redacta los borradores de las preguntas, pero un profesor humano aún necesita revisarlas para asegurarse de que no sean demasiado fáciles o confusas.

La prueba en el aula: ¿Lo entendieron los estudiantes?

Los investigadores implementaron luego estos Problemas de Diseño escritos por IA en tres clases universitarias reales. Les dieron a los estudiantes 30 minutos para resolver uno de estos nuevos escenarios de forma individual.

Aquí está el giro:
Cuando compararon las calificaciones de los estudiantes en estos nuevos Problemas de Diseño con sus calificaciones en los proyectos originales de todo el semestre, casi no hubo conexión.

Algunos estudiantes eran "Maestros": Dominaron el proyecto y el nuevo desafío.
Otros eran "Implementadores": Construyeron un gran proyecto (tal vez con ayuda o siguiendo una receta) pero fallaron en el nuevo desafío porque no pudieron aplicar la lógica en otro lugar.
Otros eran "Conceptualizadores": Tuvieron dificultades con el proyecto pero arrasaron en el nuevo desafío porque entendían los conceptos profundos.

Esto demuestra que las calificaciones de proyectos tradicionales no cuentan toda la historia. Un estudiante puede construir una gran aplicación pero seguir sin saber cómo pensar como un ingeniero en una situación nueva. Los Problemas de Diseño detectaron esta diferencia.

Cómo pensaron realmente los estudiantes

Los investigadores también analizaron cómo escribían los estudiantes (usando datos de pulsaciones de teclas). Descubrieron que los estudiantes no solo escribían furiosamente.

Hicieron una pausa de aproximadamente 2 minutos al principio, probablemente pensando y planificando.
Borraron y reescribieron partes de sus respuestas (una "relación de revisión" de unos 12–16 caracteres borrados por cada 100 escritos).
Tomaron descansos frecuentes (pausas de más de 10 segundos) mientras escribían.

Este comportamiento sugiere que los estudiantes estaban realizando realmente el arduo trabajo mental de analizar y sintetizar ideas, en lugar de simplemente copiar y pegar.

Lo que el artículo descarta

El artículo tiene cuidado de decir qué no es este método:

No es una solución mágica que reemplaza todas las demás pruebas.
No es algo que funcione perfectamente si los estudiantes pueden usar IA durante la prueba (por eso los profesores los hicieron hacerlo en clase, sin teléfonos).
No es una forma de calificar a los estudiantes basándose en cuánto tiempo tardan; los datos mostraron que pasar más tiempo no conducía necesariamente a mejores calificaciones.
No es un sistema perfecto todavía; el artículo señala explícitamente que calificar estas respuestas abiertas sigue siendo subjetivo y difícil de escalar sin ayuda.

La conclusión

El estudio sugiere que el uso de la IA para generar estos "Problemas de Diseño" es una forma prometedora de comprobar si los estudiantes realmente comprenden los conceptos de la informática, en lugar de simplemente memorizar cómo construir algo específico. Ayuda a los profesores a ver la diferencia entre un estudiante que puede seguir una receta y un estudiante que puede cocinar un plato totalmente nuevo. Aunque la IA no es perfecta y necesita un supervisor humano, podría ser la clave para asegurar que los estudiantes estén listos para el mundo real, donde los problemas nunca se ven exactamente como los que practicaron en clase.

Resumen Técnico: Problemas de Diseño Generados por LLM para Evaluar el Pensamiento de Orden Superior en el Aprendizaje Basado en Proyectos

Planteamiento del Problema
El aprendizaje basado en proyectos (PjBL) es un elemento fundamental en la educación informática para fomentar habilidades prácticas; sin embargo, las evaluaciones tradicionales —que dependen en gran medida de artefactos del proyecto como el código y los informes— a menudo no logran medir con precisión las habilidades de pensamiento de orden superior (HOT, por sus siglas en inglés), particularmente en contextos de transferencia. Aunque los educadores buscan evaluar el análisis, la evaluación y la creación (taxonomía de Bloom), los métodos actuales frecuentemente recurren a habilidades cognitivas de orden inferior o carecen de alineación con el contexto original del proyecto. Además, el auge de la IA generativa y la naturaleza colaborativa del PjBL complican la atribución de la maestría individual. La creación de "problemas de diseño" (DP, por sus siglas en inglés)—prompts concisos basados en escenarios que requieren la aplicación de conceptos del proyecto a situaciones nuevas y distintas—ofrece una solución potencial. No obstante, la creación manual de DP de alta calidad y específicos para cada proyecto es laboriosa, lo que crea un cuello de botella de escalabilidad para los instructores.

Metodología
Este estudio empleó un enfoque de métodos mixtos para investigar el valor, la generación y el despliegue de los DP:

Encuesta a Instructores (RQ1): Se distribuyó una encuesta a 313 autores de PjBL de computación, obteniendo 31 respuestas. El instrumento evaluó las prácticas de evaluación actuales, las percepciones sobre HOT y las opiniones sobre la viabilidad de los DP.
Generación por LLM y Evaluación de Expertos (RQ2): Los investigadores seleccionaron cuatro proyectos de PjBL diversos (Seguridad Web, Sistemas Distribuidos, Mantenimiento de Software, ML Móvil). Utilizando ingeniería de prompts de disparo cero (zero-shot), generaron 80 DP (10 por proyecto por modelo) utilizando dos Modelos de Lenguaje Grande (LLM): un modelo estándar (OpenAI GPT-4o) y un modelo orientado al razonamiento (Gemini 2.5 Pro). Dos evaluadores expertos calificaron estos DP frente a una rúbrica que cubría Calidad del Escenario, Alineación, Complejidad Cognitiva, Claridad y Viabilidad.
Despliegue en el Aula (RQ3): Los DP se implementaron como evaluaciones sumativas de 30 minutos en tres cursos de pregrado (N=78 en total). Los estudiantes completaron dos tareas: responder a un DP de alta calidad (Tarea A) y calificar un DP aleatorio (Tarea B). Los datos recolectados incluyeron calificaciones de desempeño, calificaciones de percepción de los estudiantes y registros de pulsaciones de teclas (keystroke logs) para analizar la latencia de planificación, la ratio de revisión y la ráfaga (burstiness).

Contribuciones Clave

Definición y Marco: El artículo operacionaliza los "Problemas de Diseño" como una herramienta de evaluación específica diseñada para medir el pensamiento de orden superior orientado a la transferencia, distinta de la evaluación tradicional de artefactos.
Eficacia de los LLM: Demuestra que los LLM, particularmente los modelos orientados al razonamiento, pueden generar de forma autónoma DP de alta calidad y ricos en contexto que se alinean con los objetivos de aprendizaje y evitan la simple recuperación de información.
Validación Empírica: El estudio proporciona evidencia empírica de que el desempeño en los DP tiene una correlación insignificante con las calificaciones tradicionales del proyecto, lo que sugiere que los DP capturan dimensiones cognitivas distintas.
Perspectivas Conductuales: A través del registro de pulsaciones de teclas, el estudio ofrece evidencia indirecta de un compromiso cognitivo más profundo (planificación, revisión y pensamiento sostenido) durante la resolución de los DP en comparación con la transcripción rutinaria.

Resultados

Percepciones de los Instructores: Los instructores apoyan mayoritariamente el potencial de los DP para evaluar HOT, pero citan el esfuerzo de creación y la escalabilidad como las principales barreras. Enfatizan la necesidad de entornos independientes y con límite de tiempo para mitigar el fraude mediante IA.
Desempeño de los LLM: Los evaluadores expertos encontraron que los LLM orientados al razonamiento superaron significativamente a los LLM estándar en Calidad del Escenario (0.97 vs. 0.77, p < 0.001) y Viabilidad (1.00 vs. 0.94, p = 0.018). Ambos modelos produjeron DP generalmente de alta calidad, con un 50% recibiendo puntuaciones perfectas en todos los criterios.
Desempeño de los Estudiantes: Las calificaciones de los DP mostraron una correlación insignificante con las calificaciones de proyectos tradicionales (Spearman's $\rho$ entre -0.05 y 0.03). Una parte significativa de los estudiantes fue clasificada como "Implementadores" (calificaciones altas en proyectos, bajas en DP), lo que indica que la creación exitosa de artefactos no garantiza habilidades de diseño transferibles.
Experiencia del Estudiante: Los estudiantes calificaron los DP positivamente, particularmente en cuanto a Complejidad Cognitiva y Calidad del Escenario. Sin embargo, calificaron la Viabilidad de forma más baja que los expertos, lo que sugiere un "punto ciego del experto" donde los instructores subestiman la carga cognitiva de las tareas de transferencia para los novatos.
Datos Conductuales: El análisis de las pulsaciones de teclas reveló una latencia de planificación inicial significativa (~2 minutos) y comportamientos de revisión activa, lo que respalda la hipótesis de que los estudiantes estaban involucrados en procesos de HOT en lugar de simplemente transcribir respuestas memorizadas.

Significancia
El artículo sostiene que los Problemas de Diseño sirven como una herramienta de evaluación complementaria vital para el PjBL, abordando específicamente la brecha en la medición del pensamiento de orden superior orientado a la transferencia. Al aprovechar los LLM para automatizar la generación de estos problemas, el enfoque se vuelve escalable, reduciendo la carga de trabajo del instructor mientras se mantiene el rigor pedagógico. El estudio sugiere que los DP son particularmente valiosos en entornos donde el uso de IA o la colaboración pueden oscurecer el aprendizaje individual, ya que requieren una síntesis de conocimiento única e individual en contextos novedosos. Los hallazgos apoyan la integración de los DP generados por LLM en los currículos de computación para proporcionar una visión más holística de la maestría del estudiante más allá de los artefactos de código.