Adapting homework design principles in modern Computer Science education to enhance learning outcomes and reduce unintended consequences

Resumen Técnico: Adaptación de los Principios de Diseño de Tareas en la Educación Moderna de Ciencias de la Computación

Planteamiento del Problema
La rápida aparición de los Modelos de Lenguaje Extensos (LLM) y la proliferación de servicios de freelance en línea han comprometido la autenticidad y la eficacia de las tareas tradicionales de Ciencias de la Computación (CS). Los educadores enfrentan una dificultad creciente para distinguir entre el trabajo generado por el estudiante y las soluciones asistidas por IA o subcontratadas, particularmente en campos técnicos donde el código y los algoritmos pueden generarse instantáneamente. Este desafío se ha visto exacerbado por el cambio hacia el aprendizaje remoto, que redujo las oportunidades de discusiones conceptuales espontáneas y presenciales. Los métodos de evaluación tradicionales, como los "exámenes para llevar a casa" o las entregas de código estático, ya no son suficientes para verificar la comprensión genuina o prevenir la deshonestidad académica. El problema central es cómo rediseñar las asignaciones para fomentar el compromiso auténtico, el pensamiento crítico y el dominio conceptual en una era donde las herramientas de IA pueden producir soluciones técnicas plausibles.

Metodología
El estudio, realizado dentro de los currículos estándar de Tecnologías de la Información e Ingeniería de la Universidad ADA, propone una serie de escenarios basados en casos para reestructurar el diseño de las tareas. En lugar de prohibir las herramientas de IA, la metodología las integra en el proceso de aprendizaje y evaluación a través de tres estrategias principales:

1. Grabación de Pantalla con Explicación Verbal:

   • Implementación: Se requiere que los estudiantes graben su pantalla mientras resuelven tareas técnicas, proporcionando anotaciones verbales de su proceso de pensamiento. Para asegurar la autenticidad, las grabaciones deben incluir marcas de tiempo visibles, y se puede pedir a los estudiantes que realicen acciones específicas (por ejemplo, modificar un archivo compartido) durante la grabación.
   • Evaluación: El estudio utilizó una muestra de 34 entregas de video para comparar la calificación basada en IA frente a la calificación del instructor. El análisis cuantitativo incluyó la correlación de Pearson ($r=0.512, p=0.00199$) y una prueba t para muestras pareadas ($t=-3.266, p=0.00255$). Los resultados indicaron una correlación positiva moderada estadísticamente significativa, aunque el sistema de IA asignó sistemáticamente calificaciones más bajas (diferencia media de 0.88 puntos) y fue más crítico respecto a las puntuaciones máximas.
   • Retroalimentación de los Estudiantes: Las encuestas indicaron una alta percepción de efectividad en el aprendizaje (puntuaciones de 7.72–8.17) y una recepción positiva del formato como una transición hacia estilos de comunicación modernos, a pesar de las preocupaciones iniciales sobre la carga de tiempo.

2. Comparación Crítica con LLM (Autoevaluación):

   • Implementación: En lugar de prohibir los LLM, las asignaciones requieren que los estudiantes generen una solución, utilicen un LLM para generar una solución alternativa y luego comparen críticamente ambas. Los estudiantes deben identificar fallos, inconsistencias o enfoques subóptimos en el código o diagramas generados por la IA y justificar sus propias elecciones de diseño.
   • Aplicación: Este enfoque se aplicó a tareas de programación funcional (comparando implementaciones imperativas vs. funcionales) y normalización de bases de datos (criticando diagramas Entidad-Relación generados por IA).
   • Objetivo: Esto desplaza el enfoque de la corrección del producto hacia la profundidad de la comprensión conceptual y la capacidad de criticar soluciones técnicas.

3. Trabajo Incremental mediante Control de Versiones:

   • Implementación: Para combatir la procrastinación y la subcontratación de "último minuto", los estudiantes deben entregar su trabajo de forma incremental en un repositorio de GitHub. Los requisitos incluyen un número mínimo de commits (por ejemplo, tres por semana o cinco en días diferentes) y el uso de ramas (branches) y Pull Requests.
   • Objetivo: Esto fomenta el compromiso continuo, permite a los instructores rastrear la evolución de la solución y desarrolla habilidades de control de versiones estándar de la industria.

Resultados Clave

• Distribución de Calificaciones: La implementación de las asignaciones de grabación de pantalla se correlacionó con una reducción de estudiantes con calificaciones bajas y un desplazamiento hacia calificaciones promedio tanto en los cursos de "Gestión de Producción y Operaciones" como en los de "Sistemas de Bases de Datos".
• Calificación IA vs. Humana: Aunque la calificación por IA mostró un sesgo sistemático hacia puntuaciones más bajas en comparación con los instructores humanos, preservó la estructura de clasificación del rendimiento de los estudiantes, lo que sugiere potencial para la automatización parcial en la evaluación.
• Percepción de los Estudiantes: Los estudiantes informaron que el requisito de explicación verbal los obligó a una comprensión más profunda del proceso de solución en lugar de la mera generación de resultados. La metodología fue percibida como un incremento en la rendición de cuentas y una reducción de la dependencia de soluciones de IA no verificadas.
• Desarrollo de Habilidades: El enfoque incremental fomentó con éxito el compromiso diario y el desarrollo de habilidades blandas como la gestión del tiempo y la documentación técnica.

Significancia y Reivindicaciones
El artículo sostiene que el diseño efectivo de las asignaciones en la era de la IA no debe basarse en la prohibición, sino en la adaptación. Al aprovechar los ciclos de aprendizaje iterativos (leer-entender, preguntar-hacer-verificar) y el monitoreo continuo del progreso, los educadores pueden mantener la integridad académica mientras fomentan un aprendizaje conceptual más profundo.

El estudio postula que:

1. Proceso sobre Producto: Desplazar el enfoque de la evaluación del artefacto final al proceso de resolución de problemas (a través de video o historial de commits) refleja mejor la comprensión del estudiante.
2. La IA como Herramienta Pedagógica: Integrar los LLM como una herramienta comparativa para la autoevaluación mejora el pensamiento crítico y evita la dependencia pasiva de los resultados de la IA.
3. Diseño Estructural: El cronograma y la estructura de los plazos, combinados con los requisitos de control de versiones, son críticos para prevenir la procrastinación y asegurar un esfuerzo estudiantil auténtico.

Los autores concluyen que estas metodologías proporcionan orientación práctica para que los educadores diseñen evaluaciones que motiven a los estudiantes y reflejen con precisión su comprensión, aunque reconocen limitaciones al aplicar estas estrategias a disciplinas no relacionadas con la programación o tareas que requieran informes técnicos complejos. El artículo aboga por un enfoque equilibrado que combine el conocimiento teórico con la aplicación práctica, asegurando que los estudiantes desarrollen tanto la competencia técnica como el pensamiento crítico necesario para los roles profesionales de ingeniería.