The comparative evaluation of explanations for algorithmic programming problems provided by a Human vs. ChatGPT: an exploratory online user study

En el aula, la relación entre un estudiante y un profesor ha sido definida durante mucho tiempo por el intercambio de conocimientos, donde un guía humano descompone ideas complejas en pasos comprensibles. Hoy, un nuevo tipo de guía ha entrado en la sala: la inteligencia artificial. Estos sistemas pueden generar texto, resolver problemas matemáticos y escribir código informático con una velocidad que rivaliza con la de los expertos humanos. Pero una pregunta crítica permanece para educadores y padres por igual: cuando un estudiante intenta aprender, ¿importa quién realiza la explicación? ¿Existe una diferencia fundamental entre una solución elaborada por una persona y una generada por una máquina, y puede un alumno notar la diferencia? Esta indagación se sitúa en el corazón de un estudio reciente que explora cómo los estudiantes perciben las explicaciones de tareas de programación difíciles, específicamente cuando dichas explicaciones son entregadas por un personaje digital en lugar de por una persona viva.

Los investigadores, un equipo de científicos de universidades de Kazajistán, se propusieron probar los límites de esta tecnología emergente con un grupo de treinta y siete estudiantes de secundaria. Estos no eran principiantes; los participantes tenían entre quince y diecisiete años y provenían de una escuela especializada conocida por formar estudiantes para competencias de matemáticas y ciencias. Ya habían pasado años aprendiendo a programar, y muchos habían comenzado desde la escuela primaria. El objetivo era ver si estos jóvenes programadores experimentados podían distinguir entre soluciones escritas por un instructor humano y aquellas producidas por un modelo de lenguaje de gran tamaño, un tipo de inteligencia artificial capaz de generar texto y código. Para que la prueba fuera justa y se eliminara cualquier sesgo basado en la voz o la apariencia de una persona, los investigadores utilizaron un personaje animado en 3D, o avatar, para entregar las explicaciones. Esta figura digital hablaba con una voz generada por computadora, asegurando que los estudiantes no pudieran depender de claves humanas como el tono o la emoción para adivinar la fuente de la respuesta.

El experimento se estructuró como una serie de desafíos. A los estudiantes se les mostraron cinco problemas de programación diferentes, cada uno acompañado de una solución y una explicación. Estos problemas fueron tomados de una popular plataforma en línea utilizada por programadores competitivos. Para cada problema, la explicación era entregada por el mismo avatar en 3D, pero la fuente del código variaba. En algunos casos, el código y la explicación provenían de un experto humano que había resuelto el problema en el sitio web. En otros, el código era generado por un sistema de inteligencia artificial. Los estudiantes observaban al avatar explicar la solución y luego se les planteaba una serie de preguntas. Tenían que calificar qué tan bien comprendían el material, adivinar si el código fue escrito por un humano o por una máquina, y evaluar al propio avatar. Los investigadores también comprobaron si la experiencia previa de los estudiantes con la programación o sus interacciones previas con avatares digitales influían en su capacidad para detectar la diferencia.

Los resultados del estudio ofrecieron una visión sorprendente sobre cómo los estudiantes interactúan con esta tecnología. Al pedirles que identificaran la fuente del código, los datos revelaron un patrón matizado: los participantes seleccionaron "proporcionado por ChatGPT" con mayor frecuencia y determinación para las tareas que en realidad fueron proporcionadas por ChatGPT. Sin embargo, para las tareas proporcionadas por humanos, se mostraron más vacilantes y seleccionaron la fuente de manera más equitativa entre humano e IA. Esto sugiere que, si bien los estudiantes podían identificar el contenido generado por IA con cierto grado de confianza, distinguir las soluciones humanas resultaba más difícil, lo que llevaba a una mezcla de aciertos y errores en lugar de una capacidad clara y consistente para diferenciarlos. Los estudiantes calificaron su comprensión de las soluciones de manera similar, independientemente de si el código provenía de una persona o de una máquina. Además, el estudio encontró que el trasfondo de un estudiante no cambiaba el resultado. El hecho de que un estudiante hubiera comenzado a programar en la escuela primaria o en la secundaria, o si había interactuado con asistentes digitales antes, no afectó significativamente su capacidad para distinguir la fuente o su nivel de compromiso.

Aunque los estudiantes no podían distinguir fácilmente entre las dos fuentes, sus comentarios sobre el método de entrega fueron más críticos. El avatar en 3D, que servía como narrador tanto para las soluciones humanas como para las de la máquina, recibió críticas mixtas. Muchos estudiantes señalaron que la voz del personaje era monótona y carecía del ritmo natural del habla humana. Señalaron que los movimientos del avatar eran a veces repetitivos y no siempre coincidían con las palabras que se estaban pronunciando, lo que dificultaba el enfoque en la lógica compleja del código. Algunos estudiantes sintieron que la naturaleza robótica del personaje hacía que la experiencia de aprendizaje fuera menos personal y más difícil de seguir. A pesar de estas críticas, el sentimiento general fue optimista. La mayoría de los estudiantes creía que tal tecnología podría ser útil en el futuro, particularmente como una herramienta para explicar conceptos difíciles cuando un profesor no está disponible. Reconocieron que, aunque la versión actual del avatar tenía fallas, las mejoras en la voz y la animación podrían convertirlo en un complemento valioso para la educación.

El estudio concluye que, si bien la inteligencia artificial es rápidamente capaz de producir explicaciones que son indistinguibles de las humanas en términos de claridad y precisión, el medio de entrega sigue importando. Los estudiantes estaban dispuestos a aceptar la tecnología como un apoyo para el aprendizaje, pero fueron rápidos en identificar las limitaciones de los actuales avatares digitales. La investigación sugiere que, a medida que estas herramientas evolucionen, el enfoque debe desplazarse no solo hacia la calidad del código que generan, sino hacia la calidad de la interacción que proporcionan. Para los educadores, los hallazgos implican que los estudiantes pronto podrán aprender eficazmente a partir de contenido generado por máquinas, pero el toque humano de un profesor sigue siendo único en su capacidad de conectar, adaptarse y comprometerse de una manera que un avatar estático y monótono aún no puede replicar. El futuro de la educación bien podría implicar una asociación entre profesores humanos y máquinas inteligentes, pero el camino hacia esa asociación requiere perfeccionar las herramientas digitales para que sean tan atractivas como las personas a las que pretenden asistir.