Revisiting the Performance of Generative Artificial Intelligence on Introductory Object-Oriented Programming Assessments: Insights from 2026

En las aulas donde los jóvenes aprenden por primera vez a construir software, ha llegado un nuevo tipo de ayudante. Estos no son tutores humanos, sino modelos de lenguaje extensos: programas informáticos entrenados en vastas bibliotecas de texto y código que pueden leer una pregunta y escribir un programa en respuesta. Durante años, los educadores han observado la evolución de estas herramientas, preguntándose si realmente podrían comprender la lógica de la programación o si simplemente estaban imitando patrones. La pregunta es importante porque la programación se enseña a menudo a través de un estilo específico llamado programación orientada a objetos, donde el código se organiza en unidades autónomas que contienen datos y realizan acciones, de forma muy similar a cómo un objeto del mundo real tiene tanto propiedades como comportamientos. Si estos sistemas artificiales pueden resolver los mismos problemas que los estudiantes, esto cambia la forma en que enseñamos, cómo evaluamos y cómo pensamos sobre el futuro del aprendizaje de la programación.

Investigadores de la Universidad de Tartu, en Estonia, decidieron poner a prueba los cinco sistemas de inteligencia artificial más populares en un entorno universitario real. No pidieron a las máquinas que resolvieran acertijos abstractos o escribieran código en el vacío. En su lugar, tomaron exactamente los mismos exámenes de programación y preguntas de examen final utilizados en un curso introductorio para estudiantes de primer año y se los entregaron directamente a las máquinas. Las tareas estaban escritas en estonio, el idioma local, y los investigadores no dieron a los sistemas instrucciones especiales ni pistas. Simplemente pidieron a las máquinas que resolvieran los problemas como lo haría un estudiante, utilizando las mismas reglas de calificación que los profesores aplican al trabajo humano. El objetivo era ver si estas herramientas podían seguir el ritmo del estudiante promedio y, lo que es más importante, ver dónde todavía tropiezan.

Los resultados mostraron que los sistemas de inteligencia artificial son notablemente capaces, superando a menudo a los estudiantes humanos con los que fueron comparados. En la primera prueba de programación, que requería la construcción de un programa completo con múltiples partes, todos los sistemas excepto uno obtuvieron una puntuación superior a la del estudiante promedio. Un sistema, una herramienta integrada en Microsoft Office, no logró producir un programa funcional en una instancia debido a un pequeño error de sintaxis, pero los demás obtuvieron consistentemente las calificaciones más altas. En una segunda prueba, ligeramente más difícil e involucrando el manejo de datos más complejos, las máquinas volvieron a dominar, con la mayoría logrando puntuaciones perfectas o casi perfectas. Incluso en el examen final, que cubría todo el curso e incluía preguntas conceptuales complicadas, las máquinas generalmente obtuvieron puntuaciones muy por encima del promedio de la clase.

Sin embargo, las máquinas no son perfectas, y sus errores revelan dónde su comprensión es aún superficial. Aunque podían escribir programas largos y complejos que se ejecutaban sin fallar, ocasionalmente pasaban por alto detalles específicos que un profesor humano detectaría. Por ejemplo, algunos sistemas no lograron formatear correctamente el texto o olvidaron incluir una instrucción necesaria para que el código funcionara, lo que provocaba errores que detenían la ejecución del programa. También tuvieron dificultades con ciertos conceptos avanzados, como la forma en que las diferentes partes de un programa deben comunicarse entre sí a través de reglas específicas llamadas interfaces. En estas áreas, las máquinas a veces producían código que parecía correcto pero que en realidad no hacía lo que la pregunta pedía. Además, el estudio señaló que el rendimiento fue limitado en preguntas relacionadas con gráficos que implicaban la interpretación de imágenes, lo que refleja un desafío más amplio que la IA enfrenta al manejar información no textual.

Los investigadores encontraron que estos sistemas han mejorado significamente en comparación con las evaluaciones de hace solo un año. Donde las versiones anteriores de estas herramientas podrían haber fallado al aprobar el curso, los modelos más nuevos ahora están puntuando consistentemente en el rango superior del desempeño estudiantil. Sin embargo, surgió un patrón claro: las máquinas sobresalen al seguir instrucciones para construir estructuras estándar, pero pueden flaquear cuando una tarea requiere un razonamiento profundo sobre cómo las diferentes piezas de un sistema encajan conceptualmente. A menudo añaden características adicionales que no fueron solicitadas o utilizan técnicas avanzadas que los estudiantes aún no habían aprendido, lo que sugiere que están extrayendo de un conjunto de conocimientos mucho más amplio que el currículo del curso.

En última instancia, el estudio dibuja la imagen de una herramienta que es poderosa pero aún no es totalmente confiable para cada necesidad educativa. Los sistemas de inteligencia artificial pueden generar código funcional que a menudo supera al estudiante promedio, demostrando que han dominado la mecánica de la programación. Pero todavía cometen errores específicos y recurrentes que indican una falta de comprensión verdadera de la lógica subyacente. Para los educadores, esto significa que, si bien estas herramientas pueden utilizarse para apoyar el aprendizaje, aún no pueden reemplazar la necesidad de la supervisión humana o el diseño cuidadoso de evaluaciones que prueben la comprensión conceptual profunda en lugar de solo la capacidad de producir código. Las máquinas están mejorando cada año, pero aún tienen un largo camino por recorrer antes de que puedan pensar verdaderamente como un programador.