Changes in Coding Behavior and Performance Since the Introduction of LLMs
Este estudio cuas longitudinal de un curso de posgrado en computación en la nube revela que, desde la introducción de los LLM, los comportamientos de programación de los estudiantes se han desplazado hacia entregas más largas pero menos iterativas con menores ganancias de aprendizaje, lo que sugiere que la dependencia excesiva de estas herramientas puede estar impactando negativamente tanto la productividad como los resultados educativos.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
La visión general: El experimento del "Bolígrafo Mágico"
Imagina una clase de cocina donde los estudiantes tienen que hornear un pastel específico cada semestre. Durante cinco años, el profesor observó cómo horneaban. Luego, a finales de 2022, apareció un "Bolígrafo Mágico" (Modelos de Lenguaje de Gran Escala o LLM). Este bolígrafo podía escribir la receta e incluso mezclar la masa por los estudiantes si ellos lo pedían.
Los investigadores querían saber: ¿El Bolígrafo Mágico ayudó a los estudiantes a aprender a hornear mejor, o simplemente hizo que los pasteles se vieran elegantes mientras los estudiantes olvidaban cómo hornear?
Analizaron datos de 10 semestres (5 años antes del Bolígrafo Mágico y 5 años después) de una clase de ciencias de la computación de nivel de posgrado. Se centraron en una tarea de programación específica que nunca cambiaba, actuando como esa receta de pastel inalterable.
Lo que encontraron: El efecto de "Inflado"
Los investigadores notaron cosas muy extrañas sucediendo después de la llegada del Bolígrafo Mágico:
Más cambios, menos mejora: Antes del Bolígrafo Mágico, los estudiantes hacían cambios pequeños y cuidadosos en su código para corregir errores. Después del Bolígrafo Mágico, los estudiantes empezaron a realizar cambios enormes y radicales entre una entrega y otra.
- La analogía: Imagina que estás editando una oración. Antes, podrías cambiar una palabra para corregir un error tipográfico. Después del Bolígrafo Mágico, podrías borrar todo el párrafo y pegar uno nuevo que es tres veces más largo, incluso si la nueva versión no es realmente mejor.
- Los datos: La cantidad de código que los estudiantes cambiaban entre intentos se triplicó. El total de código que entregaban creció un 500%.
La ilusión de la "Puntuación Perfecta": Casi todos seguían obteniendo una puntuación perfecta en la tarea específica.
- La analogía: Es como si todos en la clase de repente sacaran una "A" en el examen. Pero el profesor se dio cuenta de que los estudiantes que sacaban "A" solo estaban copiando la clave de respuestas del Bolígrafo Mágico, no entendiendo realmente las matemáticas. La calificación ya no contaba la historia completa.
La señal del "Aprendiz más Lento": Los investigadores midieron cuánto mejoraba la puntuación de un estudiante con cada nuevo intento.
- La analogía: Piensa en esto como subir una escalera. Antes del Bolígrafo Mágico, cada vez que un estudiante subía un peldaño, se acercaba significativamente a la cima. Después del Bolígrafo Mágico, los estudiantes estaban subiendo la escalera mucho más rápido (haciendo más cambios), pero no se acercaban más a la cima. Solo estaban dando vueltas en el mismo lugar.
- Los datos: La "mejora de puntuación por cambio" cayó significativamente. Los estudiantes trabajaban más duro (más ediciones) pero aprendían menos.
El giro del Proyecto en Equipo
El estudio también analizó un proyecto grupal donde los estudiantes construían un sitio web juntos.
- El resultado: Las puntuaciones de los equipos en realidad subieron ligeramente después de la llegada del Bolígrafo Mágico.
- La analogía: Es como un equipo de deportes donde un jugador trae un robot superrápido al juego. El equipo gana más juegos, pero es posible que los jugadores humanos no se estén fortaleciendo. El robot está haciendo el trabajo pesado, ocultando el hecho de que los humanos podrían no estar contribuyendo tanto como antes.
La advertencia del "Centauro"
Los autores comparan el futuro del trabajo con el Ajedrez.
- En el ajedrez, un "Centauro" es un equipo de un humano y una computadora trabajando juntos. Estos equipos son mejores que los humanos solos o las computadoras solas.
- El problema: Los investigadores temen que los estudiantes se estén convirtiendo en jugadores de ajedrez que han olvidado cómo mover las piezas porque solo le están diciendo a la computadora qué hacer.
- Encontraron que los estudiantes que dependían fuertemente del Bolígrafo Mágico (indicado por esos cambios de código enormes y de gran volumen) en realidad lo hicieron ligeramente peor en otras tareas individuales. Esto sugiere que, si bien el Bolígrafo Mágico te ayuda a terminar la tarea, podría estar perjudicando tu capacidad de aprender las habilidades necesarias para realizar la tarea por tu cuenta.
La conclusión fundamental
El artículo concluye que, si bien los estudiantes siguen obteniendo buenas calificaciones, su comportamiento ha cambiado de una manera que sugiere que dependen demasiado de la IA.
- Están entregando código más largo y desordenado.
- Están realizando más cambios sin aprender mucho de ellos.
- Están obteniendo puntuaciones perfectas en tareas simples, pero su eficiencia de aprendizaje general parece estar cayendo.
Los autores advierten que las escuelas y los empleadores deben repensar cómo miden la "habilidad". El hecho de que un estudiante pueda producir un resultado perfecto con un Bolígrafo Mágico no significa que sepa cómo hornear el pastel. Necesitan descubrir cómo enseñar a los estudiantes a ser los maestros del ajedrez que guían a la computadora, en lugar de ser simplemente las personas que presionan el botón de "ir".
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.