Commenting with Copilot: A Taxonomy and Multi-Year Analysis of Student Code-Generation Specifications
Este artículo presenta un análisis de cuatro años de entregas de programación de estudiantes de pregrado para introducir una taxonomía tridimensional de los comentarios de los estudiantes utilizados como especificaciones de generación de código por IA, revelando que los estudiantes escriben predominantemente comentarios de "Qué", cambian a comentarios de "Cómo" para tareas procedimentales y priorizan la verificación del código generado sobre la reescritura repetida de las especificaciones.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
Imagina que eres un chef, pero en lugar de picar verduras o revolver ollas, eres el "Comandante" de un subchef robótico superrápido y hipercreativo. Tu trabajo no es cocinar la comida tú mismo; tu trabajo es escribir las instrucciones de la receta en inglés sencillo para que el robot cocine. Esto es exactamente lo que un grupo de investigadores observó hacer a 1,161 estudiantes universitarios durante cuatro años en una clase de computación. Ellos no escribieron código línea por línea; escribieron comentarios (pequeñas notas) para decirle a una herramienta de IA llamada GitHub Copilot cómo construir un programa.
Aquí está lo que los investigadores descubrieron sobre cómo estos estudiantes-comandantes hablaban con sus ayudantes robóticos.
El Descubrimiento Principal: "¿Qué" vs. "Cómo"
¿La mayor sorpresa? La mayoría de los estudiantes no hablaban como programadores. Hablaban como personas describiendo un objetivo.
- El grupo del "¿Qué?" (77%): La gran mayoría de las notas que los estudiantes escribieron trataban sobre qué querían que fuera el resultado. Por ejemplo, en lugar de decir "Recorre esta lista y revisa los números", escribieron: "Si el número es negativo, devuelve falso". Describieron el destino, no las direcciones para conducir.
- El cambio al "¿Cómo?": Sin embargo, cuando la tarea se volvía difícil —como cuando era necesario repetir un paso muchas veces o realizar una secuencia de acciones compleja— los estudiantes cambiaban de marcha. Empezaban a escribir comentarios de "¿Cómo?", dando órdenes de marcha paso a paso. Es como cuando le dices a un amigo: "Hazme un sándwich" (el qué), pero si necesitas un sándwich club específico y complicado, de repente tienes que decir: "Primero tuesta el pan, luego coloca el pavo, luego añade los pepinillos..." (el cómo).
La Regla de "No retoques la receta"
Podrías pensar que si el robot comete un error, el estudiante reescribiría frenéticamente las instrucciones una y otra vez. El artículo argumenta en contra de esto.
Los datos muestran que los estudiantes rara vez reescribían sus comentarios. De hecho, una vez que escribían un comentario, la mayoría lo dejaba tal cual.
- La realidad: De cada 100 comentarios, aproximadamente 48 se dejaron completamente intactos, y otros 41 eran totalmente nuevos. Solo una mínima fracción (alrededor del 4%) fue fuertemente reescrita o descartada por completo.
- El trabajo real: Entonces, si no estaban reescribiendo las notas, ¿qué estaban haciendo? Estaban actuando como estrictos inspectores de calidad. Los estudiantes gastaban su energía verificando el trabajo del robot, ejecutando pruebas y corrigiendo el código que el robot producía, en lugar de cambiar constantemente sus propias instrucciones. El artículo sugiere que la parte difícil no era escribir el prompt; era verificar el resultado.
Lo que los estudiantes dijeron (Las reflexiones)
Después de las tareas, los estudiantes escribieron reflexiones, y los investigadores encontraron 13 temas principales. Aquí están los más importantes:
- La velocidad es el rey: Los estudiantes amaron la herramienta porque era rápida. Se sentía como un "andamio" que les ayudaba a comenzar rápidamente sin quedarse estancados en detalles aburridos.
- La trampa de la "familiaridad": El robot era genial para tareas simples y repetitivas (como el código repetitivo o boilerplate), pero tenía dificultades cuando la tarea era extraña, muy específica o requería una solución única.
- El problema de la confianza: Aunque el robot era rápido, los estudiantes sabían que no podían confiar ciegamente en él. Sentían una pesada "carga de verificación". Tenían que revisar todo dos veces porque el robot a veces daba respuestas que parecían correctas pero que en realidad estaban mal.
- Aprendizaje vs. Muletas: Algunos estudiantes temían que, si dependían demasiado del robot, no aprenderían a cocinar por sí mismos. Sentían que usar la herramienta como una "muleta" podría perjudicar su propia capacidad para resolver problemas más adelante.
Lo que el artículo descarta
Es importante saber lo que este estudio no encontró.
- NO es un "Botón Mágico": El artículo rechaza explícamente la idea de que los estudiantes simplemente pedían a la IA una solución completa y se retiraban. Eso no funcionaba bien. Los estudiantes que tuvieron éxito fueron aquellos que trataron a la IA como un socio al que tenían que guiar y verificar.
- NO se trata de código "Perfecto": El estudio no encontró que la IA siempre produjera código perfecto. De hecho, los estudiantes notaron que la IA a menudo añadía código no deseado o pasaba por alto pequeños detalles técnicos.
- NO es un problema "Resuelto": El artículo no afirma que enseñar a los estudiantes a usar prompts de IA sea fácil o que todos sean ahora expertos. Sugiere que esta es una nueva habilidad que requiere práctica, especialmente en saber cuándo ser específico y cuándo verificar el trabajo.
¿Qué tan seguros estamos?
Los investigadores están muy seguros de estos números porque analizaron un conjunto de datos masivo: 10,257 intentos de entrega de cuatro años de clases. Utilizaron herramientas automatizadas para contar más de 136,000 comentarios y analizaron las reflexiones de los estudiantes con alta precisión.
- Encontraron que el 99.3% de los estudiantes finalmente lograron que su código pasara las pruebas.
- Midieron el "ajuste" de los comentarios con precisión matemática, encontrando que las reescrituras profundas eran raras.
- Sin embargo, el artículo admite algunas limitaciones: esto fue solo un curso universitario usando Java. No sabemos si estos mismos patrones ocurren en un lenguaje diferente o en un tipo de clase diferente. Además, el estudio solo analizó los comentarios que los estudiantes enviaron, no los que podrían haber escrito y borrado en medio de su trabajo.
La Conclusión
El artículo sugiere que en la era de la IA, la habilidad más importante no es solo escribir código; es especificar lo que quieres y verificar que lo obtuviste. Los estudiantes aprendieron que escribir un "Qué" claro es el primer paso, pero la verdadera magia ocurre cuando actúas como el jefe, revisando el trabajo del robot y solo interviniendo para dar instrucciones de "Cómo" cuando el robot se pierde. No se trata de dejar que la IA piense por ti; se trata de aprender cómo hablarle para que piense contigo.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.