CodeStylist: Supporting Early Undergraduate Programmers with Course-Aware Code Style Feedback

Imagina que estás aprendiendo a escribir una historia. Sabes que la trama debe tener sentido, los personajes deben actuar correctamente y el final debe ser satisfactorio. Pero hay otra capa: tu profesor también quiere que uses fuentes específicas, que indentes tus párrafos de cierta manera y que evites empezar las oraciones con "Y". Si logras la trama pero fallas en el formato, podrías perder puntos. En el mundo de la programación informática, este "formato" se llama estilo de código. No se trata de si la computadora puede ejecutar el programa (eso es la trama), sino de si el código es limpio, organizado y fácil de leer para otros humanos.

Durante mucho tiempo, los profesores han luchado con esto. Quieren que los estudiantes aprendan estas reglas de pulcritud, pero dar retroalimentación sobre ellas toma una eternidad. Si un profesor espera hasta el final del semestre para decir: "Oye, usaste la fuente incorrecta para tus nombres de variables", el estudiante ya habrá olvidado la lección. Recientemente, ha aparecido un nuevo tipo de "asistente inteligente" llamado Modelo de Lenguaje Grande (LLM). Piensa en estos como robots súper inteligentes que pueden leer tu código y charlar contigo sobre él. Pero aquí está el detalle: estos robots son buenos dando consejos generales, pero a menudo no conocen las reglas específicas de tu clase en particular. Podrían decirte que escribas como un profesional de otro país, cuando tu profesor solo quiere que sigas las reglas locales de la escuela.

Este es el problema que un equipo de investigadores de la Universidad de Purdue intentó resolver con una nueva herramienta llamada CodeStylist. Querían ver si podían construir un robot que supiera exactamente lo que tu profesor quiere, para que pueda darte consejos útiles mientras aún estás escribiendo tu código, no después de que ya lo hayas entregado. No solo lo construyeron; pidieron a un grupo de profesores y asistentes de enseñanza que probaran la herramienta y dijeran si era realmente útil o si era solo un juguete sofisticado que confundiría a los estudiantes.

El Experimento: Un Robot que Conoce el Programa de Estudios

Los investigadores construyeron CodeStylist, una aplicación web que actúa como un editor personal para estudiantes de programación. En lugar de dar consejos genéricos como "haz tu código más limpio", CodeStylist está configurado con la "guía de estilo" específica de un curso particular. Es como tener un robot al que se le ha entregado el texto exacto del programa de estudios y la rúbrica de tu profesor para consultarlo.

Así es como funciona en el mundo real: un estudiante sube sus archivos de código (que pueden ser un proyecto entero con muchos archivos diferentes, no solo uno). Le dicen a la herramienta: "Esto es para mi clase de programación en C", y la herramienta envía el código a un Modelo de Lenguaje Grande (una IA). La IA lee el código y genera un informe señalando líneas específicas. Dice cosas como: "Oye, en la línea 42, llamaste a esta variable 'x', pero nuestra regla de clase dice que las variables deben ser descriptivas, como 'puntuacionTotal'. Además, olvidaste un comentario aquí explicando qué hace esta parte".

Crucialmente, en la versión probada en este estudio, la herramienta dependió enteramente de la IA para tomar estos juicios. No tenía un programa informático separado y estricto (un verificador "determinista") para corroborar los hechos. Le pidió a la IA que encontrara las reglas y los errores, todo al mismo tiempo.

El objetivo no era corregir el código por el estudiante ni calificarlos. El objetivo era actuar como un "compañero de revisión": una herramienta para ayudar a los estudiantes a detectar errores antes de que presionen el botón de enviar. Los investigadores querían saber: ¿Confiarían los profesores en este robot? ¿Lo usarían realmente los estudiantes? Y lo más importante, ¿daría el robot consejos que coincidan con lo que los profesores realmente quieren?

Lo que Dijeron los Profesores: Un Mix de Opiniones

Para averiguarlo, los investigadores reunieron a 18 miembros del personal instructivo (asistentes de enseñanza y un instructor) de un curso de ciencias de la computación en Purdue. Estas eran las personas que realmente leían el código de los estudiantes cada semana. Se les entregó la herramienta y se les pidió que la probaran con ejemplos de código reales que habían visto antes. Luego completaron una encuesta y compartieron sus pensamientos honestos.

Los resultados fueron un poco como una obra de teatro escolar donde los actores están haciendo su mejor esfuerzo, pero el guion necesita algo de edición.

Las Buenas Noticias:
Los profesores estuvieron de acuerdo en que la idea era genial. Vieron que CodeStylist podía hacer visibles las reglas invisibles. Un profesor señaló que era como tener un "segundo par de ojos" que podía detectar errores de estilo al instante. Creían que los estudiantes realmente usarían la herramienta, con la mayoría prediciendo que los estudiantes revisarían su código al menos una vez a la semana. Los profesores sintieron que era una forma útil de detectar errores de estilo antes de la calificación final, ahorrando tiempo a todos en el largo plazo.

Las Malas Noticias (y la Gran Preocupación):
El problema principal fue la confianza. Los profesores no confiaban plenamente en las respuestas del robot.

• Precisión: Cuando se les preguntó con qué frecuencia el robot acertaba, los profesores estimaron un promedio del 60.7%. Eso significa que casi 4 de cada 10 veces, el robot podría estar equivocado, ser confuso o dar un consejo que no coincida con las reglas de la clase. Debido a que la herramienta dependía únicamente de la IA sin un respaldo de "corrector ortográfico" estricto, a veces omitía cosas o inventaba información.
• Utilidad: En una escala del 1 al 5, los profesores calificaron la ayuda de las respuestas en 3.50, y la utilidad de las mismas en 3.33. Estos son puntajes "aceptables", pero no "increíbles".
• Aprendizaje: La mayor preocupación fue si la herramienta realmente ayudaría a los estudiantes a aprender. La calificación promedio de "aprendizaje anticipado del estudiante" fue de 2.61 de 5. Esto está por debajo del punto medio. Los profesores temían que, si el robot daba consejos erróneos, los estudiantes podrían simplemente seguirlos ciegamente sin pensar, o confundirse cuando el consejo del robot chocara con las reglas reales del profesor.

Un asistente de enseñanza era tan escéptico que le dio a la herramienta una calificación de precisión del 4% y dijo que los estudiantes "Nunca" la usarían. Otro se preocupó de que, si el robot daba malos consejos, crearía más trabajo para los profesores, quienes tendrían que arreglar el desastre que el robot causó.

El Veredicto: Un Borrador Prometedor, No un Producto Terminado

Los investigadores concluyeron que CodeStylist es un comienzo prometedor, pero no está listo para ser la autoridad final en el aula. Los profesores vieron la herramienta como un medio útil para revisar el estilo y encontrar problemas potenciales, pero no la vieron todavía como una herramienta que pudiera enseñar de manera confiable los principios profundos de una buena programación.

El artículo sugiere que, para que esta herramienta funcione de verdad, necesita un enfoque "híbrido". En lugar de dejar que la IA adivine todo, debería utilizar reglas informáticas estrictas e inalterables (como un corrector ortográfico) para encontrar los errores obvios, y luego usar la IA solo para explicar por qué esos errores importan. Los profesores también pidieron mejores ayudas visuales, como resaltar la línea exacta de código y mostrar la regla específica que el estudiante rompió, para que los estudiantes pudieran verificar el consejo por sí mismos.

En resumen, el estudio sugiere que, si bien el feedback consciente del curso es una gran idea, la versión actual de CodeStylist es demasiado poco fiable para ser el mejor amigo de un profesor porque carece de ese respaldo informático estricto. Es un borrador útil que necesita más trabajo para asegurar que no enseñe accidentalmente a los estudiantes la forma incorrecta de escribir código. Los investigadores creen que si pueden solucionar los problemas de precisión y hacer que la retroalimentación sea más fácil de verificar, este tipo de herramienta podría convertirse en un factor de cambio para ayudar a los estudiantes a escribir código más limpio y profesional.