Fine-Tuning Models for Automated Code Review Feedback

Resumen Técnico: Ajuste Fino de Modelos para Retroalimentación Automatizada en Revisión de Código

Enunciado del Problema
Si bien los Modelos de Lenguaje Grandes (LLM) han transformado la educación en programación al permitir retroalimentación personalizada y creación de contenido, persisten barreras significativas. Los modelos propietarios, aunque efectivos, son costosos, carecen de transparencia y plantean preocupaciones éticas sobre la privacidad de los datos de los estudiantes. Por el contrario, los LLM de código abierto ofrecen accesibilidad y control, pero actualmente carecen de las capacidades de rendimiento de sus contrapartes propietarias. Además, las herramientas existentes de retroalimentación automatizada a menudo dependen de modelos propietarios de caja negra o no logran generar retroalimentación de alta calidad sobre "Conocimiento sobre cómo proceder" (KH), lo cual es crucial para guiar a los aprendices en la resolución de problemas en lugar de simplemente proporcionar respuestas. También existe una escasez de conjuntos de datos anotados y disponibles públicamente para entrenar modelos que generen retroalimentación pedagógicamente estructurada (específicamente "Conocimiento sobre errores" o KM, y KH).

Metodología
El estudio propone un marco para mejorar la calidad de la retroalimentación del modelo de código abierto Code Llama-7B-Instruct utilizando Ajuste Fino Eficiente en Parámetros (PEFT) y generación de datos sintéticos.

1. Creación del Conjunto de Datos: Debido a la falta de conjuntos de datos públicos, los autores generaron un nuevo conjunto de datos de 425 triplets anotados que consisten en código Java con errores, retroalimentación KM (identificando errores) y retroalimentación KH (guiando las correcciones). Esto se logró mediante:

   • El análisis de 85 tipos de errores distintos identificados en la literatura desde 2005 hasta 2024.
   • El uso de DeepSeek-R1 (elegido por su licencia permisiva) para generar los triplets mediante ingeniería de prompts.
   • La validación manual de la retroalimentación generada para verificar su corrección.
   • El conjunto de datos cubre tanto tipos de errores imperativos como orientados a objetos.

2. Arquitectura del Modelo y Entrenamiento:

   • Modelo Base: Code Llama-7B-Instruct, seleccionado por su equilibrio entre rendimiento y eficiencia de recursos.
   • Estrategia de Ajuste Fino: Los autores emplearon Adaptación de Bajo Rangos Cuantizada (QLoRA) para ajustar fino el modelo. Este enfoque congela los pesos del modelo base y actualiza solo un pequeño subconjunto de parámetros (específicamente las capas $q\_proj$ y $v\_proj$) utilizando cuantización de 4 bits. Esto redujo los parámetros entrenables de ~6.7 mil millones a ~5.2 millones, minimizando la sobrecarga computacional y el riesgo de olvido catastrófico.
   • Protocolo de Entrenamiento: Se utilizó un enfoque de validación cruzada de 5 pliegues para garantizar la generalización.

3. Líneas Base Comparativas: El modelo PEFT se comparó con:

   • Línea Base: Code Llama-7B-Instruct estándar con prompts de cero disparos (zero-shot).
   • Ingeniería de Prompts (PE-FewShot): Aprendizaje en contexto utilizando tres ejemplos del conjunto de datos de entrenamiento.

4. Evaluación: Se empleó una estrategia de evaluación multifacética:

   • Evaluación por Instructores: Anotación manual utilizando una rúbrica que medía la Precisión de KM, la Utilidad de KH, Sugerencias Engañosas y Adherencia al Prompt.
   • Métricas Automatizadas: BLEU, ROUGE-L y BERTScore para medir la similitud frente a la verdad fundamental (ground truth).
   • Evaluación por Estudiantes: Un grupo focal con siete estudiantes de CS1 que calificaron la retroalimentación del modelo PEFT, ChatGPT (propiedad) y los mensajes de error del compilador en cuanto a utilidad, claridad y estructura.

Contribuciones Clave

• Un Nuevo Marco PEFT: Un método para generar retroalimentación pedagógicamente estructurada de KM y KH para programación en Java utilizando LLM de código abierto.
• Nuevo Conjunto de Datos Público: Un conjunto de datos de 425 triplets anotados de errores en Java (Código, KM, KH) que cubre diversos tipos de errores, abordando la escasez de recursos públicos en este dominio.
• Evidencia Empírica: Demostración de que el PEFT supera significativamente a la ingeniería de prompts y a los modelos abiertos de línea base, logrando un rendimiento comparable a los modelos propietarios en las evaluaciones de los estudiantes.

Resultados

• Evaluación por Instructores: El modelo PEFT (CL7B-LoRA-JavaFB) superó tanto a la línea base como al enfoque de ingeniería de prompts de pocos disparos en todos los criterios de la rúbrica.
  • Precisión de KM: Mejoró del 20% (línea base) al 61% (PEFT).
  • Utilidad de KH: Mejoró del 26% (línea base) al 60% (PEFT).
  • Sugerencias Engañosas: Se redujeron significativamente del 83% (línea base) al 47% (PEFT).
  • Adherencia al Prompt: Aumentó del 54% al 95%.
• Métricas Automatizadas: Aunque las puntuaciones BLEU y ROUGE fueron generalmente bajas (indicando divergencia léxica respecto a la verdad fundamental), el BERTScore fue alto para el modelo PEFT, lo que sugiere una fuerte alineación semántica con la retroalimentación correcta. Los autores señalan que un alto BERTScore por sí solo no garantiza la solidez pedagógica.
• Evaluación por Estudiantes: Los estudiantes calificaron la retroalimentación del modelo PEFT como igualmente efectiva que la de ChatGPT y significativamente mejor que los errores crudos del compilador.
  • Fortalezas: La retroalimentación del PEFT fue elogiada por ser concisa, precisa y fomentar el pensamiento crítico sin proporcionar la solución directa.
  • Debilidades: Algunos estudiantes notaron que el modelo propietario (ChatGPT) ofrecía explicaciones más detalladas, mientras que el modelo PEFT a veces carecía de suficiente elaboración sobre los términos técnicos.
  • Preferencia: Los estudiantes indicaron que el modelo PEFT era más adecuado para entornos de laboratorio formativos donde se prioriza el pensamiento crítico.

Significado y Afirmaciones
El artículo afirma que el ajuste fino eficiente en parámetros es una estrategia viable y efectiva para adaptar los LLM de código abierto a tareas educativas, ofreciendo una alternativa desplegable gratuitamente a los costosos modelos propietarios. El estudio demuestra que destilar conocimiento de un modelo más grande (mediante generación de datos sintéticos) en un modelo abierto más pequeño y ajustado fino puede duplicar la precisión y utilidad de la retroalimentación mientras reduce las alucinaciones.

Los autores concluyen modestamente que, aunque los modelos PEFT muestran gran promesa para sistemas pedagógicos escalables, aún no son perfectos. La presencia de sugerencias engañosas, aunque reducida, requiere verificación humana antes de un despliegue completo. Además, el estudio destaca que, si bien el modelo PEFT sobresale en entornos formativos al fomentar el pensamiento crítico, puede requerir una optimización adicional (por ejemplo, añadir explicaciones de términos técnicos) para igualar la profundidad de los modelos propietarios en todos los contextos. El trabajo subraya la importancia de los modelos abiertos para garantizar la transparencia y la privacidad en la educación en programación.