Conventional Commit Classification using Large Language Models and Prompt Engineering

Este artículo demuestra que los modelos de lenguaje grandes sin entrenamiento, en particular DeepSeek-R1-32B mediante la técnica de pocos ejemplos, pueden clasificar eficazmente los commits convencionales a partir de diferencias de código, ofreciendo una alternativa práctica a los enfoques tradicionales de aprendizaje automático supervisado.

Lo esencial

Imagina que eres el gerente de una biblioteca masiva y caótica donde se añaden miles de libros cada día. Para mantener las cosas organizadas, la biblioteca tiene una regla estricta: cada libro nuevo debe tener una etiqueta específica en su lomo (como "Nueva Función", "Corrección de Error" o "Documentación") para que los robots puedan clasificarlos automáticamente, actualizar el catálogo y decirle a los visitantes qué hay de nuevo.

Sin embargo, en la realidad, las personas que añaden los libros a menudo ignoran las reglas. Escriben notas desordenadas como "arreglé lo de allá" o "cambié algo del código", lo que hace imposible que los robots sepan a qué categoría pertenece el libro.

Este artículo trata sobre enseñar a un robot superinteligente (una IA) a leer esas notas desordenadas y determinar la etiqueta correcta, sin tener que pasar años estudiando miles de ejemplos primero.

El Problema: Notas Desordenadas vs. Reglas Estrictas

En el desarrollo de software, los programadores escriben "mensajes de confirmación" (notas) cada vez que guardan cambios en su código. La industria tiene un formato estándar llamado Conventional Commits que actúa como un sistema de archivo estricto. Requiere que las notas comiencen con una etiqueta específica (por ejemplo, feat:, fix:).

Pero los humanos son desordenados. A menudo olvidan las etiquetas. Tradicionalmente, para solucionar esto, los investigadores construían un robot personalizado alimentándolo con miles de ejemplos etiquetados (como un estudiante memorizando un libro de texto). Esto requiere mucho tiempo y datos.

El Nuevo Enfoque: La Estrategia de "Prompt"

En lugar de entrenar un robot nuevo desde cero, los autores se preguntaron: ¿Podemos simplemente darle a una IA muy inteligente y preexistente un conjunto de instrucciones (un "prompt") para que haga el trabajo?

Trataron a la IA como a un becario brillante que ya sabe mucho sobre el lenguaje pero necesita saber exactamente qué tarea realizar. Probaron tres formas diferentes de dar instrucciones:

1. Zero-Shot (El Enfoque "Solo Dímelo"):

   • La Analogía: Te acercas al becario y dices: "Aquí hay una nota desordenada. Por favor, dime a qué categoría pertenece basándote en las reglas". No das ejemplos.
   • Resultado: El becario adivina, pero a menudo se equivoca porque no sabe exactamente lo que quieres.

2. Few-Shot (El Enfoque "Muéstrame Ejemplos"):

   • La Analogía: Dices: "Aquí hay una nota desordenada que significa 'Nueva Función'. Aquí hay otra que significa 'Corrección de Error'. Ahora, mira esta nueva nota desordenada y dime qué es". Primero muestras al becario algunos ejemplos claros.
   • Resultado: Esto funcionó mejor. El becario entendió el patrón rápidamente y clasificó los libros con precisión.

3. Cadena de Pensamiento (El Enfoque "Piensa en Voz Alta"):

   • La Analogía: Dices: "Antes de darme la respuesta, por favor escribe tu razonamiento paso a paso: 'Veo la palabra "arreglar", así que creo que es un error...'".
   • Resultado: Sorprendentemente, esto no ayudó. Para esta tarea específica de clasificar etiquetas, hacer que el becario "piense en voz alta" solo añadió pasos extra sin mejorar la respuesta final. Fue como pedirle a un bibliotecario que escriba un ensayo antes de archivar un libro; los ralentizó sin mejorar el resultado.

Los Competidores: ¿Qué Tan Grande Necesita Ser el Cerebro?

Los investigadores probaron tres "becarios" (modelos de IA) diferentes de diversos tamaños:

• Mistral-7B: Un cerebro de tamaño mediano (7 mil millones de parámetros).
• LLaMA-3-8B: Un cerebro ligeramente más grande (8 mil millones de parámetros).
• DeepSeek-R1-32B: Un cerebro gigante (32 mil millones de parámetros).

El Hallazgo: El cerebro más grande ganó. El DeepSeek-R1-32B fue el más preciso al leer las notas desordenadas y encontrar la etiqueta correcta. Esto sugiere que para este tipo de tarea, tener un modelo de IA más grande y potente marca una diferencia real.

La Conclusión

El artículo concluye que no necesitas construir un modelo de aprendizaje automático personalizado desde cero para organizar notas de software desordenadas. En su lugar, puedes usar una IA potente y preexistente y simplemente darle algunos buenos ejemplos (prompting Few-Shot) para que haga el trabajo.

• Mejor Estrategia: Mostrarle a la IA algunos ejemplos primero.
• Mejor IA: El modelo más grande y potente disponible.
• Pérdida de Tiempo: Hacer que la IA escriba un largo proceso de razonamiento antes de responder.

Este enfoque ahorra tiempo y esfuerzo porque evita la necesidad de recopilar y etiquetar miles de ejemplos de entrenamiento, permitiendo a los desarrolladores automatizar su organización de archivos de inmediato.

Resumen técnico

Resumen Técnico: Clasificación de Commits Convencionales utilizando Modelos de Lenguaje Grandes y Ingeniería de Prompts

Declaración del Problema

Los Commits Convencionales proporcionan un formato estructurado para los mensajes de commit (por ejemplo, tipo: descripción), lo que permite la automatización de herramientas como generadores de registros de cambios y sistemas de versionado semántico. Sin embargo, los desarrolladores frecuentemente escriben mensajes no estructurados, lo que hace necesaria una clasificación automática para restaurar esta estructura. Los enfoques tradicionales dependen de modelos de aprendizaje automático (ML) y aprendizaje profundo (DL) entrenados con grandes conjuntos de datos etiquetados. Estos métodos requieren un procesamiento significativo de datos, ingeniería de características y reentrenamiento frecuente cuando la terminología del proyecto o las taxonomías de clasificación evolucionan. Este artículo investiga una alternativa sin entrenamiento: aprovechar los Modelos de Lenguaje Grandes (LLM) mediante ingeniería de prompts para clasificar mensajes de commit sin la sobrecarga de curar datos de entrenamiento etiquetados o ajustar modelos.

Metodología

El estudio emplea un marco sin entrenamiento donde los LLM clasifican los cambios de código directamente basándose en prompts, sin ajuste fino del modelo.

• Conjunto de datos: Se extrajo un conjunto de datos equilibrado de 3.200 commits del repositorio de código abierto InfluxDB. El conjunto de datos incluye mensajes de commit y sus respectivos diffs de código (cambios). Los datos están aproximadamente equilibrados entre los tipos de commit (por ejemplo, feat, fix, docs, refactor, test, chore).
• Modelos evaluados: Se probaron tres LLM de código abierto de diferentes escalas de parámetros:
  • Mistral-7B-Instruct (7 mil millones de parámetros)
  • LLaMA-3-8B (8 mil millones de parámetros)
  • DeepSeek-R1-32B (32 mil millones de parámetros)
• Estrategias de prompting: Se evaluaron tres enfoques distintos de prompting:
  1. Zero-Shot: Se proporciona al modelo definiciones de clases e instrucciones, pero sin ejemplos.
  2. Few-Shot: Se proporciona al modelo ejemplos etiquetados representativos de mensajes de commit y diffs de código junto con las instrucciones.
  3. Cadena de Pensamiento (CoT): Se instruye al modelo para generar pasos intermedios de razonamiento (identificar pistas y mapearlas a tipos) antes de emitir la clasificación final.
• Evaluación: Los modelos se evaluaron utilizando métricas estándar de clasificación: Precisión, Exactitud, Recall y puntuación F1. La verdad fundamental se derivó de las etiquetas existentes en el repositorio de InfluxDB.

Resultados Clave

La evaluación empírica arrojó los siguientes hallazgos:

1. Rendimiento de la estrategia de prompting:

   • El prompting Few-shot logró consistentemente la mayor exactitud en todos los modelos. Por ejemplo, DeepSeek-R1-32B alcanzó una exactitud de 0.5749 con prompting few-shot, en comparación con 0.5652 (Zero-shot) y 0.5497 (CoT).
   • La Cadena de Pensamiento (CoT) no produjo ganancias adicionales para esta tarea específica de clasificación. En varios casos, el rendimiento de CoT fue intermedio o inferior al de few-shot, lo que sugiere que la clasificación estructurada depende más del reconocimiento de patrones que del razonamiento de múltiples pasos.
   • Zero-shot generalmente resultó en el rendimiento más bajo o cercano al más bajo, particularmente para modelos más pequeños como Mistral-7B-Instruct (0.3356 de exactitud).

2. Impacto de la escala del modelo:

   • DeepSeek-R1-32B (32 mil millones de parámetros) demostró el mejor rendimiento general en todas las métricas y estrategias de prompting, alcanzando una exactitud promedio de 0.563.
   • LLaMA-3-8B registró el rendimiento más bajo (exactitud promedio de 0.372).
   • Mistral-7B-Instruct mostró un rendimiento intermedio.
   • Los resultados sugieren que la escala del modelo juega un papel significativo en la capacidad de comprender el contexto y clasificar los cambios de código con precisión.

3. Métricas agregadas:

   • En todos los modelos, el prompting Few-shot alcanzó la mayor exactitud promedio (0.531) y puntuación F1 (0.468).
   • El prompting Zero-shot alcanzó la mayor precisión promedio (0.508) pero un recall más bajo.

Contribuciones Clave

El artículo describe tres contribuciones principales:

1. Enfoque novedoso: Propone un enfoque sin entrenamiento para la clasificación de commits convencionales utilizando LLM e ingeniería de prompts, en contraste con las pipelines tradicionales de ML/DL que requieren conjuntos de datos etiquetados.
2. Evaluación empírica: Proporciona una evaluación empírica exhaustiva de este enfoque utilizando un conjunto de datos amplio (3.200 commits) y múltiples modelos de código abierto de última generación.
3. Guía práctica: Discute la efectividad de la clasificación basada en prompts, identificando que el prompting few-shot es superior al zero-shot y al CoT para esta tarea, y destacando las compensaciones dentro del marco de la ingeniería de software.

Significado y Afirmaciones

Los autores posicionan este trabajo como una guía práctica para investigadores y profesionales que buscan automatizar la clasificación de commits sin el proceso intensivo de recursos de curación de datos y entrenamiento de modelos.

• El diseño del prompt es crítico: El estudio enfatiza que el diseño del impacto influye significativamente en el rendimiento, a menudo superando la influencia de la propia arquitectura del modelo. Específicamente, incluir ejemplos claros y diversos (few-shot) actúa como una señal de entrenamiento implícita.
• Limitaciones del razonamiento: El artículo afirma modestamente que, aunque el CoT es efectivo para el razonamiento complejo, no necesariamente mejora el rendimiento en tareas de clasificación estructuradas como la tipificación de commits, donde el reconocimiento de patrones es primordial.
• Alcance de la comparación: Los autores declaran explícitamente que no buscan superar directamente las líneas base tradicionales de ML/DL. En cambio, el estudio se centra en analizar cómo diferentes diseños de prompts influyen en la clasificación basada en LLM. La afirmación de que "los modelos más grandes funcionan mejor" es estrictamente relativa a los LLM evaluados y no una comparación contra líneas base supervisadas externas.
• Direcciones futuras: El artículo sugiere que el trabajo futuro podría involucrar probar la generalización en repositorios más diversos, aplicar optimización automatizada de prompts y explorar enfoques híbridos que combinen LLM con técnicas tradicionales de ML. También señala el potencial de aplicar estos hallazgos a la generación automatizada de notas de lanzamiento y la predicción de errores.