Conventional Commit Classification using Large Language Models and Prompt Engineering

Este artigo demonstra que modelos de linguagem grandes sem treinamento, particularmente o DeepSeek-R1-32B usando prompting com poucos exemplos, podem classificar efetivamente commits convencionais a partir de diffs de código, oferecendo uma alternativa prática às abordagens tradicionais de aprendizado de máquina supervisionado.

O essencial

Imagine que você é o gerente de uma biblioteca massiva e caótica, onde milhares de livros são adicionados todos os dias. Para manter as coisas organizadas, a biblioteca tem uma regra estrita: cada novo livro deve ter um rótulo específico em sua lombada (como "Nova Funcionalidade", "Correção de Bug" ou "Documentação") para que robôs possam classificá-los automaticamente, atualizar o catálogo e informar aos visitantes o que há de novo.

No entanto, na realidade, as pessoas que adicionam os livros frequentemente ignoram as regras. Elas rabiscam notas confusas como "consertei a coisa" ou "mudei algum código", tornando impossível para os robôs saberem a qual categoria o livro pertence.

Este artigo trata de ensinar um robô superinteligente (uma IA) a ler essas notas confusas e descobrir o rótulo correto, sem precisar passar anos estudando milhares de exemplos primeiro.

O Problema: Notas Confusas vs. Regras Estritas

No desenvolvimento de software, programadores escrevem "mensagens de commit" (notas) toda vez que salvam alterações em seu código. A indústria possui um formato padrão chamado Conventional Commits que atua como um sistema de arquivamento estrito. Ele exige que as notas comecem com uma tag específica (por exemplo, feat:, fix:).

Mas os humanos são desorganizados. Frequentemente, eles esquecem as tags. Tradicionalmente, para corrigir isso, pesquisadores construíam um robô personalizado alimentando-o com milhares de exemplos rotulados (como um aluno memorizando um livro didático). Isso consome muito tempo e dados.

A Nova Abordagem: A Estratégia do "Prompt"

Em vez de treinar um novo robô do zero, os autores perguntaram: Podemos simplesmente dar a uma IA pré-existente muito inteligente um conjunto de instruções (um "prompt") para fazer o trabalho?

Eles trataram a IA como um estagiário brilhante que já sabe muito sobre linguagem, mas precisa saber exatamente qual tarefa realizar. Eles testaram três maneiras diferentes de dar instruções:

1. Zero-Shot (A Abordagem "Apenas Me Diga"):

   • A Analogia: Você se aproxima do estagiário e diz: "Aqui está uma nota confusa. Por favor, diga-me a qual categoria ela pertence com base nas regras." Você não dá exemplos.
   • Resultado: O estagiário chuta, mas frequentemente erra porque não sabe exatamente o que você quer.

2. Few-Shot (A Abordagem "Mostre-me Exemplos"):

   • A Analogia: Você diz: "Aqui está uma nota confusa que significa 'Nova Funcionalidade'. Aqui está outra que significa 'Correção de Bug'. Agora, olhe para esta nova nota confusa e diga-me o que ela é." Você mostra ao estagiário alguns exemplos claros primeiro.
   • Resultado: Isso funcionou melhor. O estagiário entendeu o padrão rapidamente e classificou os livros com precisão.

3. Chain-of-Thought (A Abordagem "Pense em Voz Alta"):

   • A Analogia: Você diz: "Antes de me dar a resposta, por favor, escreva seu raciocínio passo a passo: 'Vejo a palavra 'fix', então acho que é um bug...'".
   • Resultado: Surpreendentemente, isso não ajudou. Para esta tarefa específica de classificar rótulos, fazer o estagiário "pensar em voz alta" apenas adicionou etapas extras sem melhorar a resposta final. Foi como pedir a um bibliotecário que escrevesse um ensaio antes de guardar um livro; isso o atrasou sem melhorar o resultado.

Os Concorrentes: Quão Grande Precisa Ser o Cérebro?

Os pesquisadores testaram três diferentes "estagiários" (modelos de IA) de tamanhos variados:

• Mistral-7B: Um cérebro de tamanho médio (7 bilhões de parâmetros).
• LLaMA-3-8B: Um cérebro ligeiramente maior (8 bilhões de parâmetros).
• DeepSeek-R1-32B: Um cérebro gigante (32 bilhões de parâmetros).

A Descoberta: O cérebro maior venceu. O DeepSeek-R1-32B foi o mais preciso ao ler as notas confusas e encontrar o rótulo correto. Isso sugere que, para este tipo de tarefa, ter um modelo de IA maior e mais poderoso faz uma diferença real.

A Conclusão

O artigo conclui que você não precisa construir um modelo de aprendizado de máquina personalizado do zero para organizar notas de software confusas. Em vez disso, você pode usar uma IA pré-existente poderosa e simplesmente dar a ela alguns bons exemplos (prompting Few-Shot) para realizar o trabalho.

• Melhor Estratégia: Mostrar à IA alguns exemplos primeiro.
• Melhor IA: O modelo mais poderoso e maior disponível.
• Perda de Tempo: Fazer a IA escrever um longo processo de raciocínio antes de responder.

Esta abordagem economiza tempo e esforço porque elimina a necessidade de coletar e rotular milhares de exemplos de treinamento, permitindo que desenvolvedores automatizem sua organização de arquivos imediatamente.

Resumo técnico

Resumo Técnico: Classificação de Commits Convencionais usando Grandes Modelos de Linguagem e Engenharia de Prompt

Declaração do Problema

Commits Convencionais fornecem um formato estruturado para mensagens de commit (por exemplo, tipo: descrição), permitindo a automação de ferramentas como geradores de changelog e sistemas de versionamento semântico. No entanto, desenvolvedores frequentemente escrevem mensagens não estruturadas, tornando necessária a classificação automática para restaurar essa estrutura. Abordagens tradicionais dependem de modelos de aprendizado de máquina (ML) e aprendizado profundo (DL) treinados em grandes conjuntos de dados rotulados. Esses métodos exigem pré-processamento significativo de dados, engenharia de recursos e retreinamento frequente quando a terminologia do projeto ou as taxonomias de classificação evoluem. Este artigo investiga uma alternativa sem treinamento: aproveitar Grandes Modelos de Linguagem (LLMs) por meio de engenharia de prompt para classificar mensagens de commit sem a sobrecarga de curar dados de treinamento rotulados ou ajustar modelos.

Metodologia

O estudo emprega um framework sem treinamento onde LLMs classificam alterações de código diretamente com base em prompts, sem ajuste fino do modelo.

• Conjunto de Dados: Um conjunto de dados balanceado de 3.200 commits foi extraído do repositório de código aberto InfluxDB. O conjunto inclui mensagens de commit e seus respectivos diffs de código (alterações). Os dados estão aproximadamente balanceados entre os tipos de commit (por exemplo, feat, fix, docs, refactor, test, chore).
• Modelos Avaliados: Três LLMs de código aberto de escalas de parâmetros variadas foram testados:
  • Mistral-7B-Instruct (7B parâmetros)
  • LLaMA-3-8B (8B parâmetros)
  • DeepSeek-R1-32B (32B parâmetros)
• Estratégias de Prompting: Três abordagens distintas de prompting foram avaliadas:
  1. Zero-Shot: O modelo recebe definições de classes e instruções, mas nenhum exemplo.
  2. Few-Shot: O modelo recebe exemplos rotulados representativos de mensagens de commit e diffs de código, juntamente com instruções.
  3. Cadeia de Pensamento (CoT): O modelo é instruído a gerar etapas intermediárias de raciocínio (identificando pistas e mapeando-as para tipos) antes de emitir a classificação final.
• Avaliação: Os modelos foram avaliados usando métricas padrão de classificação: Acurácia, Precisão, Revocação (Recall) e Pontuação F1. A verdade fundamental foi derivada dos rótulos existentes no repositório InfluxDB.

Principais Resultados

A avaliação empírica produziu as seguintes descobertas:

1. Desempenho da Estratégia de Prompting:

   • Prompting Few-shot consistentemente alcançou a maior acurácia em todos os modelos. Por exemplo, o DeepSeek-R1-32B alcançou 0,5749 de acurácia com prompting few-shot, comparado a 0,5652 (Zero-shot) e 0,5497 (CoT).
   • Cadeia de Pensamento (CoT) não produziu ganhos adicionais para esta tarefa específica de classificação. Em vários casos, o desempenho do CoT foi intermediário ou inferior ao few-shot, sugerindo que a classificação estruturada depende mais de reconhecimento de padrões do que de raciocínio multi-etapa.
   • Zero-shot geralmente resultou no desempenho mais baixo ou próximo do mais baixo, particularmente para modelos menores como o Mistral-7B-Instruct (0,3356 de acurácia).

2. Impacto da Escala do Modelo:

   • DeepSeek-R1-32B (32B parâmetros) demonstrou o melhor desempenho geral em todas as métricas e estratégias de prompting, alcançando uma acurácia média de 0,563.
   • LLaMA-3-8B registrou o desempenho mais baixo (acurácia média de 0,372).
   • Mistral-7B-Instruct mostrou desempenho intermediário.
   • Os resultados sugerem que a escala do modelo desempenha um papel significativo na capacidade de compreender o contexto e classificar alterações de código com precisão.

3. Métricas Agregadas:

   • Em todos os modelos, o prompting Few-shot alcançou a maior acurácia média (0,531) e pontuação F1 (0,468).
   • O prompting Zero-shot alcançou a maior precisão média (0,508), mas com menor revocação.

Principais Contribuições

O artigo delineia três contribuições primárias:

1. Abordagem Novel: Propõe uma abordagem sem treinamento para classificação de commits convencionais usando LLMs e engenharia de prompt, contrastando com pipelines tradicionais de ML/DL que exigem conjuntos de dados rotulados.
2. Avaliação Empírica: Fornece uma avaliação empírica abrangente dessa abordagem usando um conjunto de dados amplo (3.200 commits) e múltiplos modelos de código aberto de última geração.
3. Orientação Prática: Discute a eficácia da classificação baseada em prompt, identificando que o prompting few-shot é superior ao zero-shot e ao CoT para esta tarefa, e destacando as compensações dentro do framework de engenharia de software.

Significado e Alegações

Os autores posicionam este trabalho como um guia prático para pesquisadores e profissionais que visam automatizar a classificação de commits sem o processo intensivo de recursos de curadoria de dados e treinamento de modelos.

• O Design do Prompt é Crítico: O estudo enfatiza que o design do prompt impacta significativamente o desempenho, frequentemente excedendo a influência da própria arquitetura do modelo. Especificamente, incluir exemplos claros e diversos (few-shot) atua como um sinal de treinamento implícito.
• Limitações do Raciocínio: O artigo alega modestamente que, embora o CoT seja eficaz para raciocínio complexo, ele não necessariamente melhora o desempenho para tarefas de classificação estruturada como a tipificação de commits, onde o reconhecimento de padrões é primordial.
• Escopo da Comparação: Os autores afirmam explicitamente que não visam superar diretamente as linhas de base tradicionais de ML/DL. Em vez disso, o estudo foca em analisar como diferentes designs de prompt influenciam a classificação baseada em LLM. A alegação de que "modelos maiores performam melhor" é estritamente relativa aos LLMs avaliados e não uma comparação contra linhas de base supervisionadas externas.
• Direções Futuras: O artigo sugere que trabalhos futuros poderiam envolver testar a generalização em repositórios mais diversos, aplicar otimização automática de prompts e explorar abordagens híbridas combinando LLMs com técnicas tradicionais de ML. Também nota o potencial de aplicar essas descobertas à geração automatizada de notas de lançamento e previsão de bugs.