CoRaCMG: Contextual Retrieval-Augmented Framework for Commit Message Generation

1. Declaração do Problema

Na engenharia de software, as mensagens de commit são críticas para documentar alterações no código, facilitar a colaboração e auxiliar na manutenção. No entanto, escrevê-las manualmente é demorado, resultando frequentemente em mensagens de baixa qualidade, vagas ou incompletas. Embora a Geração de Mensagens de Commit (CMG) vise automatizar esse processo usando Modelos de Linguagem Grandes (LLMs), as abordagens existentes enfrentam limitações significativas:

• Lacuna Contextual: LLMs padrão frequentemente carecem de contexto específico do projeto, levando a saídas genéricas que ignoram terminologias e estilos de escrita específicos.
• Treinamento Estático: Métodos baseados em aprendizado exigem retreinamento caro para se adaptar a novos projetos ou convenções de codificação em mudança.
• Qualidade do Conjunto de Dados: Conjuntos de dados públicos existentes (por exemplo, CommitGen, NNGen) sofrem com controle de qualidade deficiente, falta de metadados (por exemplo, nomes de repositório, carimbos de data/hora) e diversidade linguística limitada (majoritariamente apenas Java).
• Limitações de Recuperação: Métodos baseados em recuperação tradicional simplesmente copiam mensagens existentes, que podem não corresponder perfeitamente à consulta, enquanto métodos híbridos frequentemente dependem de arquiteturas complexas e rígidas.

2. Metodologia: Framework CoRaCMG

Os autores propõem o CoRaCMG (Framework de Recuperação Aumentada por Contexto para Geração de Mensagens de Commit), um framework livre de treinamento que aproveita um mecanismo de recuperação híbrido para guiar LLMs. O framework opera em três fases distintas:

Fase I: Recuperar (Recuperador Híbrido)

Em vez de depender de uma única métrica de similaridade, o CoRaCMG emprega um recuperador híbrido para encontrar os pares históricos <diff, mensagem> mais relevantes de um banco de dados de alta qualidade (ApacheCM-10K).

• Similaridade Lexical: Utiliza BM25 para capturar correspondências exatas de palavras-chave (por exemplo, nomes de variáveis específicos, chamadas de API).
• Similaridade Semântica: Utiliza um modelo de incorporação de código pré-treinado (Jina AI jina-embeddings-v2-base-code) para capturar a intenção estrutural e lógica das alterações de código.
• Fusão: As pontuações de ambos os métodos são normalizadas e combinadas com uma razão de ponderação 5:5 para produzir uma pontuação híbrida final. O par classificado no topo é selecionado como o "par de exemplo".
• Prevenção de Vazamento de Dados: Um mecanismo garante que o exemplo recuperado não seja idêntico ao diff da consulta.

Fase II: Aumentar (Prompting Estruturado)

O sistema constrói um prompt estruturado que concatena:

1. O Diff de Consulta (a alteração de código a ser descrita).
2. O Diff Recuperado (a alteração de código histórica similar).
3. A Mensagem Recuperada (a mensagem de commit escrita por humanos para a alteração histórica).
   Essa estrutura permite que o LLM realize Aprendizado em Contexto, observando explicitamente a terminologia específica do projeto e o estilo de escrita antes de gerar a nova mensagem.

Fase III: Gerar

O prompt aumentado é alimentado em um Modelo de Linguagem Grande (LLM) (por exemplo, GPT-4o, DeepSeek-R1, Qwen-2.5). O LLM gera uma mensagem de commit que alinha com o estilo do exemplo recuperado enquanto descreve com precisão o diff de consulta específico. Nenhum ajuste fino do LLM é necessário.

3. Contribuições Principais

1. Framework Inovador: Introdução do CoRaCMG, um framework dinâmico de recuperação aumentada, livre de treinamento, que efetivamente preenche a lacuna entre LLMs genéricos e requisitos específicos do projeto.
2. Conjunto de Dados de Alta Qualidade (ApacheCM): Os autores construíram e utilizaram o ApacheCM, um conjunto de dados abrangente derivado de 50 projetos Apache principais. Ele cobre nove linguagens de programação, inclui metadados ricos (SHA, autor, arquivos) e passa por filtragem rigorosa (removendo bots, commits de mesclagem e mensagens de baixa qualidade), abordando as limitações de conjuntos de dados anteriores.
3. Estratégia de Recuperação Híbrida: Demonstrou que combinar recuperação lexical (BM25) e semântica (Dense) produz desempenho superior em comparação com a recuperação de modo único, equilibrando a correspondência exata de terminologia com a compreensão semântica.
4. Avaliação Abrangente: Experimentos extensos em múltiplos LLMs, linguagens e métricas (tanto avaliação objetiva quanto humana).

4. Resultados Experimentais

O framework foi avaliado no subconjunto ApacheCM-10K usando cinco LLMs (GPT-4o, GPT-4.1, DeepSeek-V3, DeepSeek-R1, Qwen-2.5) e comparado com baselines de Estado da Arte (SOTA) (NNGen, CoRec, CCT5, etc.).

• Ganhos de Desempenho: O CoRaCMG superou significativamente o uso direto de LLMs e as baselines SOTA em todas as métricas (BLEU, ROUGE-L, METEOR, CIDEr).
  • Melhoria no BLEU: Aumento médio de 65% entre os modelos.
  • Destaque Específicos:
    • DeepSeek-R1 com CoRaCMG alcançou uma melhoria relativa de 76% no BLEU e 71% no CIDEr com apenas um exemplo recuperado.
    • GPT-4o mostrou a maior melhoria relativa no BLEU (89%) quando aumentado.
• Avaliação Humana: Em avaliações cegas por três engenheiros de software, as mensagens geradas pelo CoRaCMG obtiveram pontuação mais alta do que tanto a geração direta por LLM quanto as mensagens originais escritas por desenvolvedores ("verdade terrestre") em Clareza, Completude e Correção. Isso sugere que LLMs, quando guiados por contexto, podem produzir mensagens mais informativas do que os originais humanos frequentemente vagos.
• Ablação e Configuração:
  • Híbrido vs. Único: A recuperação híbrida (Lexical + Semântica) superou consistentemente a recuperação puramente lexical ou puramente semântica.
  • Modelo de Incorporação: As incorporações Jina foram consideradas superiores ao CodeBERT devido ao melhor manuseio de contextos longos (até 8k tokens vs. 512).
  • Número de Exemplos: Os ganhos de desempenho estabilizaram após três pares de exemplo, indicando retornos decrescentes e interferência potencial de contexto com mais exemplos.
• Generalização: O framework demonstrou desempenho robusto em Java, C++ e Python, provando sua natureza agnóstica à linguagem.

5. Significado e Impacto

• Utilidade Prática: O CoRaCMG oferece uma solução livre de treinamento que pode ser implantada imediatamente em qualquer projeto de software sem o custo computacional de ajuste fino de modelos. Adapta-se dinamicamente a novos projetos acessando simplesmente seu histórico de commits.
• Melhoria de Qualidade: Aborda o problema da "mensagem de commit vaga" forçando LLMs a aderir a convenções específicas do projeto, melhorando assim a manutenibilidade e a legibilidade dos repositórios de software.
• Benchmarking: A introdução do ApacheCM estabelece um novo padrão para pesquisa em CMG, fornecendo um benchmark reprodutível, multilíngue e rico em metadados que supera as falhas de conjuntos de dados anteriores.
• Insight sobre LLMs: O estudo revela que, para CMG, as capacidades de raciocínio (por exemplo, no DeepSeek-R1) são menos críticas do que a adaptação contextual e o alinhamento terminológico, sugerindo que a recuperação aumentada é uma alavanca mais eficaz para esta tarefa específica do que a complexidade da arquitetura do modelo.

Em conclusão, o CoRaCMG demonstra que integrar Geração Aumentada por Recuperação (RAG) com LLMs é uma estratégia altamente eficaz para automatizar a geração de mensagens de commit, superando significativamente os métodos existentes ao aproveitar o fluxo de trabalho de "pesquisar e imitar" inerente às práticas de desenvolvedores humanos.