Resumo Técnico: Mineração de Repositórios Agêntica: Uma Avaliação Multi-Tarefa

Declaração do Problema

A mineração de repositórios de software (MSR) frequentemente requer a classificação de artefatos — como commits, linhas de código, revisões ou repositórios inteiros — em categorias específicas. A rotulagem humana tradicional é cara, demorada e propensa a erros. Embora Aprendizado de Máquina (ML) e Modelos de Linguagem Grandes (LLMs) ofereçam alternativas, eles enfrentam um gargalo crítico: engenharia de contexto.

As abordagens padrão de LLM exigem que humanos pré-engenharem o contexto (por exemplo, selecionando diffs de código específicos, metadados ou conteúdos de arquivos) para se encaixarem no prompt do modelo. Esse processo é intensivo em mão de obra e frequentemente leva a classificações incorretas ou incertezas quando o contexto fornecido é insuficiente ou quando o tamanho do artefato excede a janela de contexto do modelo. Por outro lado, a Mineração de Repositórios Agêntica propõe que agentes de LLM podem explorar repositórios autonomamente usando ferramentas de desenvolvimento padrão (por exemplo, bash, git) para recuperar dinamicamente o contexto necessário para classificação, contornando a necessidade de pré-engenharia humana. No entanto, permanece incerto se esses contextos recuperados autonomamente podem igualar a qualidade de classificação das entradas curadas por humanos.

Metodologia

Os autores conduziram uma avaliação empírica multi-tarefa comparando abordagens agênticas contra baselines de LLM simples em quatro tarefas distintas de classificação de MSR.

Configuração Experimental

• Tarefas:
  1. Herbold (Commits Enredados): Classificar se uma linha específica em um commit de correção de bugs contribui para a correção ou é irrelevante (por exemplo, refatoração, espaços em branco).
  2. Härtel (Revisões de Segurança): Determinar se um comentário de revisão de Pull Request (PR) discute um defeito de segurança potencial.
  3. Levin (Atividades de Manutenção): Classificar commits como corretivos, adaptativos ou perfeccionistas.
  4. Munaiah (Classificação de Repositórios): Distinguir projetos de software engenheirados de tarefas de casa, brinquedos ou experimentos pessoais.
• Abordagens:
  • LLMs Simples: Recebem contexto pré-engenhado (por exemplo, diffs completos, mensagens de commit, READMEs) em uma única rodada. Variantes incluem Cadeia de Pensamento (CoT), Sem-CoT e uma baseline de Memorização (sem contexto).
  • LLMs Agênticos: Operam em um contêiner Docker isolado com acesso ao repositório completo. Eles executam autonomamente uma sequência de comandos bash (por exemplo, git checkout, grep, cat) para explorar o repositório e reunir evidências antes de classificar. Duas variantes de chamada de ferramenta foram testadas: Nativa (saída estruturada específica do fornecedor) e Sequência de Parada (comandos marcados com tags XML).
• Modelos: Os experimentos utilizaram Claude 3.7 Sonnet, Mistral Large 3 e Llama 3.3 70B via Amazon Bedrock.
• Métricas: Precisão de classificação (usando um modelo bayesiano hierárquico para contabilizar a dificuldade da amostra), uso de recursos (tokens, tempo, custo) e modos de falha (estouro de contexto, erros de ferramenta).
• Escala: 4.943 classificações válidas em 4943 experimentos (excluindo erros de estouro de contexto em LLMs simples para algumas métricas).

Contribuições Principais

1. Framework Agêntico: Introdução de um framework simples para mineração de repositórios agêntica onde agentes usam comandos bash padrão em contêineres isolados para recuperar dinamicamente contexto para classificação.
2. Avaliação Comparativa: Fornecimento de uma comparação direta de precisão, uso de recursos e modos de falha entre abordagens agênticas e de LLM simples em quatro tarefas diversas.
3. Diagnóstico da Verdade Terrena: Diagnóstico manual de 100 casos onde as abordagens discordaram da verdade terrena, revelando ambiguidades nas diretrizes de rotulagem originais e limitações dos rótulos produzidos sob contexto limitado.

Resultados

1. Robustez e Escalabilidade

A principal vantagem dos agentes é a robustez ao tamanho do contexto.

• Estouro de Contexto: LLMs simples encontraram frequentemente erros de estouro de janela de contexto (por exemplo, 9 erros para Llama, 7 para Sonnet) quando artefatos (como repositórios completos ou diffs grandes) excediam os limites do modelo. Agentes encontraram zero erros de estouro de contexto.
• Escalonamento de Custo: Os custos de LLMs simples correlacionaram-se linearmente com o tamanho do contexto pré-engenhado. Os custos dos agentes mostraram correlação próxima de zero com o tamanho do artefato porque os agentes leem seletivamente apenas as linhas necessárias.
• Eficiência de Custo: Embora os agentes fossem geralmente mais caros (fatores de 1,2x a 3,2x mais altos) devido a múltiplas chamadas de ferramenta e acumulação de tokens, eles tornaram-se mais custo-efetivos que o Sonnet Simples quando o contexto engenheirado excedia aproximadamente 30K tokens.

2. Precisão de Classificação

• Desempenho Competitivo: Agentes alcançaram precisão competitiva com LLMs simples, apesar de recuperarem seu próprio contexto em vez de receberem entrada pré-engenhada.
• Variância Específica da Tarefa:
  • Herbold (Linhas): Todas as abordagens lutaram (46–56% de precisão), sem um vencedor claro.
  • Härtel (Segurança): Agentes performaram comparavelmente ao Sonnet Simples. Notavelmente, o Llama Simples performou melhor quando erros foram excluídos, provavelmente devido à sua tendência de prever "incerto" (uma estratégia válida para esta tarefa ambígua).
  • Levin (Commits): Alta precisão em todos os modelos (87–93%), sem diferença significativa entre agentes e LLMs simples.
  • Munaiah (Repositórios): Agentes mostraram uma ligeira vantagem, particularmente o Agente Mistral, que tinha 78% de probabilidade de ser significativamente melhor que o Mistral Simples. Esta tarefa mostrou o sinal mais forte para uma vantagem do agente.
• Tratamento de Incerteza: Tanto agentes quanto LLMs simples lutaram para identificar corretamente rótulos "incertos", frequentemente recorrendo a uma categoria específica. Agentes, tendo acesso mais amplo ao contexto, tenderam a subexpressar a incerteza.

3. Modos de Falha e Discordâncias

• Erros de Ferramenta: Agentes tiveram taxas de erro de chamada de ferramenta não fatais de ~1,7–2,2%, mas recuperaram-se em etapas subsequentes.
• Discordâncias com a Verdade Terrena: O diagnóstico manual de 100 casos de discordância revelou:
  • Ambiguidades de Especificação: Muitas discordâncias derivaram de definições de tarefa vagas (por exemplo, distinguir entre limpeza de espaços em branco e refatoração).
  • Limitações de Contexto: Alguns rótulos de verdade terrena provavelmente estavam incorretos ou "incertos" porque os anotadores humanos originais careciam do contexto mais amplo que os agentes acessavam.
  • Conclusão: Métricas de precisão contra a verdade terrena existente podem subestimar o desempenho de abordagens com acesso mais amplo ao contexto.

Significado e Alegações

O artigo alega que a mineração de repositórios agêntica é uma alternativa viável e robusta à classificação tradicional de LLM com engenharia de contexto.

• Independência do Tamanho do Artefato: Agentes escalonam independentemente do tamanho do artefato, evitando os gargalos de janela de contexto que afligem LLMs simples.
• Precisão Competitiva: Apesar da complexidade da recuperação dinâmica, os agentes igualam a precisão de entradas curadas por humanos, sugerindo que o gargalo da "engenharia de contexto" pode ser automatizado sem sacrificar a qualidade.
• Reavaliação da Verdade Terrena: O estudo sugere que as verdades terrenas existentes de MSR, frequentemente derivadas de contexto limitado, podem conter ambiguidades ou erros inerentes. Abordagens com acesso mais amplo ao contexto (como agentes) podem fornecer classificações mais precisas do que os rótulos atuais de "padrão ouro" implicam.

Os autores concluem que, embora os agentes sejam atualmente mais caros para artefatos pequenos, sua capacidade de lidar com repositórios grandes e complexos sem estouro os torna uma escolha superior para pesquisa escalável em engenharia de software.