AgenticFlict: A Large-Scale Dataset of Merge Conflicts in AI Coding Agent Pull Requests on GitHub

Resumo Técnico: AgenticFlict

1. O Problema

A Engenharia de Software 3.0 representa uma mudança de paradigma onde os agentes de IA de codificação (como GitHub Copilot, Devin, Cursor, etc.) deixaram de ser apenas ferramentas assistivas para se tornarem contribuintes ativos, gerando Pull Requests (PRs) diretamente. Embora estudos anteriores tenham analisado a produtividade e as taxas de aceitação dessas contribuições, um aspecto fundamental da colaboração em software — os conflitos de mesclagem (merge conflicts) — permanece pouco explorado no contexto de contribuições geradas por IA.

Conflitos de mesclagem ocorrem quando modificações concorrentes afetam regiões sobrepostas do código e não podem ser reconciliadas automaticamente pelo sistema de controle de versão (Git). Na prática, esses conflitos introduzem sobrecarga de coordenação e impactam negativamente a produtividade. Até o momento, não existiam conjuntos de dados em larga escala que fornecessem rótulos explícitos e reproduzíveis para conflitos de mesclagem em PRs de agentes de IA, limitando a capacidade da comunidade de estudar e mitigar a "fricção de integração" introduzida por essas ferramentas.

2. Metodologia

Os autores desenvolveram um pipeline de curadoria de dados em cinco etapas para construir o conjunto de dados AgenticFlict, baseado no dataset AIDev (que contém PRs de agentes de IA):

1. Coleta de PRs de Agentes: Seleção de 142.652 PRs de agentes (estados "aberto" ou "fechado sem mesclagem") a partir de 59.412 repositórios.
2. Recuperação de Metadados: Uso da API GraphQL do GitHub para obter identificadores de commit de base (baseRefOid) e de cabeça (headRefOid), essenciais para a simulação. O pipeline lida com falhas de API e repositórios inacessíveis.
3. Preparação do Repositório: Clonagem local de repositórios usando o mecanismo de partial clone do Git para eficiência. O pipeline garante um estado determinístico antes de cada simulação.
4. Simulação Determinística de Mesclagem:
   • Para cada PR, o sistema executa um comando git merge --no-commit --no-ff localmente.
   • Se a mesclagem falhar, o estado do repositório é marcado como "conflitado".
   • Para PRs fechados, o sistema reconstrói o estado do repositório no momento do fechamento para simular as condições exatas que o desenvolvedor teria encontrado.
5. Extração de Conflitos:
   • Identificação de arquivos com conflitos usando git diff --name-only --diff-filter=U.
   • Parsing dos marcadores de conflito do Git (<<<<<<<, =======, >>>>>>>) para extrair regiões de conflito granulares.
   • Coleta de metadados: caminhos de arquivo, limites de linhas (início, meio, fim), hashes SHA-256 dos blocos de código e prévias textuais.
   • Atribuição de commits: Identificação dos últimos commits que modificaram os arquivos conflitantes em ambos os lados (base e head).

3. Principais Contribuições

• AgenticFlict Dataset: O primeiro conjunto de dados em larga escala focado especificamente em conflitos de mesclagem textuais em PRs de agentes de IA.
  • Escala: 142.652 PRs analisados, resultando em 29.609 PRs com conflitos (taxa de 27,67%).
  • Granularidade: Extração de mais de 336.000 regiões de conflito finas (nível de linha).
• Pipeline de Simulação Reproduzível: Uma metodologia robusta para simular e detectar conflitos de mesclagem em escala, lidando com limitações de API e repositórios dinâmicos.
• Esquema de Dados Relacional: Estrutura de dados organizada em entidades (Repositório, PullRequest, ConflictFile, ConflictRegion, ConflictFileCommit) que permite análises em múltiplos níveis de granularidade.
• Disponibilidade Pública: O dataset, o código e materiais suplementares foram disponibilizados no Zenodo para fomentar pesquisas futuras.

4. Resultados e Análise Exploratória

A análise preliminar do dataset revelou insights significativos sobre o comportamento dos agentes de IA:

• Frequência e Severidade: Os conflitos são frequentes (quase 28% dos PRs) e muitas vezes substanciais. Um PR conflitante médio afeta 4,36 arquivos e contém mais de 500 linhas de conflito.
• Variação entre Agentes: Existe uma diferença estatisticamente significativa na taxa de conflitos entre diferentes agentes:
  • Copilot: Menor taxa de conflito (15,24%).
  • OpenAI Codex: Maior taxa de conflito (31,85%), mais que o dobro do Copilot.
  • Cursor, Devin e Claude_Code: Taxas intermediárias (entre 19% e 26%).
  • Além da frequência, o OpenAI Codex também tende a gerar conflitos mais complexos e de maior severidade.
• Relação com o Tamanho do PR (Code Churn): Há uma correlação clara entre o tamanho da mudança (linhas adicionadas/removidas) e a probabilidade de conflito.
  • PRs pequenos (mediana de 2 linhas) têm ~9,9% de taxa de conflito.
  • PRs médios/grandes (mediana de 25+ linhas) atingem taxas de conflito próximas a 30-33%.
  • Isso indica que mudanças maiores geradas por IA interferem mais facilmente no desenvolvimento concorrente.

5. Significado e Impacto

O trabalho AgenticFlict preenche uma lacuna crítica na pesquisa de Engenharia de Software assistida por IA. Ao fornecer dados empíricos sobre a fricção de integração, o dataset permite:

1. Estudos Empíricos: Compreender a prevalência e as características dos conflitos em código gerado por IA.
2. Desenvolvimento de Ferramentas: Treinar e avaliar modelos automatizados para detecção e resolução de conflitos.
3. Otimização de Fluxos de Trabalho: Informar estratégias de integração que considerem o comportamento específico de cada agente de IA (ex: limitar o tamanho dos PRs gerados por agentes com maior taxa de conflito).
4. Benchmarks: Servir como base para avaliar ferramentas de previsão de conflitos e automação de mesclagem em ambientes de desenvolvimento modernos.

Em suma, o estudo destaca que, embora os agentes de IA aumentem a produtividade, eles introduzem novos desafios de integração que devem ser gerenciados ativamente para sustentar a evolução para a "Engenharia de Software 3.0".