Collaborator or Assistnat? How AI Coding Agents Partition Work Across Pull Request Lifecycles

Resumo Técnico: Colaborador ou Assistente? Como Agentes de Codificação com IA Particionam o Trabalho ao Longo dos Ciclos de Vida de Pull Requests

Declaração do Problema
O surgimento de agentes de codificação com IA capazes de criar ramos autonomamente, escrever código e submeter Pull Requests (PRs) introduziu uma ambiguidade crítica na supervisão da engenharia de software: a distinção entre agência operacional (quem inicia e executa o trabalho) e governança de merge (quem autoriza a conclusão do trabalho). Enquanto pesquisas anteriores focaram em métricas centradas no resultado (por exemplo, taxas de merge, tempo até o merge) ou interações discretas (por exemplo, sugestões de código), há uma falta de evidências empíricas sobre como esses agentes particionam o trabalho ao longo de todo o ciclo de vida do PR. Especificamente, permanece incerto se os agentes funcionam como "Colaboradores" (impulsionando o fluxo de trabalho com supervisão humana) ou "Assistentes" (fornecendo suporte delimitado dentro de fluxos de trabalho liderados por humanos), e como a autoridade de merge é distribuída entre humanos e automação. Sem dados do ciclo de vida que separem a iniciação da autorização terminal, as equipes carecem de orientações baseadas em evidências para alocar recursos de revisão e calibrar a confiança.

Metodologia
Os autores conduziram um estudo empírico analisando 29.585 ciclos de vida de PRs do conjunto de dados AIDev, abrangendo cinco ferramentas de codificação com IA: OpenAI, GitHub Copilot, Devin, Cursor e Claude Code. O estudo emprega uma abordagem de mineração de processos para reconstruir trajetórias de PRs e classificar interações.

• Pipeline de Dados: O pipeline analisa eventos cronologicamente, classifica atores como "Agente" ou "Humano" usando uma heurística de dois passos (verificando actor.type para "Bot" e analisando logins para padrões específicos de ferramentas como copilot, devin, cursor, etc.) e atribui fases ao ciclo de vida do PR.
• Modelo de Ciclo de Vida: O ciclo de vida do PR é definido por três fases não terminais (PR Criado, Revisão, Revisão) e dois resultados terminais (Merge & Fechado, Não Merge & Fechado).
• Taxonomia (Iniciador × Aprovador): O quadro analítico central é uma taxonomia de seis cenários baseada no iniciador (primeiro commitador) e no aprovador (ator de merge):
  • Cenários de Colaborador (S1–S3): PRs iniciados por Agente.
    • S1: Iniciado por Agente + Aprovado por Humano
    • S2: Iniciado por Agente + Aprovado por Agente
    • S3: Iniciado por Agente + Não Merge
  • Cenários de Assistente (S4–S6): PRs iniciados por Humano.
    • S4: Iniciado por Humano + Aprovado por Humano
    • S5: Iniciado por Humano + Aprovado por Agente
    • S6: Iniciado por Humano + Não Merge
• Análise: O estudo calcula probabilidades de transição e tempos médios de permanência (horas) entre fases para gerar máquinas de estado para cada ferramenta. A significância estatística é testada usando um teste qui-quadrado de independência e V de Cramér para tamanho do efeito.

Principais Contribuições

1. Quadro Analítico: Um modelo de ciclo de vida acoplado a uma taxonomia Iniciador × Aprovador que desvê a agência operacional da autoridade de governança, indo além de métricas de resultado simples.
2. Caracterização Empírica: Uma análise de 29.585 PRs revelando um espectro distinto "Colaborador–Assistente". O estudo fornece cinco máquinas de estado por ferramenta quantificando a dinâmica do fluxo de trabalho e uma análise de caminho de merges autorizados por automação.
3. Pacote de Replicação: Um conjunto de dados publicamente disponível, pipeline de análise e artefatos gerados para apoiar pesquisas futuras sobre automação, supervisão e governança.

Resultados

• O Espectro Colaborador–Assistente: O estudo identifica uma forte associação entre a identidade da ferramenta e o padrão de fluxo de trabalho (V de Cramér = 0,50).
  • Ferramentas Colaboradoras (Cursor, Devin, Copilot): Essas ferramentas exibem ≥96% de PRs iniciados por agente. No entanto, elas encaminham a maioria desses PRs através de revisão humana (por exemplo, Copilot: 90,3%, Devin: 52,2%).
  • Ferramentas Assistentes (OpenAI, Claude): Essas ferramentas exibem ≥95,6% de PRs iniciados por humanos. Elas mostram uma tendência maior para resolução direta sem fases de revisão registradas (OpenAI: 76,5% de resolução direta).
• Desacoplamento de Agência e Governança: Uma descoberta crítica é o desacoplamento da iniciação e aprovação. Embora os agentes iniciem a vasta maioria do trabalho em fluxos de trabalho de "Colaborador", eles detêm quase zero autoridade de merge. Aprovadores classificados como agentes (S2 e S5) representam menos de 0,1% dos PRs em todas as ferramentas.
• Padrão "Colega Júnior": Os agentes realizam a maior parte do trabalho operacional (iniciação, codificação, revisão), mas funcionam como "colegas juniores" em relação à governança; a autoridade terminal de merge permanece quase exclusivamente humana.
• Merges Autorizados por Automação (RQ3): Dos 54 PRs com aprovadores classificados como agentes (0,24% dos PRs mesclados), 61% passaram por uma fase de revisão humana antes de um bot executar o merge. Isso sugere que "Aprovado por Agente" frequentemente reflete o mecanismo de execução (por exemplo, automação CI/CD) em vez de uma decisão de governança autônoma. Os 39% restantes foram mesclados diretamente, mas os logs de eventos não conseguem distinguir entre políticas de auto-merge configuradas por humanos e governança autônoma genuína de agentes.

Significância e Alegações
O artigo alega fornecer a primeira evidência em nível de ciclo de vida de como agentes de codificação com IA particionam o trabalho, desafiando a suposição de que alta automação implica alta autonomia na governança.

• Design de Fluxo de Trabalho: As descobertas sugerem que ferramentas "Colaboradoras" exigem que as equipes planejem altos volumes de solicitações de revisão iniciadas por agentes, enquanto ferramentas "Assistentes" podem permitir estratégias de revisão baseadas em risco onde PRs de baixo risco, iniciados por humanos, são resolvidos diretamente.
• Limites de Governança: O estudo destaca uma "limitação de medição" nos logs de eventos atuais: eles registram quem executou um merge, mas não quem decidiu sobre ele. A raridade de merges verdadeiramente autorizados por agentes (0,07% da amostra total) indica que as organizações atualmente traçam uma linha rígida entre autoridade de merge humana e automatizada, independentemente da capacidade técnica da ferramenta.
• Escopo Modesto: Os autores observam explicitamente que o conjunto de dados representa uma instantânea transversal da maturidade inicial de produção (concentrada no 2º–3º trimestres de 2025) em vez de uma tendência longitudinal. Eles reconhecem que políticas de governança de repositório (por exemplo, regras de proteção de ramo) podem confundir padrões de fluxo de trabalho observados, e que a taxonomia captura quem fez o trabalho, mas não por que ou a profundidade semântica da revisão (por exemplo, distinguir uma revisão minuciosa de um "LGTM" superficial).

Em resumo, o artigo argumenta que, embora os agentes de IA estejam cada vez mais capazes de iniciação operacional, a governança da integração de software permanece predominantemente centrada no humano, criando uma dinâmica de "colega júnior" que requer estratégias específicas de supervisão distintas do desenvolvimento tradicional apenas com humanos.