Predicting Acceptance and Review Effort in Human and Agent Pull Requests
Este artigo demonstra que modelos de aprendizado de máquina que utilizam apenas características do momento da submissão podem prever com precisão a aceitação de pull requests tanto de humanos quanto de agentes, mas têm dificuldade em prever o esforço de revisão, sugerindo que seu melhor uso é como ferramentas de aconselhamento para triagem em vez de tomadores de decisão automatizados.
Artigo original dedicado ao domínio público sob CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Imagine um workshop de software movimentado onde as mudanças de código são como pacotes esperando para serem enviados. Nos velhos tempos, apenas trabalhadores humanos enviavam esses pacotes. Mas agora, uma nova equipe de robôs de IA se juntou ao time, entregando seus próprios pacotes de código ao lado dos humanos. Os gerentes (chamados de "mantenedores") estão subitamente sobrecarregados. Eles têm uma montanha de pacotes para verificar, e precisam saber duas coisas imediatamente: Quais pacotes serão aprovados e enviados? e Quais deles exigirão uma inspeção exaustiva e cansativa?
Este artigo é como um detetive tentando resolver esse mistério usando apenas as pistas visíveis no exterior do pacote no momento em que ele chega, antes mesmo de alguém abrir a caixa ou começar a falar sobre ela.
A Grande Descoberta: O "Rótulo do Pacote" Diz Muito
Os pesquisadores descobriram que você pode, na verdade, fazer um palpite muito bom sobre se um pacote será aceito apenas olhando para o seu rótulo e para a caixa em que está. Eles construíram um sistema de computador inteligente que observava coisas como:
- O comprimento da descrição no rótulo.
- Quantos arquivos havia dentro da caixa.
- A hora do dia em que foi enviado.
- A reputação do workshop de onde veio.
Quando testaram este sistema, o computador tornou-se muito bom em identificar os pacotes "aprovados". Na verdade, os melhores modelos (usando um método chamado Random Forest) obtiveram uma pontuação de 0,958 de 1,0 para identificar corretamente quais pacotes seriam aceitos. Isso é como um detetive resolvendo 96 de cada 100 casos apenas olhando para o endereço!
No entanto, há uma ressalva. O artigo alerta explicitamente que este sistema não é um botão mágico de "sim/não". O computador é bom em separar o "provável sim" do "provável não", mas não é perfeito o suficiente para tomar a decisão final por conta própria. Os pesquisadores sugerem usá-lo como um assistente útil para dizer: "Ei, olhe para este primeiro!", em vez de um robô automatizado que diz: "Envie!" sem que um humano sequer olhe.
O Mistério Mais Difícil: Quanto Trabalho Será Necessário?
A segunda pergunta era mais complicada: "Quanto esforço será necessário para revisar isso?" Os pesquisadores tentaram prever duas coisas: quantos comentários o pacote receberia (a "conversa") e quantas horas ele ficaria parado na fila antes de ser enviado (o "tempo de espera").
Aqui, os resultados foram muito mais modestos. O computador conseguia adivinhar a quantidade de conversa com uma margem de erro de cerca de 1,00 comentário em média, mas explicava apenas 20% das razões pelas quais alguns pacotes recebiam mais comentários do que outros. Prever o tempo de espera foi ainda mais difícil; os palpites do computador estavam errados por uma média de 24,00 horas, e explicavam apenas 12% da variação.
Por que isso foi tão difícil? O artigo sugere que o tempo de espera não depende apenas do pacote em si. É como esperar por um ônibus: mesmo que seu bilhete seja perfeito, você ainda pode esperar muito tempo se o motorista estiver em um intervalo, se o trânsito estiver ruim ou se o ônibus estiver cheio. Da mesma forma, um pacote de código pode esperar muito tempo porque os revisores estão ocupados, as ferramentas de teste automatizadas estão lentas ou a equipe simplesmente tem um fluxo de trabalho lento. O artigo argumenta que você não pode prever esses "engarrafamentos" apenas olhando para o rótulo do pacote.
Humanos vs. Robôs: Eles Seguem Regras Diferentes?
A equipe também se perguntou se os pacotes dos robôs de IA eram mais difíceis de prever do que os dos humanos. Eles descobriram que os pacotes de IA eram, na verdade, um pouco mais fáceis de classificar porque seguiem padrões muito limpos e regulares. Os pacotes humanos eram mais bagunçados e variados.
Curiosamente, os pacotes de IA tendiam a receber um pouco mais de "conversa" (comentários) e levavam um pouco mais de tempo para serem enviados. O artigo sugere que isso pode ser porque os gerentes humanos estão sendo extra cuidadosos, conferindo o trabalho do robô para garantir que ele não tenha nenhum truque escondido. Mas, apesar dessa escrutínio extra, o computador ainda foi capaz de prever o resultado para os robôs tão bem quanto para os humanos.
O Que o Artigo Diz "Não"
É importante saber o que este estudo não fez. Os pesquisadores excluíram explicitamente o uso de qualquer informação que aparece depois que o pacote é aberto. Eles não olharam para os comentários que as pessoas escreveram, os resultados dos testes automatizados ou a decisão final de mesclar o código. Se tivessem usado essa informação, seria como tentar prever o tempo olhando para o chão depois que choveu. O ponto central era ver se você conseguia adivinhar o resultado antes da chuva começar.
Eles também descartaram a ideia de que o computador poderia substituir os revisores humanos. Os resultados mostram que, embora o computador seja uma ótima ferramenta de "triagem" (como um guarda de trânsito direcionando carros), ele não pode explicar totalmente as razões sociais e de fluxo de trabalho complexas pelas quais uma revisão demora tanto.
A Conclusão
Em resumo, o artigo sugere que podemos construir um sistema inteligente para ajudar os gerentes a priorizar seu trabalho. Se um pacote tem um rótulo claro, um tamanho razoável e vem de uma boa fonte, o sistema pode dizer: "Este parece seguro, vamos verificar primeiro". Mas quando se trata de adivinhar quanto tempo uma revisão levará ou quanta discussão haverá, o sistema atinge um limite. O artigo conclui que essas ferramentas são melhores usadas como um ajudante do julgamento humano, não como um substituto para ele. O futuro desta tecnologia pode melhorar se adicionarmos mais pistas, como o que os revisores estão fazendo no momento ou como o código realmente funciona, mas, por enquanto, as pistas do "exterior da caixa" contam apenas parte da história.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.