Predicting Acceptance and Review Effort in Human and Agent Pull Requests
Cet article démontre que les modèles d'apprentissage automatique utilisant uniquement des caractéristiques au moment de la soumission peuvent prédire avec précision l'acceptation des demandes de tirage (pull requests) humaines et d'agents, mais peinent à prévoir l'effort de révision, suggérant que leur meilleure utilisation est en tant qu'outils consultatifs pour le tri plutôt qu'en tant que décideurs automatisés.
Article original placé dans le domaine public sous CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez un atelier de logiciels en pleine effervescence où les changements de code sont comme des colis attendant d'être expédiés. Dans l'ancien temps, seuls des travailleurs humains envoyaient ces colis. Mais maintenant, une nouvelle équipe de robots IA a rejoint l'équipe, déposant leurs propres colis de code aux côtés des humains. Les gestionnaires (appelés « mainteneurs ») sont soudainement submergés. Ils ont une montagne de colis à vérifier, et ils ont besoin de savoir deux choses immédiatement : Quels colis seront approuvés et expédiés ? et Lesquels nécessiteront une inspection énorme et épuisante ?
Ce document est comme un détective essayant de résoudre ce mystère en utilisant uniquement les indices visibles sur l'extérieur du colis au moment de son arrivée, avant même que quiconque n'ait ouvert la boîte ou commencé à en parler.
La grande découverte : L'étiquette du colis en dit long
Les chercheurs ont découvert que l'on peut en fait faire une assez bonne supposition sur le fait qu'un colis sera accepté simplement en regardant son étiquette et la boîte dans laquelle il se trouve. Ils ont construit un système informatique intelligent qui examinait des éléments tels que :
- La longueur de la description sur l'étiquette.
- Le nombre de fichiers à l'intérieur de la boîte.
- L'heure de la journée à laquelle il a été envoyé.
- La réputation de l'atelier d'où il provenait.
Lorsqu'ils ont testé ce système, l'ordinateur est devenu très doué pour repérer les colis « approuvés ». En fait, les meilleurs modèles (utilisant une méthode appelée Forêt Aléatoire ou Random Forest) ont obtenu un score de 0,958 sur 1,0 pour identifier correctement quels colis seraient acceptés. C'est comme un détective résolvant 96 cas sur 100 simplement en jetant un coup d'œil à l'adresse !
Cependant, il y a un bémol. Le document met explicitement en garde contre le fait que ce système n'est pas un bouton magique « oui/non ». L'ordinateur est bon pour trier le « probablement oui » du « probablement non », mais il n'est pas assez parfait pour prendre la décision finale de lui-même. Les chercheurs suggèrent de l'utiliser comme un assistant utile pour dire aux gestionnaires : « Hé, regardez celui-ci en premier ! » plutôt que comme un robot automatisé qui dit : « Expédiez-le ! » sans qu'un humain n'ait jamais jeté un œil.
Le mystère plus difficile : Quel sera le travail à fournir ?
La seconde question était plus délicate : « Quel effort l'examen de ce colis demandera-t-il ? » Les chercheurs ont essayé de prédire deux choses : le nombre de commentaires que le colis recevrait (le « bavardage ») et le nombre d'heures qu'il resterait dans la file d'attente avant d'être expédié (le « temps d'attente »).
Ici, les résultats étaient beaucoup plus modestes. L'ordinateur pouvait deviner la quantité de bavardage avec une marge d'erreur d'environ 1,00 commentaire en moyenne, mais il n'expliquait que 20 % des raisons pour lesquelles certains colis recevaient plus de commentaires que d'autres. Prédire le temps d'attente était encore plus difficile ; les estimations de l'ordinateur étaient erronées de 24,00 heures en moyenne, et elles n'expliquaient que 12 % de la variation.
Pourquoi cela était-il si difficile ? Le document suggère que le temps d'attente ne dépend pas seulement du colis lui-même. C'est comme attendre un bus : même si votre ticket est parfait, vous pouvez quand même attendre longtemps si le chauffeur est en pause, si le trafic est dense ou si le bus est plein. De même, un colis de code peut attendre longtemps parce que les réviseurs sont occupés, que les outils de tests automatisés sont lents ou que l'équipe a simplement un flux de travail lent. Le document soutient que vous ne pouvez pas prédire ces « embouteillages » en regardant simplement l'étiquette du colis.
Humains contre Robots : Jouent-ils selon des règles différentes ?
L'équipe s'est également demandé si les colis des robots IA étaient plus difficiles à prédire que ceux des humains. Ils ont découvert que les colis des IA étaient en fait un peu plus faciles à trier car ils suivaient des modèles très nets et réguliers. Les colis humains étaient plus désordonnés et variés.
Étonnamment, les colis des IA avaient tendance à générer un peu plus de « bavardage » (commentaires) et prenaient un peu plus de temps pour être expédiés. Le document suggère que cela pourrait être dû au fait que les gestionnaires humains sont particulièrement prudents, vérifiant deux fois le travail du robot pour s'assurer qu'il n'a pas de trucs cachés. Mais malgré cette surveillance accrue, l'ordinateur était toujours capable de prédire le résultat pour les robots aussi bien que pour les humains.
Ce à quoi le document dit « Non »
Il est important de savoir ce que cette étude n'a pas fait. Les chercheurs ont explicitement exclu l'utilisation de toute information apparaissant après l'ouverture du colis. Ils n'ont pas regardé les commentaires écrits par les gens, les résultats des tests automatisés, ni la décision finale de fusionner le code. S'ils avaient utilisé ces informations, cela reviendrait à essayer de prédire la météo en regardant le sol après qu'il a plu. Tout l'intérêt était de voir si l'on pouvait deviner le résultat avant que la pluie ne commence.
Ils ont également écarté l'idée que l'ordinateur puisse remplacer les réviseurs humains. Les résultats montrent que, bien que l'ordinateur soit un excellent outil de « triage » (comme un agent de circulation dirigeant les voitures), il ne peut pas pleinement expliquer les raisons sociales et de flux de travail complexes qui expliquent pourquoi une révision prend du temps.
En résumé
En bref, le document suggère que nous pouvons construire un système intelligent pour aider les gestionnaires à prioriser leur travail. Si un colis a une étiquette claire, une taille raisonnable et provient d'une bonne source, le système peut dire : « Celui-ci semble sûr, vérifions-le en premier. » Mais lorsqu'il s'agit de deviner combien de temps une révision prendra ou combien de disputes auront lieu, le système se heurte à un mur. Le document conclut que ces outils sont meilleurs utilisés comme un assistant au jugement humain, et non comme un remplacement de celui-ci. L'avenir de cette technologie pourrait s'améliorer si nous ajoutons plus d'indices, comme ce que les réviseurs font actuellement ou comment le code fonctionne réellement, mais pour l'instant, les indices de « l'extérieur de la boîte » ne racontent qu'une partie de l'histoire.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.