How Humans, Bots, and Agents Communicate About Vulnerabilities in Pull Requests
Ce rapport enregistré expose une étude empirique à grande échelle qui examine comment les humains, les bots et les agents de codage communiquent au sujet des vulnérabilités dans les pull requests en analysant à la fois les identifiants explicites et le langage de sécurité implicite à travers divers artefacts de projet afin de comprendre leur impact sur les résultats de la revue.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez un chantier de construction massif et mondial où des milliers d'équipes construisent et réparent constamment des gratte-ciel numériques (des logiciels). Dans ce monde, il existe trois types de travailleurs : les Humains (les architectes originaux), les Bots (des robots automatisés qui gèrent les tâches de routine comme la mise à jour des matériaux) et les Agents de Codage (des assistants IA intelligents capables de rédiger de nouveaux plans par eux-mêmes).
Ce document est un « rapport enregistré », ce qui signifie qu'il s'agit d'un plan détaillé d'une étude que les chercheurs s'apprêtent à mener. Ils veulent comprendre comment ces trois types de travailleurs parlent des risques de sécurité (vulnérabilités) lorsqu'ils soumettent des modifications aux plans de construction (les Pull Requests).
Voici la décomposition de leur plan en utilisant des analogies simples :
1. Les deux façons dont les travailleurs parlent du danger
Lorsqu'un travailleur trouve une fissure dans le mur ou une poutre fragile, il doit le signaler. Les chercheurs ont remarqué que les travailleurs font cela de deux manières très différentes :
La méthode de la « Carte d'identité officielle » (Références explicites) :
Parfois, un travailleur pointe un danger spécifique et dit : « Ceci est le CVE-2024-1234 ». C'est comme montrer un code-barres ou un numéro de série. Tout le monde sait exactement ce que ce numéro spécifique signifie car il est répertorié dans une immense base de données officielle.- L'observation du papier : Les études précédentes se sont principalement concentrées sur ces « cartes d'identité ».
La méthode de l'« Avertissement informel » (Signaux implicites) :
D'autres fois, un travailleur dit simplement : « Hé, cette porte pourrait laisser entrer des personnes non autorisées » ou « Ce tuyau semble pouvoir provoquer une fuite de données SQL ». Ils décrivent le problème en langage courant sans utiliser de numéro d'identification spécifique.- L'observation du papier : Les chercheurs soupçonnent qu'en ignorant ces « avertissements informels », nous passons à côté d'une énorme partie des conversations sur la sécurité.
2. La grande question : Qui dit quoi ?
Les chercheurs veulent savoir : Les Humains, les Bots et les Agents de Codage parlent-ils de la sécurité différemment ?
- Les Agents de IA (les nouveaux venus sur le terrain) utilisent-ils plus de « Cartes d'identité officielles » parce qu'ils sont programmés pour être précis ?
- Les Humains comptent-ils davantage sur les « Avertissements informels » parce qu'ils comprennent mieux le contexte ?
- Les Bots se contentent-ils de suivre les règles et n'utilisent-ils que les identifiants ?
3. Les trois choses qu'ils prévoient d'étudier
L'étude est construite autour de trois questions de recherche principales :
RQ1 : La distribution (Qui parle ?)
Ils compteront la fréquence à laquelle chaque type de travailleur utilise des « Identifiants officiels » par rapport aux « Avertissements informels » dans différentes parties de la conversation (le titre de la requête, la description ou les commentaires).- Analogie : C'est comme compter combien de fois l'Architecte, le Robot et l'Assistant IA utilisent un code de sécurité formel plutôt que de simplement crier « Attention ! » dans la salle de pause.
RQ2 : Le test de réalité (Le danger est-il réel ?)
C'est la partie la plus critique. Ce n'est pas parce qu'une personne dit qu'il y a un danger qu'il y en a réellement un.- Les chercheurs utiliseront un « Scanner de sécurité » (un outil appelé Semgrep) pour examiner les changements de code réels.
- Ils veulent voir : Si une IA dit « J'ai réparé une faille de sécurité », a-t-elle réellement réparé une faille ? Ou a-t-elle simplement fait une affirmation qui n'est pas vraie ?
- Analogie : Si un travailleur dit « J'ai renforcé le pont », les chercheurs inspecteront physiquement le pont pour voir s'il est réellement plus solide, ou si le travailleur a simplement repeint une fissure.
RQ3 : La réaction (Comment les gens réagissent-ils ?)
Comment la manière dont le danger est décrit affecte-t-elle la réaction de l'équipe ?- Si un travailleur utilise un « Identifiant officiel » formel, est-ce que les réviseurs lui font confiance plus rapidement et fusionnent le changement plus vite ?
- Si un travailleur utilise un « Avertissement informel », cela provoque-t-il un débat plus long, plus de questions ou un rejet parce que c'est plus difficile à vérifier ?
- Analogie : Est-ce que le contremaître de construction vous écoute immédiatement lorsque vous présentez un code-barres, ou vous fait-il attendre pendant qu'il discute pour savoir si votre description de la fuite est exacte ?
4. Comment ils vont le faire (La boîte à outils)
- Le Jeu de Données : Ils utilisent une collection massive de plus de 33 000 pull requests provenant de projets open-source populaires. Cela inclut le travail de célèbres agents d'IA comme GitHub Copilot, Devin et Cursor.
- La Détection :
- Pour les « Identifiants officiels », ils utiliseront une loupe numérique (Expressions Régulières) pour trouver des motifs comme « CVE-... » ou « GHSA-... ».
- Pour les « Avertissements informels », ils utiliseront une liste de mots-clés de sécurité (comme « insecure », « hack », « bypass ») pour trouver des discussions en langage naturel.
- La Vérification : Puisque les ordinateurs peuvent faire des erreurs, ils utiliseront une IA intelligente (Gemini) et des experts humains pour revérifier un échantillon de leurs découvertes afin de s'assurer que les « signaux de danger » sont réels.
5. Les Limites (Ce que cette étude ne vous dira pas)
Les chercheurs sont très honnêtes quant aux limites de leur étude :
- Ils regardent uniquement les projets populaires (ceux qui ont beaucoup d'« étoiles » ou de followers). Les petits projets discrets pourraient avoir des règles différentes.
- Ils regardent uniquement GitHub. Ils ne vérifient pas les e-mails privés, les salons de discussion ou d'autres sites web où les problèmes de sécurité pourraient être discutés.
- Ils regardent la conversation et le code, mais ils ne peuvent pas garantir que leur « Scanner de Sécurité » attrapera absolument toutes les failles possibles dans le monde.
Résumé
En bref, ce papier est le plan d'une étude qui demande : Dans le chantier de construction numérique du futur, comment les humains, les robots et les IA parlent-ils de la sécurité ? Utilisent-ils des codes formels ou un langage courant ? Et la façon dont ils parlent change-t-elle la rapidité avec laquelle leurs affirmations de sécurité sont crues ou appliquées ? L'objectif est de s'assurer que nous n'ignorons pas les « avertissements informels » simplement parce qu'ils n'ont pas de code-barres attaché.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.