Can Developers rely on LLMs for Secure IaC Development?
Cette étude évalue GPT-4o et Gemini 2.0 Flash pour le développement sécurisé d'Infrastructure as Code, concluant que bien que les invites guidées améliorent la détection des odeurs de sécurité dans les extraits simplifiés comme dans les dépôts réels, les modèles peinent encore à générer du code sécurisé, seule une faible fraction des sorties respectant les normes de sécurité même lorsqu'ils sont explicitement instruits.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous construisez une maison, mais qu'au lieu d'utiliser des briques et du mortier, vous utilisez du code pour assembler automatiquement vos murs, vos fenêtres et vos systèmes de sécurité. C'est ce qu'on appelle l'Infrastructure en tant que Code (IaC). C'est comme avoir un robot qui construit votre infrastructure numérique pour vous.
Le problème est que si vous donnez au robot un mauvais plan, il pourrait construire une maison avec des portes déverrouillées, des fenêtres donnant sur la rue, ou un coffre-fort dont la clé est scotchée sur la porte d'entrée. Ces erreurs sont appelées « odeurs de sécurité » (security smells).
Les auteurs de cet article ont posé une question cruciale : pouvons-nous faire confiance aux agents conversationnels IA (comme GPT-4o et Gemini) pour nous aider à écrire ces plans en toute sécurité, ou pour repérer les erreurs dans ceux-ci ?
Voici ce qu'ils ont découvert, présenté sous forme d'histoires simples :
1. Le test « Repérer l'erreur » (Détection)
Les chercheurs ont soumis l'IA à deux types de tâches : trouver des erreurs dans de courts extraits de code (comme ceux trouvés sur Stack Overflow) et trouver des erreurs dans des fichiers de projets réels et complets (provenant de GitHub).
- Le scénario de la « Requête vague » : Imaginez demander à un garde de sécurité : « Regardez cette maison et dites-moi si elle est sûre. »
- Le résultat : L'IA était capable de repérer des problèmes évidents dans les extraits courts (environ 70 à 80 % de réussite). Mais en examinant des projets complets et complexes, l'IA manquait plus de la moitié des failles dangereuses. C'était comme si le garde ne remarquait que la porte d'entrée non verrouillée, mais passait à côté d'une fenêtre arrière brisée.
- Le scénario « Étape par étape » : Les chercheurs ont ensuite donné à l'IA une liste de contrôle spécifique : « D'abord, vérifiez les verrous. Deuxièmement, vérifiez les fenêtres. Troisièmement, cherchez des notes laissées par l'ancien propriétaire. »
- Le résultat : Cela fonctionnait beaucoup mieux. La capacité de l'IA à trouver des erreurs a bondi de manière significative (atteignant près de 90 % pour un modèle).
- Le bémol : Même lorsque l'IA trouvait l'erreur, elle proposait rarement une solution spécifique. C'était comme si le garde disait : « Hé, cette fenêtre est cassée », mais sans vous tendre le verre pour la remplacer.
2. Le test « Construire » (Génération)
Ensuite, ils ont demandé à l'IA de créer de nouveaux plans à partir de zéro en se basant sur des demandes spécifiques, dont certaines étaient conçues pour piéger l'IA afin qu'elle commette des erreurs (par exemple : « Utilisez un verrou faible » ou « Laissez le mot de passe dans le code »).
- Le résultat : C'est là que l'IA a le plus peiné.
- Lorsqu'on lui a demandé de construire une maison sécurisée, l'IA n'a construit une maison sûre que 7 % du temps.
- Dans les 93 % des cas restants, elle a construit des maisons avec des pièges cachés (failles de sécurité) et ne vous avertissait même pas de la présence de ces pièges.
- Même lorsque les chercheurs criaient explicitement : « Rendez cela SÉCURISÉ ! », l'IA construisait encore des maisons non sécurisées dans environ 80 % des cas.
3. L'effet « Imitateur »
Les chercheurs ont également vérifié si l'IA ne faisait que copier de mauvais exemples qu'elle avait vus auparavant. Ils ont constaté que le code généré par l'IA ressemblait souvent davantage au code généré par d'autres IA qu'aux réponses « correctes » trouvées dans les forums écrits par des humains. C'est comme si l'IA avait appris d'un groupe de personnes qui commettaient tous les mêmes erreurs, plutôt que d'apprendre des experts.
Le mot de la fin
L'article conclut que, bien que l'IA soit un outil puissant, vous ne pouvez pas actuellement compter sur elle seule pour assurer la sécurité de votre infrastructure numérique.
- Pour trouver des erreurs : Elle est utile, mais seulement si vous lui donnez des instructions très spécifiques et étape par étape. Sans ce guidage, elle passe à côté de trop de dangers.
- Pour écrire du code : Il est actuellement trop risqué de la laisser écrire du code de sécurité à partir de zéro. Elle construit fréquemment des « maisons » avec des portes déverrouillées et ne vous prévient pas de ce manque de sécurité.
L'analogie : Considérez l'IA comme un apprenti constructeur très rapide et très sûr de lui. Si vous lui demandez de « réparer ceci », il trouvera peut-être des fissures. Mais si vous lui demandez de « construire une forteresse », il construira probablement un château en carton avec un verrou en papier, et il ne vous dira pas que ce n'est pas réellement sécurisé. Vous avez toujours besoin d'un expert humain pour tout vérifier.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.