Benchmarking Mythos-Linked Bug Rediscovery
Ce papier rend compte d'une expérience contrôlée où trois modèles d'IA ont tenté de redécouvrir six bogues spécifiques liés aux documents « Mythos » d'Anthropic sans connaissance préalable des correctifs, révélant que même dans des conditions favorables, les modèles n'ont obtenu qu'un faible taux de réussite (6 succès sur 54 tentatives), principalement en raison d'une tendance à s'engager sur des hypothèses plausibles mais incorrectes plutôt qu'à identifier l'invariant spécifique corrigé par les correctifs réels.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez un groupe de détectives high-tech (des modèles d'IA) qui ont récemment affirmé pouvoir découvrir des failles cachées dans les systèmes logiciels les plus importants au monde — comme les systèmes d'exploitation de votre téléphone ou les moteurs qui diffusent vos films. Ils ont publié des récits décrivant la découverte de bugs spécifiques et dangereux dans le code de systèmes tels que Linux, FreeBSD et FFmpeg.
Certaines personnes ont été émerveillées, pensant que ces IA étaient des hackers surdoués. D'autres étaient sceptiques, estimant que ces récits n'étaient que du battage marketing.
Ce document présente une expérience contrôlée conçue pour trancher le débat. Au lieu de laisser l'IA errer dans une immense bibliothèque de code pour chercher une aiguille dans une botte de foin, les chercheurs ont fourni à l'IA le livre exact où l'aiguille était cachée. Ils ont demandé : « Si nous vous remettons le fichier spécifique contenant le bug, pouvez-vous toujours trouver le problème exact ? »
Voici le détail de l'expérience et ce qui s'est produit, en utilisant des analogies simples :
La Mise en place : Le test du « Fichier Cible »
Considérez le code logiciel comme un manuel d'instructions géant de 4 000 pages pour une machine complexe.
- L'Affirmation : L'IA (Mythos) a déclaré pouvoir trouver une faute de frappe spécifique dans ce manuel qui ferait exploser la machine.
- L'Expérience : Les chercheurs ont pris le manuel, trouvé la page spécifique contenant la faute de frappe, et remis uniquement cette page à trois détectives IA différents :
- GPT-5.5 xhigh (Le modèle de « Raisonnement »)
- Claude Opus 4.7 (Le modèle « Anthropic »)
- Kimi K2 (Un modèle chinois)
Ils leur ont donné les mêmes règles : pas d'internet, pas d'indices sur le bug, et ils devaient trouver l'exacte erreur qu'un humain avait déjà corrigée dans un correctif public. Ils ont répété cela trois fois pour six « bugs » différents.
Les Résultats : Qui a trouvé l'aiguille ?
Sur 54 tentatives au total (3 modèles × 6 bugs × 3 essais chacun) :
- GPT-5.5 xhigh : A trouvé le bug exact 5 fois. Il a résolu parfaitement 2 des 6 bugs différents, et a une fois trouvé un autre bug dans le même fichier (une « mauvaise cible » mais toujours une découverte réelle).
- Claude Opus 4.7 : A trouvé le bug exact 1 fois. Il a résolu 1 des 6 bugs.
- Kimi K2 : A trouvé le bug exact 0 fois. Il n'a rien trouvé.
Le « Pourquoi » : Le piège des distractions plausibles
La partie la plus intéressante du document n'est pas seulement de savoir qui a gagné, mais comment ils ont échoué.
Imaginez que vous examinez un moteur de voiture. Vous savez qu'il y a un boulon cassé quelque part.
- L'Erreur de l'IA : L'IA a regardé le moteur et a vu un fil desserré, un filtre sale et un joint légèrement usé. Elle a dit : « J'ai trouvé le problème ! C'est le fil desserré ! »
- La Réalité : Le fil desserré était un problème plausible, mais ce n'était pas le boulon cassé spécifique que les chercheurs recherchaient.
Le document qualifie cela de « engagement précoce envers des candidats alternatifs plausibles ».
Les modèles d'IA étaient bons pour examiner le code et dire : « Hé, cela semble suspect ! » Ils ont trouvé de nombreuses choses qui pouvaient être des bugs. Mais ils ont eu du mal à choisir la seule chose spécifique qui correspondait à la correction réelle. Ils se sont laissé distraire par des « fausses pistes » — des éléments qui ressemblaient à des bugs mais qui n'étaient pas celui précis qu'ils chassaient.
Le Coût de la Chasse
L'expérience a également suivi la quantité de « carburant » (argent et puissance de calcul) nécessaire.
- GPT-5.5 a coûté environ 61 $.
- Claude a coûté environ 88 $ (c'était le plus cher).
- Kimi était le moins cher à 3,50 $, mais il n'a rien trouvé.
Même si les chercheurs ont fourni à l'IA le fichier exact (éliminant la partie la plus difficile du travail : trouver le fichier), l'IA a toujours eu du mal à localiser l'erreur exacte.
La Conclusion
Ce document ne dit pas que l'IA est inutile, ni que les histoires originales de « Mythos » étaient fausses. Il dit simplement :
« Donner le bon fichier à l'IA ne suffit pas. »
Même lorsque l'IA sait exactement où regarder, elle reste souvent bloquée sur les mauvais détails. Elle peut générer de nombreux « bugs potentiels », mais elle a du mal à sélectionner le vrai bug qui correspond aux preuves spécifiques. Le document conclut que le succès de ces chasseurs de bugs IA dépend probablement fortement du processus (le nombre d'essais qu'ils obtiennent, la manière dont ils sont classés et guidés) plutôt que simplement de l'intelligence brute du modèle lui-même.
En bref : l'IA est un détective intelligent capable de lire le manuel, mais elle a toujours besoin d'un ensemble d'instructions très spécifique pour trouver la faute de frappe exacte, sinon elle se contentera de pointer la tache la plus proche sur la page.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.