Benchmarking Mythos-Linked Bug Rediscovery
Dit artikel rapporteert over een gecontroleerd experiment waarbij drie AI-modellen probeerden zes specifieke bugs gerelateerd aan Anthropic's "Mythos"-materiaal opnieuw te ontdekken zonder voorafgaande kennis van de oplossingen, wat aantoont dat zelfs onder gunstige omstandigheden de modellen slechts een laag succespercentage behaalden (6 van de 54 pogingen), voornamelijk vanwege de neiging om vast te houden aan plausibele maar onjuiste hypothesen in plaats van de specifieke invariant te identificeren die door de daadwerkelijke patches werd gecorrigeerd.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een groep high-tech detectives (AI-modellen) voor die onlangs beweerden dat ze verborgen fouten konden vinden in 's werelds belangrijkste softwaresystemen—zoals de besturingssystemen op je telefoon of de engines die je films streamen. Ze publiceerden verhalen over het vinden van specifieke, gevaarlijke bugs in de code van systemen zoals Linux, FreeBSD en FFmpeg.
Sommige mensen waren verbaasd en dachten dat deze AI's super-intelligente hackers waren. Anderen waren sceptisch en dachten dat de verhalen slechts marketingpraat waren.
Dit artikel is een gecontroleerd experiment ontworpen om het debat te beslechten. In plaats van de AI door een enorme bibliotheek met code te laten dwalen om een speld in een hooiberg te vinden, gaven de onderzoekers de AI het exacte boek waarin de speld verborgen zat. Ze stelden de vraag: "Als we je het specifieke bestand met de bug geven, kun je dan nog steeds het exacte probleem vinden?"
Hier is de uiteenzetting van het experiment en wat er gebeurde, met gebruikmaking van eenvoudige analogieën:
De Opzet: De "Doelbestand"-test
Stel je de softwarecode voor als een gigantische, 4.000 pagina's tellende handleiding voor een complexe machine.
- De Claim: De AI (Mythos) zei dat ze een specifieke typefout in deze handleiding kon vinden die ervoor zou zorgen dat de machine ontplofte.
- Het Experiment: De onderzoekers namen de handleiding, vonden de specifieke pagina met de typefout en gaven alleen die pagina aan drie verschillende AI-detectives:
- GPT-5.5 xhigh (Het "Redenerings"-model)
- Claude Opus 4.7 (Het "Anthropic"-model)
- Kimi K2 (Een Chinees model)
Ze gaven ze dezelfde regels: geen internet, geen hints over de bug, en ze moesten de exacte fout vinden die een mens al had opgelost in een publieke patch. Ze probeerden dit drie keer voor zes verschillende "bugs".
De Resultaten: Wie vond de speld?
Van de 54 totale pogingen (3 modellen × 6 bugs × 3 pogingen per model):
- GPT-5.5 xhigh: Vond de exacte bug 5 keer. Het loste 2 van de 6 verschillende bugs perfect op, en vond eens een andere bug in hetzelfde bestand (een "verkeerd doel" maar toch een echte ontdekking).
- Claude Opus 4.7: Vond de exacte bug 1 keer. Het loste 1 van de 6 bugs op.
- Kimi K2: Vond de exacte bug 0 keer. Het vond niets.
De "Waarom": De Valstrik van Plausibele Afleidingen
Het meest interessante deel van het artikel is niet alleen wie won, maar hoe ze faalden.
Stel je voor dat je naar een motorkap kijkt. Je weet dat ergens een gebroken bout zit.
- De Fout van de AI: De AI keek naar de motor en zag een losse draad, een vuil filter en een iets versleten pakking. Het zei: "Ik heb het probleem gevonden! Het is de losse draad!"
- De Realiteit: De losse draad was een plausibel probleem, maar het was niet de specifieke gebroken bout waar de onderzoekers naar op zoek waren.
Het artikel noemt dit "vroege toewijding aan plausibele alternatieve kandidaten".
De AI-modellen waren goed in het bekijken van de code en zeggen: "Hé, dit ziet er verdacht uit!" Ze vonden veel dingen die zouden kunnen zijn bugs. Maar ze hadden moeite om het één specifieke ding te kiezen dat overeenkwam met de werkelijke oplossing. Ze lieten zich afleiden door "rode haringen"—dingen die eruit zagen als bugs, maar niet de specifieke waren waar ze naar op zoek waren.
De Kosten van Jagen
Het experiment hield ook bij hoeveel "brandstof" (geld en rekenkracht) het kostte.
- GPT-5.5 kostte ongeveer $61.
- Claude kostte ongeveer $88 (het was het duurste).
- Kimi was het goedkoopste met $3,50, maar het vond niets.
Hoewel de onderzoekers de AI het exacte bestand gaven (waarmee ze het moeilijkste deel van de baan uitschakelden: het bestand vinden), had de AI nog steeds moeite om de exacte fout te pinpointen.
De Conclusie
Dit artikel zegt niet dat de AI nutteloos is, noch dat de originele "Mythos"-verhalen nep waren. Het zegt simpelweg:
"De AI het juiste bestand geven is niet genoeg."
Zelfs wanneer de AI precies weet waar ze moet kijken, blijft ze vaak steken in de verkeerde details. Het kan veel "misschien-bugs" genereren, maar het heeft moeite om de éne ware bug te selecteren die overeenkomt met het specifieke bewijs. Het artikel concludeert dat het succes van deze AI-bughunters waarschijnlijk sterk afhankelijk is van het proces (hoeveel pogingen ze krijgen, hoe ze worden gerangschikt en hoe ze worden begeleid) en niet alleen van de ruwe intelligentie van het model zelf.
Kortom: De AI is een slimme detective die de handleiding kan lezen, maar het heeft nog steeds een zeer specifieke set instructies nodig om de exacte typefout te vinden, anders zal het gewoon naar de dichtstbijzijnde vlek op de pagina wijzen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.