Benchmarking Mythos-Linked Bug Rediscovery
Dieser Bericht beschreibt ein kontrolliertes Experiment, bei dem drei KI-Modelle versuchten, sechs spezifische Fehler im Zusammenhang mit Anthropics „Mythos"-Materialien ohne vorherige Kenntnis der Korrekturen neu zu entdecken, was zeigte, dass selbst unter günstigen Bedingungen die Modelle nur eine geringe Erfolgsquote (6 von 54 Versuchen) erreichten, hauptsächlich aufgrund einer Tendenz, sich auf plausible, aber falsche Hypothesen festzulegen, anstatt die spezifische Invariante zu identifizieren, die durch die tatsächlichen Patches korrigiert wurde.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine Gruppe hochmoderner Detektive (KI-Modelle) vor, die kürzlich behaupteten, verborgene Schwachstellen in den weltweit wichtigsten Softwaresystemen finden zu können – etwa in den Betriebssystemen Ihres Smartphones oder in den Motoren, die Ihre Filme streamen. Sie veröffentlichten Berichte über das Auffinden spezifischer, gefährlicher Fehler in Code-Systemen wie Linux, FreeBSD und FFmpeg.
Einige Menschen waren beeindruckt und dachten, diese KIs seien superintelligente Hacker. Andere waren skeptisch und meinten, die Geschichten seien nur Marketing-Geschwafel.
Dieser Artikel beschreibt ein kontrolliertes Experiment, das darauf abzielt, die Debatte zu beenden. Anstatt die KI durch eine riesige Bibliothek aus Code wandern zu lassen, um eine Nadel im Heuhaufen zu finden, gaben die Forscher der KI das genaue Buch, in dem die Nadel versteckt war. Sie stellten die Frage: „Wenn wir Ihnen die spezifische Datei mit dem Fehler übergeben, können Sie dann immer noch das exakte Problem finden?"
Hier ist die Aufschlüsselung des Experiments und dessen Verlauf, unter Verwendung einfacher Analogien:
Das Setup: Der „Zieldatei"-Test
Stellen Sie sich den Softwarecode als ein riesiges, 4.000-seitiges Handbuch für eine komplexe Maschine vor.
- Die Behauptung: Die KI (Mythos) sagte, sie könne einen spezifischen Tippfehler in diesem Handbuch finden, der dazu führen würde, dass die Maschine explodiert.
- Das Experiment: Die Forscher nahmen das Handbuch, fanden die spezifische Seite mit dem Tippfehler und gaben nur diese Seite drei verschiedenen KI-Detektiven:
- GPT-5.5 xhigh (Das „Reasoning"-Modell)
- Claude Opus 4.7 (Das „Anthropic"-Modell)
- Kimi K2 (Ein chinesisches Modell)
Sie gaben ihnen dieselben Regeln: Kein Internet, keine Hinweise zum Fehler, und sie mussten den exakten Fehler finden, den ein Mensch bereits in einem öffentlichen Patch behoben hatte. Sie versuchten dies dreimal für sechs verschiedene „Fehler".
Die Ergebnisse: Wer fand die Nadel?
Von insgesamt 54 Versuchen (3 Modelle × 6 Fehler × 3 Versuche pro Modell):
- GPT-5.5 xhigh: Fand den exakten Fehler 5 Mal. Es löste 2 der 6 verschiedenen Fehler perfekt und fand einmal einen anderen Fehler in derselben Datei (ein „falsches Ziel", aber dennoch eine echte Entdeckung).
- Claude Opus 4.7: Fand den exakten Fehler 1 Mal. Es löste 1 der 6 Fehler.
- Kimi K2: Fand den exakten Fehler 0 Mal. Es fand nichts.
Das „Warum": Die Falle plausibler Ablenkungen
Der interessanteste Teil des Artikels ist nicht nur, wer gewann, sondern wie sie scheiterten.
Stellen Sie sich vor, Sie schauen auf einen Automotor. Sie wissen, dass irgendwo ein defekter Bolzen ist.
- Der Fehler der KI: Die KI betrachtete den Motor und sah einen losen Draht, einen verschmutzten Filter und eine leicht abgenutzte Dichtung. Sie sagte: „Ich habe das Problem gefunden! Es ist der lose Draht!"
- Die Realität: Der lose Draht war ein plausibles Problem, aber es war nicht der spezifische defekte Bolzen, nach dem die Forscher suchten.
Der Artikel nennt dies „frühe Festlegung auf plausible alternative Kandidaten".
Die KI-Modelle waren gut darin, den Code zu betrachten und zu sagen: „Hey, das sieht verdächtig aus!" Sie fanden viele Dinge, die Fehler sein könnten. Aber sie hatten Schwierigkeiten, das eine spezifische Ding auszuwählen, das mit der realen Reparatur übereinstimmte. Sie ließen sich von „roten Heringen" ablenken – Dingen, die wie Fehler aussahen, aber nicht der spezifische waren, den sie jagten.
Die Kosten der Jagd
Das Experiment verfolgte auch, wie viel „Treibstoff" (Geld und Rechenleistung) dafür benötigt wurde.
- GPT-5.5 kostete etwa 61 US-Dollar.
- Claude kostete etwa 88 US-Dollar (es war das teuerste).
- Kimi war mit 3,50 US-Dollar am günstigsten, fand aber nichts.
Obwohl die Forscher der KI die genaue Datei gaben (und damit den schwierigsten Teil der Arbeit entfernten: das Finden der Datei), hatte die KI immer noch Schwierigkeiten, den exakten Fehler zu lokalisieren.
Das Fazit
Dieser Artikel sagt nicht, dass die KI nutzlos ist, noch behauptet er, dass die ursprünglichen „Mythos"-Geschichten gefälscht waren. Er sagt einfach:
„Die KI die richtige Datei zu geben, reicht nicht aus."
Selbst wenn die KI genau weiß, wo sie suchen muss, bleibt sie oft an den falschen Details hängen. Sie kann viele „mögliche Fehler" generieren, hat aber Schwierigkeiten, den einen wahren Fehler auszuwählen, der zu den spezifischen Beweisen passt. Der Artikel kommt zu dem Schluss, dass der Erfolg dieser KI-Fehlersucher wahrscheinlich stark vom Prozess abhängt (wie viele Versuche sie erhalten, wie sie bewertet werden und wie sie gelenkt werden) und nicht nur von der rohen Intelligenz des Modells selbst.
Kurz gesagt: Die KI ist ein intelligenter Detektiv, der das Handbuch lesen kann, aber sie benötigt immer noch eine sehr spezifische Anleitung, um den exakten Tippfehler zu finden, sonst wird sie einfach auf den nächsten Fleck auf der Seite zeigen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.