Das Dilemma des Detektivs: Wenn Sehen nicht ausreicht

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen, aber anstatt nach Hinweisen zu suchen, starren Sie auf ein einzelnes, hochauflösendes Foto. In der Welt der künstlichen Intelligenल Intelligenz ist dies das, was „multimodale Modelle“ tun: Sie betrachten Bilder und versuchen, Fragen dazu zu beantworten. Lange Zeit sind diese KI-Detektive besser geworden, indem sie gelernt haben, „Werkzeuge“ zu benutzen. Wenn ein Hinweis zu klein ist, um ihn zu sehen, lernen sie, heranzuzoomen. Wenn ein Text verschwommen ist, lernen sie, das Bild aufzuhellen. Dies wird als „Mit Bildern denken“ bezeichnet. Es ist, als würde man dem Detektiv eine Lupe und eine Taschenlampe geben.

Es gibt jedoch einen Haken. Manche Rätsel werden nicht dadurch gelöst, dass man einfach genauer hinsieht. Stellen Sie sich ein Puzzle vor, bei dem Sie genau zählen müssen, wie viele Pixel in einem bestimmten Muster vorhanden sind, oder herausfinden müssen, um welchen präzisen Winkel ein verborgener Ring gedreht wurde. Kein noch so viel Zoom oder Aufhellen wird Ihnen helfen, die Antwort mit Ihren Augen zu „sehen“. Sie müssen sie berechnen. Hier stößt die alte Art des Denkens an eine Wand. Die KI kann die Schritte zur Lösung des Puzzles in Worten beschreiben, aber Worte können keine Mathematik an einem Bild durchführen. Dieses Paper tritt in diese Lücke und stellt eine einfache, aber tiefgreifende Frage: Was wäre, wenn die KI die Lösung nicht nur beschreibt, sondern tatsächlich ein Computerprogramm schreibt, um die Lösung auszuführen?

Die große Idee des Papers: Codieren als Denken

Dieses Paper führt eine neue Art und Weise ein, wie KI visuelle Rätsel löst, genannt Code-with-Image. Anstatt die KI nur zu bitten, ein Bild zu „betrachten“ und die Antwort zu erraten, oder ein vorgefertigtes Verzeichnis von Werkzeugen wie „Ausschneiden“ oder „Rotieren“ zu verwenden, geben die Forscher der KI eine leere Leinwand und einen Python-Interpreter (ein Werkzeug, das Computercode ausführt). Die Aufgabe der KI ist es, ein Programm zu schreiben, das die Pixel des Bildes direkt manipuliert, um die Antwort zu finden.

Denken Sie an Folgendes: In der alten Methode, wenn Sie eine KI fragen würden: „Wie viele rote Punkte sind in diesem Bild?“, würde sie vielleicht versuchen, die Punkte zu beschreiben oder ein Werkzeug zu benutzen, um sie hervorzuheben. In Code-with-Image muss die KI ein Skript schreiben, das sagt: „Gehe jeden Pixel durch, prüfe, ob er rot ist, zähle ihn und gib die Gesamtsumme aus.“ Das Programm ist das logische Denken. Wenn der Code richtig ist, ist die Antwort richtig. Wenn der Code falsch ist, ist die Antwort falsch. Dies verschiebt die Herausforderung vom „Sehen“ der Antwort zum „Bauen“ der Antwort.

Das Problem: KI kann beschreiben, aber nicht tun

Die Forscher fanden heraus, dass selbst die klügsten KI-Modelle mit diesem Problem zu kämpfen haben. Sie testeten einen massiven Benchmark namens CwI-Bench (Code-with-Image Bench), der 30 verschiedene Arten von visuellen Rätseln enthält. Diese Rätsel sind so konzipiert, dass man die Antwort nicht einfach durch „Ansehen“ erhalten kann; man muss eine mehrstufige Berechnung an den Pixeln durchführen.

Wenn die KI versuchte, diese Rätsel nur mit Worten zu lösen (selbst wenn ihr „Denkmodus“ aktiviert war), scheiterte sie kläglich. Beispielsweise erreichte das Top-Modell GPT-5.6-luna weniger als 30 % der richtigen Antworten. Es konnte die Schritte perfekt beschreiben („Ich muss das Bild rotieren und die Pixel zählen“), aber es konnte die Mathematik dahinter nicht tatsächlich ausführen. Es war wie ein Koch, der ein Rezept in perfekter Detailgenauigkeit beschreiben kann, aber das Essen nicht tatsächlich kochen kann.

Als die Forscher der KI jedoch einen Python-Interpreter gaben und ihr sagten, sie solle Code schreiben, um das Problem zu lösen, stiegen die Werte sprunghaft an. Die Genauigkeit von GPT-5.6-luna stieg auf 43 %. Das Open-Source-Modell Qwen3.5-27B stieg von 12,6 % auf 32,6 %. Der Code ermöglichte es der KI, die Bilddaten tatsächlich zu verarbeiten und verwandelte ein Ratespiel in eine Berechnung.

Das Geheimrezept: Selbstständig lernen zu debuggen

Aber hier kommt der entscheidende Punkt: Selbst mit der Fähigkeit, Code zu schreiben, machte die KI immer noch Fehler. Sie schrieb ein Programm, das korrekt aussah, aber einen winzigen, unsichtbaren Fehler enthielt – wie das Zählen eines zusätzlichen Pixels oder die Verwendung einer falchten Zahl für eine Rotation. Die KI führte den Code aus, erhielt die falsche Antwort und versuchte dann oft einfach, ein neues Programm zu schreiben, wobei sie häufig denselben Fehler wiederholte.

Um dies zu beheben, entwickelten die Autoren eine „selbstentwickelnde“ Schleife namens Self-Reflection over Executable Reasoning. Dies ist der spielerischste Teil der Geschichte. Stellen Sie sich vor, die KI ist ein Schüler, der eine Prüfung ablegt. Wenn sie eine Frage falsch beantwortet, wird sie, anstatt einfach weiterzumachen, gezwungen:

1. Den gescheiterten Test anzusehen: Den geschriebenen Code und die falsche Antwort lesen, die sie erhalten hat.
2. Eine Simulation durchzuführen: Den Code in einer sicheren „Sandbox“ erneut auszuführen, um genau zu sehen, wo er abgebrochen ist.
3. Den Bug zu beheben: Den Code bearbeiten, um den Fehler zu korrigieren.
4. Die Lektion zu speichern: Wenn die Korrektur funktioniert, den korrigierten Code als „Skill“ (ein Stück Text) in einer Bibliothek zu speichern.

Dies geschieht, ohne dass die KI neu trainiert oder ihr „Gehirn“ umstrukturiert werden muss. Sie lernt einfach aus ihren eigenen Fehlern. Das Paper zeigt, dass diese „Selbstlernschleife“ unglaublich leistungsstark ist.

• Durch die Nutzung dieser selbst entwickelten Skills steigerte sich die Genauigkeit des GPT-5.6-luna Modells von 43 % auf 67 %.
• Für das Qwen3.5-27B Modell sprang die Genauigkeit von 32,6 % auf 55,9 %.

Warum das wichtig ist: Fähigkeiten, die man kopieren und einfügen kann

Eine der coolsten Erkenntnisse ist, dass diese „Skills“ einfach aus reinem Text bestehen. Sie sind nicht in das Gehirn der KI eingesperrt. Die Forscher zeigten, dass sie die von einem riesigen, mächtigen Modell (wie dem 27-Milliarden-Parameter-Modell) gelernten Fähigkeiten nehmen und in ein viel kleineres, schwächeres Modell (ein 9-Milliarden-Parameter-Modell) einfügen konnten.

Das kleinere Modell, das die Probleme allein nicht lösen konnte, wurde plötzlich viel besser, nur indem es den von dem größeren Modell geschriebenen „Referenzleitfaden“ las.

• Das 9B-Modell steigerte seine Genauigkeit von 11,1 % auf 34,5 %, nur durch die Nutzung der vom 27B-Modell entwickelten Skills.
• Überraschenderweise funktionierten diese Skills auch über verschiedene Arten von KI-Modellen hinweg. Ein Skill, der von einer Modellfamilie gelernt wurde, half einer völlig anderen Modellfamilie, sich zu verbessern.

Was dieses Paper ausschließt

Das Paper ist sehr deutlich darüber, was nicht funktioniert. Es argumenttiert, dass es nicht ausreicht, einer KI einfach eine Liste von Werkzeugen (wie „Zoomen“, „Ausschneiden“ oder „Suchen“) zu geben. Die KI muss ihren eigenen Algorithmus von Grund auf neu schreiben. Es zeigt auch, dass es nicht hilft, einfach nur „tiefer nachzudenken“; der Engpass ist nicht ein Mangel an Ideen, sondern ein Mangel an Ausführung. Die KI kann den Algorithmus zwar beschreiben, aber ohne den Code auszuführen, kann sie das Rätsel nicht lösen.

Das Fazien

Dieses Paper legt nahe, dass für visuelle Probleme, die präzise Berechnungen erfordern, der beste Weg für eine KI darin besteht, Code zu schreiben. Aber der eigentliche Durchbruch ist, dass diese KI-Modelle lernen können, sich selbst besser im Schreiben dieses Codes zu machen, indem sie ihre eigenen Fehler debuggen. Sie brauchen keinen menschlichen Lehrer, um ihren Code zu korrigieren; sie brauchen nur eine Sandbox, um ihn auszuführen, einen Spiegel, um zu sehen, wo sie gescheitert sind, und ein wenig Geduld, um es erneut zu versuchen.

Die Ergebnisse sind gemessen und spezifisch: Auf einem Benchmark mit 30 Aufgabenfamilien hoben selbst entwickelte Skills die Leistung der Top-Modelle von niedrigen 40ern auf hohe 60er Prozent (Genauigkeit). Während das Paper nicht behauptet, dass dies jedes visuelle Problem löst, beweist es, dass für Aufgaben, bei denen die Antwort in der Mathematik der Pixel und nicht in der visuellen Inspektion liegt, das Codieren der Schlüssel und die Selbstreflexion der wahre Meisterschlüssel ist.