Can Environment-Agnostic Agents Solve ARC-AGI-3 from Warped and Noisy Images?
Diese Arbeit zeigt, dass, während umweltagnostische Agenten Schwierigkeiten haben, ARC-AGI-3-Aufgaben aus stark verzerrten und verrauschten Bildern zu lösen, das GPT-6-astra-Modell unter diesen extremen Bedingungen eine nahezu perfekte Leistung erzielt und GPT-5.6-sol durch die effektive Kombination von Bildverarbeitung mit Entscheidungsfindung unter Unsicherheit signifikant übertrifft.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht vom Autor verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich ein Computerprogramm vor, das lernen muss, ein Spiel zu spielen, indem es nicht Regeln liest oder ein sauberes Raster aus Zahlen sieht, sondern indem es ein Bild des Spielfelds betrachtet. Dies ist die Herausforderung bei der Entwicklung eines umgebungsagnostischen Agenten: eines einzelnen Software-Verstandes, der in verschiedene digitale Welten eintreten, verstehen kann, wie sie funktionieren, indem er sie nur betrachtet, und Aktionen ausführt, um zu gewinnen, ohne für jedes neue Spiel umprogrammiert werden zu müssen. Die Schwierigkeit vervielfacht sich, wenn das Bild, das es sieht, nicht klar ist. Was wäre, wenn das Bild verschwommen mit statischem Rauschen ist, oder wenn das Spielfeld selbst verbogen, gestreckt oder verdreht aussieht, als würde man es durch einen Jahrmarktsspiegel betrachten? In der realen Welt sind unsere Augen und Gehirne bemerkenswert gut darin, solche Verzerrungen zu korrigieren, aber für eine Maschine ist es ein tiefgreifender Test der Intelligenz, ein Ziel zu sehen, das verzerrt ist, und dann genau zu bestimmen, wo auf dem ursprünglichen, flachen Brett geklickt werden muss. Diese Frage steht im Zentrum einer neuen Studie, die untersucht, ob künstliche Intelligenz lernen kann, klar durch einen Nebel aus visuellem Chaos zu sehen.
Forscher bei SingularityNET setzten sich zum Ziel, dies zu testen, indem sie einem spezifischen Typ eines künstlichen Agenten eine Serie von Logikrätseln bekannt als ARC-AGI-3 zuführten. Diese Rätsel sind darauf ausgelegt, das logische Denken zu testen, wobei der Löser verborgene Regeln und Muster entdecken muss. In diesem Experiment erhielt der Agent niemals eine saubere Liste von Zahlen oder eine Textbeschreibung des Spielfelds. Stattdessen erhielt er lediglich Bilder. Um die Aufgabe extrem schwierig zu machen, korrumpierten die Forscher diese Bilder absichtlich. Sie fügten zufälliges statisches Rauschen hinzu, ähnlich dem Korn, das man auf einem alten Fernsehbildschirm sieht, und sie wandten geometrische Verformungen an, die die geraden Linien des Spielfelds in Kurven bogen oder die Perspektive vollständig verschoben. Entscheidend war, dass sich die Verzerrung mit jedem einzelnen Frame änderte, den der Agent sah, was bedeutete, dass das Spielfeld von einem Moment zum nächsten anders aussehen konnte, selbst wenn sich der Spielzustand nicht geändert hatte. Der Agent musste ein verdrehtes, verrauschtes Bild betrachten, verstehen, was geschah, und dann eine präzise Koordinate auf dem ursprünglichen, unverzerrten Brett übermitteln, um einen Zug zu machen. Es war, als versuche man, ein Ziel an einer Wand zu treffen, während man durch ein wackeliges, schmutziges Fenster blickt, das ständig seine Form verändert.
Die Studie verglich zwei verschiedene Versionen der künstlichen Intelligenz, eine ältere und eine neuere, um zu sehen, wie sie mit diesem visuellen Chaos umgingen. Die ältere Version hatte große Schwierigkeiten, wenn sie mit den verdrehten Bildern konfrontiert wurde. Ihre Leistung sank drastisch, insbesondere wenn die Bilder auf komplexe Weise verbogen waren. Die Forscher fanden heraus, dass die Krümmung des Bildes für die Maschine weita viel verwirrender war als das statische Rauschen allein. Um dem älteren Agenten zu helfen, führten die Wissenschaftler ein einfaches Werkzeug ein: eine „Cursor-Feedback“-Funktion. Diese ermöglichte es dem Agenten, einen Ort auf dem Brett vorzuschlagen und ein Bild davon zu sehen, wo dieser Punkt auf dem verzerrten Bild erscheinen würde – im Wesentlichen erlaubte es ihm, seine Vermutung zu überprüfen, bevor er sie festlegte. Dies half dem älteren Agenten, einen Teil seiner verlorenen Fähigkeit zurückzugewinnen, insbesondere in Spielen, die das Klicken erforderten, konnte jedoch die schwersten Verzerrungen nicht überwinden. Selbst mit dieser Hilfe scheiterte der ältere Agent an den meisten der schwierigsten Rätsel, wenn die Bilder sowohl extrem verrauscht als auch stark verzerrt waren.
Die neuere künstliche Intelligenz hingegen zeigte eine erstaunliche Resilienz. Angesichts derselben schweren Verzerrungen, die das ältere Modell fast gelähmt hätten, löste dieser Agent fast jedes Rätsel und erreichte eine Erfolgsquote von über neunzig Prozent, selbst ohne das Cursor-Feedback-Werkzeug. Er schaffte es, durch die verdrehten, verrauschten Bilder zu navigieren und die korrekten Koordinaten auf dem ursprünglichen Brett zu identifizieren. Die Forscher trieben diesen Agenten in Folgetests noch weiter, indem sie das Rauschen auf ein Niveau erhöhten, bei dem einzelne Pixel fast ununterscheidbar waren, und zufällige Rotationen des Spielfelds hinzufügten. Selbst unter diesen extremen Bedingungen brach der Agent nicht zusammen. Während seine Gesamterfolgsquote sank, schaffte er es dennoch, einen signifikanten Teil der Spiele zu lösen. In einem speziellen Spiel erreichte er eine nahezu perfekte Punktzahl, obwohl die Bilder so verrauscht und verzerrt waren, dass sie für einen menschlichen Beobachter fast unerkennbar erschienen.
Um zu ergründen, wie dieser Agent erfolgreich war, untersuchten die Forscher die Dateien, die er während seines Spiels erstellte. Sie fanden heraus, dass der Agent seine eigenen Computer-Skripte geschrieben hatte, um die Bilder zu verarbeiten. Er nutzte diese Werkzeuge, um das Rauschen zu bereinigen und die verzerrten Linien zu begradigen, wodurch er effektiv ein klares Bild des Spielfelds aus dem chaotischen Input wiederherstellte, bevor er seine Entscheidungen traf. Dies deutet darauf hin, dass der Agent sich nicht einfach nur durch das Chaos „geraten“ hat, sondern aktiv ein klareres Bild der Realität konstruierte, indem er Werkzeuge entwickelte, die er spontan einsetzte. Die Studie kommt zu dem Schluss, dass während schwere visuelle Verzerrungen einfachere Modelle außer Kraft setzen können, fortgeschrittenere Agenten lernen können, dies zu kompensieren, indem sie interne Modelle des Spiels aufbauen und Bildverarbeitungswerkzeuge nutzen, um ihre Sicht zu korrigieren. Die Ergebnisse legen nahe, dass der Weg zu einer robusten künstlichen Intelligenz in der Fähigkeit liegen könnte, nicht nur die Welt so zu sehen, wie sie präsentiert wird, sondern aktiv daran zu arbeiten, die Welt hinter der Verzerrung zu verstehen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.