An Omitted Mode Is a Rare Rule: The Sampling-Verification Danger Law in Continuous Code World Models

In der modernen Welt der künstlichen Intelligenz ist eine populäre Strategie, Maschinen das Steuern physischer Systeme – wie Roboter oder selbstfahrende Autos – beizubringen, darin bestehend, die Maschine zuerst eine mentale Landkarte darüber erstellen zu lassen, wie die Welt funktioniert. Diese Landkarte, oft als „Weltmodell“ bezeichnet, sagt voraus, was als Nächstes passieren wird, wenn eine bestimmte Aktion ausgeführt wird. Sobald die Maschine diese Landkarte besitzt, nutzt sie einen Planungsalgorithmus, um tausende mögliche Zukünfte zu simulieren und nach der Sequenz von Aktionen zu suchen, die zum besten Ergebnis führt. Es wurde lange Zeit davon ausgegangen, dass es sicher ist, diese Landkarte für die Planung zu verwenden, wenn sie auf den gesehenen Daten genau genug ist. Wenn die Landkarte die Zukunft in tausend Testläufen korrekt vorhersagt, wird sie als zuverlässiger Leitfaden angesehen.

Ein neues Studium stellt diese Annahme jedoch infrage, indem es untersucht, was passiert, wenn die Welt seltene, plötzliche Ereignisse enthält, die die Maschine in ihrem Training noch nie erlebt hat. Stellen Sie sich ein Auto vor, das gelernt hat, auf einer glatten Straße zu fahren, aber noch nie eine Wand gesehen hat. Wenn die Wand so selten ist, dass das Auto während seines Trainings nie gegen sie gefahren ist, könnte die mentale Landkarte der Maschine die Existenz der Wand einfach ignorieren und annehmen, dass die Straße ewig weitergeht. Die Gefahr besteht darin, dass die Maschine, wenn sie schließlich versucht, in der realen Welt zu fahren, einen Pfad direkt in diese unsichtbare Wand planen könnte, im Glauben, sie durchqueren zu können. Die Frage, die die Forscher stellten, war, ob eine Standard-Sicherheitsprüfung, die die Landkarte der Maschine gegen Zufallsstichproben der Welt testet, diese spezifische Art der Blindheit erkennen würde, bevor sie einen Unfall verursacht.

Die Forscher richteten eine Reihe kontrollierter Experimente ein, um diese Frage zu beantworten, indem sie einfache physikalische Simulationen verwendeten, wie etwa einen Wagen, der sich auf einer Schiene bewegt, oder ein Pendel, das schwingt. In diesen Simulationen führten sie eine „seltene Regel“ ein: einen harten Stopp, wie eine Wand oder einen Boden, der die Bewegung des Objekts sofort stoppt, wenn er berührt wird. Sie baten dann ein großes Sprachmodell, den Code für die mentale Landkarte der Maschine zu schreiben, verbargen aber die Existenz dieser Wand absichtlich vor den Trainingsdaten des Modells. Dem Modell wurden nur zufällige Bewegungen des Wagens oder des Pendels gezeigt, die die Wand zufällig umgingen. Da die Wand selten war, sah das Modell sie während seines Trainings oft gar nicht.

Die Ergebnisse waren drastisch. Als die Forscher die Modelle mit einer Standard-Sicherheitsprüfung testeten – indem sie das Modell durch tausende zufällige Szenarien laufen ließen, um zu sehen, ob es mit der realen Physik übereinstimmt – bestanden die Modelle häufig. Sie wurden als „korrekt“ akzeptiert, weil in den tausenden Zufallstests die Wand nie ausgelöst wurde. Doch wenn diese „verifizierten“ Modelle dann einem Planer übergeben wurden, um das System zu steuern, steuerte der Planer den Wagen oder das Pendel selbstbewusst direkt in die verborgene Wand. Das Modell, das kein Konzept der Wand hatte, sagte voraus, dass das Objekt einfach durch sie hindurchgleiten würde. Der Planer, der dieser falschen Vorhersage vertraute, steuerte das Objekt direkt in die Wand, wo es stecken blieb. Die Maschine war dann nicht mehr in der Lage, ihr Ziel zu erreichen, und verlor fast allen potenziellen Erfolg. Die Studie fand heraus, dass dieser Fehler kein Rechenfehler war, sondern eine fundamentale Wissenslücke: Das Modell war blind gegenüber einer Regel, die existierte, aber nie abgetastet worden war.

Die Forscher entdeckten, dass die Wahrscheinlichkeit einer solchen Katastrophe einem präzisen mathematischen Muster basär der Seltenheit folgt. Wenn ein gefährliches Ereignis in einem von hundert Zufallstests auftritt und die Sicherheitsprüfung nur hundert Tests durchführt, besteht eine signifikante Chance, dass die Prüfung das Ereignis überhaupt nicht entdeckt. Wenn die Prüfung tausend Tests durchführt, sinkt die Chance, es zu übersehen, aber sie erreicht niemals Null. Die Studie bewies, dass solange die Trainingsdaten das seltene Ereignis nicht enthalten, keine Menge an kluger Planung oder Modellverfeinerung dieses Ereignis entdecken kann. Das Modell bleibt blind, und die Sicherheitsprüfung kann aufgrund ihrer Natur der Zufallsstichprobe nicht garantieren, dass der blinde Fleck gefunden wurde.

Das Studium untersuchte auch, ob die Maschine die Regel lernen könnte, wenn man ihr die Wand während des Trainings gezeigt hätte. Bei einfachen, eindimensionalen Aufgaben, wie einem Wagen, der sich in einer geraden Linie bewegt, war die Antwort überraschend positiv. Wenn das Modell auch nur wenige Beispiele gesehen hatte, in denen der Wagen gegen die Wand stieß, war das Sprachmodell in der Lage, den exakten Code zu schreiben, um den Wagen zu stoppen, und verbesserte damit effektiv seine mentale Landkarte. Es lernte die Regel perfekt. Die Forscher wechselten jedoch zu komplexeren, zweidimensionalen Umgebungen, in denen die Wand ein kreisförmiges Feld auf einer flachen Oberfläche war. In diesen Fällen scheiterte das Modell selbst dann, wenn es durch die Beweise auf den Aufprall der Wand auf das Feld hingewiesen wurde. Anstatt die kreisförmige Regel zu lernen, erfand das Modell falsche Formen, wie eine gerade Linie oder ein Quadrat, oder es ließ das Objekt einfach auf der Stelle einfrieren, ohne zu verstehen, warum. Das Modell konnte nicht von den wenigen Beispielen, die es sah, auf die vollständige Form des Hindernisses schließen.

Dieser Befund verdeutlicht eine kritische Einschränkung in der Art und Weise, wie diese Systeme lernen. Die Studie zeigte, dass eine Maschine zwar exzellent darin sein kann, eine Regel zu übersetzen, die ihr explizit in einem einfachen Kontext gesagt oder gezeigt wurde, sie aber Schwierigkeiten hat, die Form und Lage einer komplexen Regel aus verstreuten Beweisen abzuleiten. Die Fähigkeit der Maschine, sich selbst zu „reparieren“, hängt stark von der Geometrie des Problems ab. In einfachen Fällen funktioniert es; in komplexen, zweidimensionalen Fällen scheitert es. Die Forscher testeten verschiedene Möglichkeiten, dem Modell zu helfen, wie etwa das Geben von mehr Beispielen, das Ändern der Art und Weise, wie es denken sollte, oder das Geben von Hinweisen über die Form des Hindernisses. Keine dieser Interventionen funktionierte. Das Modell scheiterte konsistent daran, die korrekte Regel für das zweidimensionale Feld zu induzieren, und ersetzte sie oft durch eine einfachere, falsche Form.

Die Implikationen dieser Arbeit sind bedeutend für jeden, der sich auf KI zur Steuerung physischer Systeme verlässt. Es deutet darauf hin, dass Sicherheitsprüfungen basierend auf Zufallsstichproben unzureichend sind, um seltene, aber katastrophale Fehler abzufangen. Ein Modell kann jeden Test bestehen, der ihm gegeben wird, und dennoch in Bezug auf ein spezifisches, seltenes Ereignis gefährlich falsch liegen. Die Studie beweist, dass, wenn ein gefährliches Ereignis selten genug ist, um vom Stichprobenprozess verpasst zu werden, das Modell blind gegenüber ihm bleiben wird und der Planer diese Blindheit ausnutzen wird, was zum Scheitern führt. Der einzige Weg, Sicherheit zu gewährleisten, besteht darin, zu garantieren, dass die Trainingsdaten die Grenzen dieser seltenen Ereignisse abdecken, oder eine andere Art der Verifizierung zu verwenden, die nicht auf Zufall basiert. Die Forschung kommt zu dem Schluss, dass eine KI zwar bemerkenswert gut darin sein kann, aus Daten zu lernen, sie aber nicht lernen kann, was sie nie gesehen hat – und in der physischen Welt kann genau das, was sie nie gesehen hat, den größten Schaden anrichten.