Mirror Horizon: Viable Path Entropy as a Measure of Bounded Reflection

Stellen Sie sich vor, Sie besitzen einen magischen Spiegel, der nicht nur Ihr Gesicht zeigt, sondern jede mögliche Version Ihres zukünftigen Ichs, die existieren könnte, wenn Sie weiterreden, weiterdenken oder ein Problem lösen würden. Die meisten Menschen blicken in einen Spiegel und fragen: „Habe ich die richtige Antwort gefunden?“ Dieses Paper stellt eine viel interessantere Frage: „Wie viele verschiedene richtigen Antworten kann dieser Spiegel finden, und wie viele dieser Antworten bestehen den Test?“

Die Autoren nennen diese Idee die Spiegeltheorie (Mirror Theory). Anstatt eine KI wie ein statisches Lexikon zu behandeln, das lediglich Fakten speichert, behandeln sie sie wie einen lebendigen Spiegel, der einen Prozess namens „Reflektion“ überleben muss. Betrachten Sie Reflektion nicht als einen einzelnen Lichtblitz, sondern als einen langen, gewundenen Pfad, auf dem die KI viele verschiedene Wege versucht, ein Problem zu lösen.

Die wichtigste Entdeckung: Größer ist nicht immer besser

Die größte Überraschung des Papers ist, dass größer nicht immer besser ist. In der Welt der KI gehen wir normalerweise davon aus, dass ein Modell mit mehr „Gehirnschmalz“ (Parametern) automatisch überlegen ist. Aber die Autoren haben dies mit einem spezifischen Setup getestet: Sie baten drei verschiedene Versionen einer KI (namens Qwen2.5), 30 Matheaufgaben zu lösen. Sie gaben ihnen eine begrenzte Menge an „Denkzeit“ (gemessen in Token, was wie Wortteile funktionieren).

Hier ist das, was sie fanden:

• Als sie den Modellen eine kurze Denkzeit gaben (96 Token), hatten die kleineren Modelle Schwierigkeiten.
• Als sie die Denkzeit auf 160 Token erhöhten, geschah etwas Coole: Das 1,5-Milliarden-Parameter-Modell (das mittelgroße Modell) wurde zum Champion. Es fand mehr korrekte Antworten und, was noch wichtiger war, es fand sie auf mehr verschiedenen Wegen als die anderen.
• Das 3-Milliarden-Parameter-Modell (das größte Modell) schnitt in diesem speziellen Test tatsächlich schlechter ab als das mittelgroße Modell. Es lieferte zwar einige richtige Antworten, aber es blieb in einer Sackgasse stecken und fand immer wieder dieselben wenigen Lösungen, während das mittlere Modell eine größere Vielfalt an erfolgreichen Pfaden erkundete.

Das Paper legt nahe, dass „Fähigkeit“ (Capability) nicht nur davon abhängt, wie groß das Modell ist, sondern davon, wie viele lebensfähige Pfade (korrekte, diverse Lösungen) es innerhalb eines begrenzten Budgets an Zeit und Energie tatsächlich erreichen kann.

Das „Viable Path Entropy“-Scorecard

Um dies zu messen, haben die Autoren einen neuen Score erfunden, die Viable Path Entropy (VPE). Stellen Sie sich vor, Sie sind ein Juror bei einer Talentshow.

• Der alte Weg (Pass@k): Sie prüfen nur, ob mindestens einer der Teilnehmer eine perfekte Punktzahl erreicht hat. Wenn ja, geben Sie ihm einen goldenen Stern. Wenn nein, bekommt er gar nichts.
• Der neue Weg (VPE): Sie prüfen zwei Dinge:
  1. Erreichbarkeit (Reachability): Hat er überhaupt irgendeine korrekte Lösung gefunden?
  2. Diversität (Diversity): Wenn ja, wie viele verschiedene Arten von korrekten Lösungen hat er gefunden? Hat er es mit einer cleveren Abkürzung, einer langen Berechnung oder einem visuellen Diagramm gelöst? Oder hat er einfach dreimal dieselbe Antwort geraten?

Das Paper zeigt, dass das mittelgroße Modell (1,5B) den höchsten VPE-Score hatte. Es fand nicht nur mehr richtige Antworten, sondern fand sie auch auf kreativerer, unterscheidbarer Weise. Das größte Modell (3B) hatte einen niedrigeren Score, weil es, obwohl es intelligent war, unter diesen spezifischen Regeln weniger „explorativ“ agierte.

Was dieses Paper ausschließt

Die Autoren sind sehr deutlich darüber, was dies nicht ist.

• Es ist keine Regel, die besagt: „Größere Modelle gewinnen immer.“ Das Experiment zeigt explizit, dass ein größeres Modell einen kleineren „Spiegelhorizont“ (weniger zugänglichen Erfolg) haben kann als ein kleineres, wenn die Bedingungen nicht stimmen.
• Es ist keine magische Formel, die exakt vorhersagt, wie eine KI ewig skalieren wird. Die Autoren argumenten, dass es keine einzige, einfache Linie gibt, die besagt: „Mehr Parameter = mehr Fähigkeit“. Stattdessen hängt die Fähigkeit von den spezifischen Regeln des Spiels ab (Prompt, Zeitlimit, Verifizierer).
• Es geht nicht nur darum, die richtige Antwort einmal zu bekommen. Das Paper argumentt, dass es weniger beeindruckend ist, die richtige Antwort auf nur einem starren Weg zu finden, als viele verschiedene gültige Wege dorthin zu finden.

Wie sicher sind sie sich?

Die Autoren sind vorsichtig damit, zu behaupten, sie hätten das Geheimnis der KI für immer gelöst. Sie beschreiben ihre Ergebnisse als gemessen und beobachtet in einem spezifischen Experiment, nicht als ein universelles Naturgesetz.

• Sie führten 32 Stichproben (Versuche) für jede der 30 Matheaufgaben durch.
• Sie verwendeten einen spezifischen „Verifier“ (einen strengen Prüfer, der nach der richtigen Zahl sucht) und eine spezifische „Mode Map“ (eine Methode, um ähnliche Lösungen zu gruppieren).
• Sie geben zu, dass ihre „Mode Map“ etwas grob ist (wie das Sortieren von Lösungen nach Länge oder einfachen mathematischen Symbolen) und dass zukünftige Tests komplexere Wege zur Gruppierung von Antworten nutzen könnten.
• Sie legen nahe, dass ihre Ergebnisse die Idee der Spiegeltheorie stützen, behaupten aber nicht, sie zweifelsfrei bewiesen zu haben. Sie sagen, dass ihre Ergebnisse „zeigen, dass“ das Maß funktioniert und die „Behauptung stützen“, lassen aber die Tür für weitere Tests mit anderen Aufgaben und Modellen offen.

Das Fazzeit

Betrachten Sie die KI nicht als einen Roboter, der ein Lehrbuch auswendig lernt, sondern als einen Entdecker mit einem begrenzten Vorrat an Treibstoff. Das Paper legt nahe, dass der beste Entdecker nicht unbedingt der größte ist, sondern derjenste, der seinen Treibstoff nutzen kann, um die meisten unterschiedlichen, korrekten Pfade durch den Wald zu finden. Wenn man dem Entdecker mehr Treibstoff gibt (Erhöhung des Token-Budgets von 96 auf 160), wird das mittelgroße Modell plötzlich zum fähigsten Entdecker und findet eine reiche Vielfalt an Lösungen, die der größere, schwerere Entdecker verpasst hat.

Das Paper kommt zu dem Schluss, dass wir, um die Intelligenz einer KI wirklich zu verstehen, nicht nur fragen sollten: „Hat sie die Antwort gefunden?“ Wir sollten fragen: „Wie viele verschiedene, gültige Wege hätte sie finden können, und wie viele davon hat sie tatsächlich entdeckt?“ Das ist der neue „Spiegelhorizont“.