Sample More, Reflect Less: Self-Refine and Reflexion Lose to Repeated Sampling at Equal Token Cost, from 1.5B to 7B

Das große KI-Gehirn-Boost-Experiment

Stellen Sie sich vor, Sie haben einen sehr klugen, aber leicht ablenkbaren Schüler. Sie geben ihm eine schwierige Matheaufgabe, und er versucht, sie zu lösen. Manchmal hat er recht; manchmal liegt er falsch. In der Welt der künstlichen Intelligenz versuchen Forscher herauszufinden, wie sie diese „Schüler“ (genannt Large Language Models) dazu bringen können, besser zu denken, ohne sie von Grund auf neu zu bauen. Die populäre Idee war bisher, der KI zu sagen, sie solle „intensiver nachdenken“. Das bedeutet, sie anzuweisen, ihre Schritte zu planen, mit sich selbst zu debattieren, ihre eigenen Fehler zu kritisieren oder ihre Antworten zu überarbeiten, bevor sie sie abgibt. Es ist, als würde man einem Schüler sagen: „Schreibe nicht nur die Antwort; schreibe einen ganzen Aufsatz darüber, warum du glaubst, dass diese Antwort richtig ist, überprüfe deine Arbeit und versuche es vielleicht noch einmal.“

Die große Frage ist: Hilft all dieses zusätzliche Nachdenken tatsächlich, oder ist es nur Zeitverschwendung? Das Schlüsselkonzept hierbei sind Tokens. Betrachten Sie Tokens als die „Wörter“ oder „Einheiten des Aufwands“, die eine KI aufwendet. Jedes Mal, wenn die KI ein Wort schreibt, kostet das einen Token. Wenn eine Methode die KI dazu bringt, 1.000 Wörter zu schreiben, um ein Problem zu lösen, das mit 100 Wörtern lösbar wäre, hat sie den zehnfachen Aufwand betrieben. Die wissenschaftliche Debatte dreht sich darum, ob dieser zusätzliche Aufwand aus der Strategie (wie Selbstkritik) resultiert oder schlichtweg daraus, dass die KI mehr Wörter schreiben durfte. Wenn Sie einem Schüler zehnmal so viel Papier geben, erzielt er vielleicht nur deshalb eine bessere Note, weil er mehr Platz zum Ausprobieren hatte, und nicht, weil er plötzlich klüger geworden ist. Diese Arbeit setzt genau hier an und testet: Wenn man verschiedenen Strategien exakt die gleiche Menge an Papier (Tokens) zur Verfügung stellt, welche gewinnt dann tatsächlich?

Das Paper: Mehr Samples, weniger Reflexion

Dieses Paper mit dem Titel „Sample More, Reflect Less“ ist ein massives Experiment, das darauf ausgelegt ist, die Debatte darüber zu klären, ob eine KI „reflektieren“ muss, um klüger zu werden. Die Forscher nahmen sieben verschiedene populäre Methoden, die eine KI „intensiver nachdenken“ lassen – einschließlich Methoden, bei denen die KI ihre eigene Arbeit kritisiert, mit Kopien ihrer selbst debattiert oder versucht, die beste Antwort aus einer Liste auszuwählen – und stellten sie gegen eine sehr einfache, langweilige Baseline gegenüber: Repeated Sampling (wiederholtes Stichprobenziehen).

Die Baseline ist wie das zehnmalige Werfen einer Münze und das Wählen der Seite, die am häufigsten vorkommt. In der KI-Sprache bedeutet dies, dieselbe Frage zehnmal zu stellen und einfach die häufigste Antwort zu nehmen. Die Forscher stellten sicher, dass jede Methode exakt die gleiche Anzahl an Tokens (generierte Wörter) verwendete, damit das Spielfeld vollkommen eben war. Sie testeten dies an drei verschiedenen Größen von KI-Modellen (1,5 Milliarden, 3 Milliarden und 7 Milliarden Parameter) unter Verwendung von zwei Mathematik-Benchmarks (GSM8K und MATH-500) mit jeweils 150 Fragen.

Das große Ergebnis:
Die Ergebnisse waren überraschend. In fast allen Fällen verloren die ausgeklügelten Methoden, die die KI dazu brachten zu „reflektieren“, zu „kritisieren“ oder zu „argumentieren“, gegen die einfache Methode, die Frage einfach mehrfach zu stellen und die Stimmen zu zählen.

Als die Forscher genauer untersuchten, warum die ausgeklügelten Methoden verloren, fanden sie ein klares Muster. Die Methoden, die die KI baten, ihre eigene Arbeit zu bewerten (wie das Umschreiben einer Antwort oder das Auswählen der „besten“ aus einer Liste), schnitten konsistent schlechter ab als die Baseline. Beispielsweise erzielte auf dem kleineren 1,5-Milliarden-Parameter-Modell eine Methode namens „Best-of-N“ (bei der die KI die besten 8 Antworten auswählt) etwa 8 bis 11 Prozentpunkte weniger als die Methode, bei der man einfach die häufigste Antwort unter denselben 8 Versuchen zählt. Selbst beim größeren 7-Milliarden-Modell verschwand dieser Unterschied: Der Unterschied war statistisch nicht von Null unterscheidbar, was bedeutet, dass der „Richter“ nicht mehr eindeutig schlechter war als der „Zähler“ und der Abzug nicht mehr von Null zu unterscheiden war.

Das Paper schließt die Idee explizit aus, dass „intensiveres Nachdenken“ durch Selbstreflexion die magische Zutat sei. Stattdessen legt es nahe, dass es eine bessere Investition ist, Tokens für einen weiteren Versuch auszugeben, als sie für Selbstkorrektur zu verwenden – bei jeder Modellgröße, die die Forscher testen konnten. Wenn man genug Tokens hat, um einen langen, kritischen Aufsatz über seine Antwort zu schreiben, ist man besser beraten, diese Tokens zu nutzen, um zwei oder drei frische, unabhängige Antworten zu schreiben und einfach die populärste davon zu wählen.

Die „Geister“-Methode und die Lektion „Größe zählt“

Einer der spielerischsten und aufschlussreichsten Teile des Experiments beinhaltete eine Methode namens Reflexion. Diese Methode soll so funktionieren: Die KI versucht ein Problem zu lösen, und fragt sich dann: „Habe ich das richtig gemacht?“ Wenn sie „Nein“ sagt, versucht sie es erneut. Wenn sie „Ja“ sagt, hört sie auf.

Die Forscher fanden einen amüsanten Fehler im kleinsten Modell (1,5B). Bei diesem winzigen Modell sagte die KI niemals „Nein“. Sie bewertete jede ihrer ersten Antworten als „korrekt“, selbst wenn diese falsch waren. Daher wurde die Reflexions-Methode niemals ausgelöst, die einen erneuten Versuch erzwingt. Sie kollabierte lautlos zu einem einzigen, billigen Versuch. Da sie so wenig kostete (sie verbrauchte keine extra Tokens), wirkte sie gut, obwohl sie eigentlich kaum Arbeit leistete. Aber als die Forscher die KI zwangen, unabhängig davon, was sie dachte, drei Mal neu zu versuchen, sank die Leistung signifikant, was bewies, dass der „Reflexions“-Mechanismus selbst die Punktzahl verschlechterte.

Als die Modelle größer wurden (von 1,5B zu 7B), schrumpfte der Abstand zwischen „Stimmen zählen“ und „die KI urteilen lassen“. Bei 7 Milliarden Parametern war die KI gut genug darin zu urteilen, dass der Prozess nicht mehr schädlich war; der Unterschied war nicht mehr von Null unterscheidbar. Dennoch merkt das Paper an, dass die KI selbst bei dieser Größe nicht besser im Urteilen war als das Stimmenzählen, sondern nur aufhörte, schlechter zu sein. Die Forscher vermuten, dass eine KI, um die einfache „Stimmenzähl“-Methode wirklich zu schlagen, speziell darauf trainiert werden müsste, ein Richter zu sein, anstatt nur im laufenden Betrieb zum Urteilen aufgefordert zu werden.

Was dies für die Zukunft bedeutet

Das Paper endet mit einer klaren Botschaft an jeden, der diese KI-Systeme baut: Überkomplizieren Sie die Dinge nicht. Wenn Sie ein Budget an Tokens (Wörtern) haben, ist der effizienteste Weg, eine korrekte Antwort zu erhalten, oft, viele verschiedene Versuche zu generieren und die Mehrheit entscheiden zu lassen, anstatt die KI zu bitten, ihre eigene Arbeit zu kritisieren und umzuschreiben.

Die Autoren warnen auch davor, dass einige Methoden auf dem Papier gut aussehen, aber in der Praxis scheitern können, weil sie ihre wahren Kosten „verstecken“. Wenn eine Methode selbst entscheidet, wann sie aufhört (wie Reflexion), kann sie sofort aufhören und Geld sparen, wodurch sie effizient aussieht, aber eigentlich nicht die Arbeit leistet, für die sie konzipiert wurde.

Letztlich legt diese Studie nahe, dass für mathematische Probleme mit klaren Richtig-oder-Falsch-Antworten die „Magie“ der Selbstreflexion ein Mythos ist – zumindest für die getesteten Modelle. Das mächtigste Werkzeug ist nicht eine klügere Strategie, sondern schlichtweg mehr Versuche. Wie die Forscher sagen: Tokens für das Überdenken einer Antwort zu verwenden, ist eine schlechtere Nutzung als sie für einen weiteren Versuch zu verwenden. Die KI muss nicht angewiesen werden, intensiver nachzudenken; sie braucht nur mehr Chancen, es zu versuchen.