🤖 machine learning

Maximum Likelihood Reinforcement Learning

Dieses Paper führt Maximum Likelihood Reinforcement Learning (MaxRL) ein, ein neuartiges Framework, das die Lücke zwischen erwartungsbasierter RL und Maximum Likelihood schließt, indem es ein rechenindexiertes Ziel bietet, das bestehende Methoden Pareto-dominiert und die Effizienz der Skalierung zur Testzeit signifikant verbessert.

Ursprüngliche Autoren: Fahim Tajwar, Guanning Zeng, Yueer Zhou, Yuda Song, Daman Arora, Yiding Jiang, Jeff Schneider, Ruslan Salakhutdinov, Haiwen Feng, Andrea Zanette

Veröffentlicht 2026-08-21

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Fahim Tajwar, Guanning Zeng, Yueer Zhou, Yuda Song, Daman Arora, Yiding Jiang, Jeff Schneider, Ruslan Salakhutdinov, Haiwen Feng, Andrea Zanette

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

In der Welt der künstlichen Intelligenz gibt es zwei dominante Wege, einem Computer beizubringen, wie man denkt. Der erste ist wie ein strenger Lehrer, der für jede Frage die richtige Antwort vorgibt, sodass der Schüler seine Arbeit mit einem Lösungsschlüssel vergleichen und sein Verständnis entsprechend anpassen kann. Diese Methode, bekannt als überwachtes Lernen (supervised learning), hat die beeindruckendsten Bilderkennungs- und Sprachwerkzeuge angetrieben, die wir heute nutzen. Der zweite Ansatz gleicht eher einem Kind, das das Laufen lernt: Es gibt keinen Lösungsschlüssel, nur die Umgebung selbst. Der Lernende macht einen Schritt, fällt hin, versucht es erneut und lernt schließlich das Gleichgewicht zu halten, indem er die Konsequenzen seines Handelns spürt. Dies ist das bestärkende Lernen (reinforcement learning), eine Methode, die für Situationen entwickelt wurde, in denen der Weg zu einer Lösung keine gerade Linie aus Daten ist, sondern eine Serie von Entscheidungen, die zu einem Endergebnis führen. Jahrelang verließen sich Forscher, wenn KI-Systeme mit Problemen konfrontiert waren, bei denen das einzige Feedback ein einfaches „Ja“ oder „Nein“ am Ende war – wie etwa beim Lösen einer mathematischen Aufgabe oder beim Navigieren durch ein Labyrinth – auf diese zweite Methode. Sie behandelten das Problem als ein Spiel zur Maximierung von Belohnungen und gingen davon aus, dass die KI erfolgreich lernen würde, wenn sie nur genügend „Ja“-Signale erhielte.

Eine neue Studie stellt diese lang gehegte Annahme infrage und legt nahe, dass die Standardmethode, diese Systeme zu lehren, tatsächlich eine grobe Annäherung an ein viel mächtigeres, aber bisher unzugängliches Prinzip ist. Die Forscher, die an mehreren Universitäten zusammenarbeiteten, entdeckten, dass ein KI-Modell implizit eine Erfolgswahrscheinlichkeit erstellt, wenn es eine korrekte Antwort generiert. In einer perfekten Welt wäre der beste Weg, das Modell zu trainieren, darin, diese Wahrscheinlichkeit direkt zu maximieren, ein Konzept, das als maximale Likelihood (maximum likelihood) bekannt ist. Da der Prozess der Generierung einer Antwort jedoch oft unvorhersehbare Schritte beinhaltet, die von einem Computer intern mathematisch nicht leicht messbar sind, waren Wissenschaftler gezwungen, den „Spiel“-Ansatz des bestärkenden Lernens zu verwenden. Die neue Arbeit beweist, dass dieser Standardansatz nur eine Schätzung erster Ordnung des eigentlichen Ziels ist. Er übersieht die subtilen, entscheidenden Informationen, die in den seltenen Momenten verborgen liegen, in denen das Modell kämpft, aber schließlich doch erfolgreich ist. Durch die Entwicklung eines neuen Trainingsrahmens namens Maximum Likelihood Reinforcement Learning, oder MaxRL, hat das Team einen Weg gefunden, diese Lücke zu schließen und dem System zu ermöglichen, aus seinen Erfolgen mit einer Präzision zu lernen, die zuvor unmöglich war.

Der Kern der Entdeckung liegt darin, wie der Computer seine Fehler und seine Siege gewichtet. Bei der traditionellen Methode erhält das Modell jedes Mal, wenn es eine korrekte Antwort produziert, eine Belohnung, und das System passt seine internen Einstellungen an, um dieses Ergebnis wahrscheinlicher zu machen. Diese Methode behandelt eine korrekte Antwort jedoch unabhängig davon gleich, wie schwierig das Problem war. Wenn das Modell ein einfaches Rätsel und ein komplexes mit gleicher Leichtigkeit löst, gibt das traditionelle System beiden den gleichen Kredit. Die neue Forschung zeigt, dass dies ineffizient ist. Das wahre Ziel besteht darin, die Wahrscheinlichkeit der Korrektheit zu maximieren, was mathematisch verlangt, dass das System den schwierigen Problemen, bei denen der Erfolg selten ist, viel mehr Aufmerksamkeit schenkt. Die Standardmethode scheitert daran, weil sie nur auf die durchschnittliche Erfolgsrate blickt. Der neue Rahmen, MaxRL, ändert die Berechnung, indem er die gesamte Historie der Versuche betrachtet. Er fragt: „Wenn wir dieses Problem viele Male versuchen würden, wie oft würden wir es richtig machen?“ Durch die Analyse der Häufigkeit des Erfolgs über viele Versuche hinweg kann das System die wahre Schwierigkeit des Problems ableiten und sein Lernen entsprechend anpassen.

Um diese Idee zu testen, bauten die Forscher ein System, das diesen anspruchsvolleren Lernprozess simulieren konnte. Sie schufen eine Familie von Zielsetzungen, die wie ein Regler eingestellt werden konnten. An einem Ende des Reglers verhält sich das System exakt wie die heute üblichen Methoden des bestärkenden Lernens. Am anderen Ende verhält es sich wie der ideale Maximum-Likelihood-Trainer, der theoretisch perfekt, aber normalerweise unmöglich auszuführen ist. In der Mitte ermöglicht der Regler dem System, mehr Rechenleistung einzusetzen, um eine bessere, genauere Annäherung an dieses Ideal zu erhalten. Das Team fand heraus, dass sich die Leistung des Systems dramatisch verbesserte, wenn sie die Menge der Rechenleistung erhöhten, die für das Generieren mehrerer Versuche pro Problem aufgewendet wurde. Es war nicht nur so, dass das System stabiler wurde; die eigentliche Natur dessen, was es lernte, änderte sich. Es begann sich intensiv auf die schwierigen Probleme zu konzentrieren, die die alten Methoden ignorierten, was zu einem viel tieferen Verständnis der Aufgabe führte.

Die Ergebnisse dieses Ansatzes waren bei einer Vielzahl von Tests beeindruckend. In einer kontrollierten Umgebung, in der die Forscher die neue Methode direkt mit dem theoretischen Ideal vergleichen konnten, kam das neue System dem perfekten Trainer sehr nahe, als sie mehr Rechenleistung hinzufügten. Im Gegensatz dazu stießen die Standardmethoden an eine Grenze und machten selbst bei massiver Datenvergabe keine signifikanten Fortschritte mehr. Als das Team zu komplexeren, realen Szenarien wie der Navigation durch Labyrinthe und dem Lösen mathematischer Probleme überging, wurde der Vorteil noch deutlicher. Bei Aufgaben des mathematischen Denkens erzielte die neue Methode Leistungssteigerungen, die bis zu zwanzigmal effizienter waren als die derzeitigen State-of-the-Art-Methoden. Das bedeutet, dass das neue System, um das gleiche Niveau an Geschicklichkeit zu erreichen, weit weniger Versuche und weniger Rechenzeit benötigte. Vielleicht am wichtigsten ist, dass die neue Methode nicht unter dem „Overfitting“-Problem litt, das diese Systeme oft plagt, bei dem ein Modell die Trainingsdaten so gut auswendig lernt, dass es bei neuen, unbekannten Problemen versagt. Während andere Methoden über die Zeit ihre Fähigkeit, vielfältige, korrekte Lösungen zu generieren, verloren, bewahrte der neue Rahmen eine gesunde Vielfalt an korrekten Antworten, was darauf hindeutet, dass er wirklich die zugrunde liegende Logik lernte, anstatt nur Muster auswendig zu lernen.

Die Auswirkungen dieser Arbeit erstrecken sich über die bloße intelligente Gestaltung von KI hinaus; sie verändert die Art und Weise, wie wir über die Grenzen des maschinellen Lernens denken. Lange Zeit wurde die Schwierigkeit, diese Systeme bei komplexen Denkaufgaben zu trainieren, auf die Algorithmen selbst oder den Mangel an Daten zurückgeführt. Diese Studie legt nahe, dass der Engpass tatsächlich die Zielfunktion war – das mathematische Ziel, das das System zu erreichen versucht. Durch die Verschiebung des Ziels von der bloßen Maximierung der durchschnittlichen Belohnung zur Maximierung der Wahrscheinlichkeit der Korrektheit haben die Forscher eine neue Ebene der Effizienz freigeschaltet. Das System rät nicht mehr nur auf die richtige Antwort; es lernt, die Erfolgswahrscheinlichkeit auf eine Weise zu verstehen, die widerspiegelt, wie Menschen aus seltenen, hart erkämpften Siegen lernen. Die Forscher merken an, dass dieser Ansatz am besten funktioniert, wenn es eine klare Möglichkeit gibt zu verifizieren, ob eine Antwort korrekt ist, wie etwa in der Mathematik oder beim Programmieren, aber die Prinzipien könnten potenziell auch auf andere Bereiche anwendbar sein, in denen das Ergebnis binär ist. Während künstliche Intelligenz weiterhin komplexere und abstraktere Probleme angeht, wird die Fähigkeit, effizient aus spärlichem Feedback zu lernen, entscheidend sein. Dieser neue Rahmen bietet einen Weg nach vorn und zeigt, dass wir, indem wir die Art und Weise verfeinern, wie wir Erfolg definieren, Maschinen lehren können, nicht nur schneller, sondern besser zu lernen.

Technisches Resümee: Maximum Likelihood Reinforcement Learning (MaxRL)

Problemstellung

Reinforcement Learning (RL) ist das Standardparadigma für das Training von Modellen in Umgebungen, in denen die Zielfunktion nicht differenzierbar ist und nur über Stichproben (Sampling) evaluiert werden kann, wie etwa bei Aufgaben mit binären Erfolg/Misserfolg-Ergebnissen (z. B. Programmsynthese, mathematisches Denken, Navigation). In diesen Szenarien induziert das Modell eine implizite Wahrscheinlichkeit der Korrektheit, $p_\theta(y^*(x) | x)$ , für einen gegebenen Input $x$ . Während die Maximum-Likelihood-Methode (ML) das fundierte Ziel zur Optimierung solcher Wahrscheinlichkeiten in differenzierbaren Umgebungen ist, ist sie hier traditionell unpraktikabel aufgrund des nicht-differenzierbaren stochastischen Generierungsprozesses. Infolgedessen greifen Praktiker auf Standard-RL zurück, welches die erwartete Belohnung (die erwartete Erfolgsrate, $E[p_\theta]$ ) optimiert, anstatt die Log-Likelihood ( $E[\log p_\theta]$ ).

Die Autoren beobachten, dass Standard-RL und ML grundlegend unterschiedliche Optimierungsverhalten induzieren. Speziell beinhaltet der Gradient des ML-Ziels eine Inverse-Wahrscheinlichkeits-Gewichtung ( $1/p_\theta$ ), die einen signifikant höheren Fokus auf „schwierige“ Inputs mit niedrigen Erfolgswahrscheinlichkeiten legt. Im Gegensatz dazu behandeln Standard-RL-Gradienten ( $\nabla p_\theta$ ) alle Inputs linear und unterschätzen dadurch oft schwierige Fälle. Diese Diskrepanz deutet darauf hin, dass RL lediglich ein Behelf für Nicht-Differenzierbarkeit ist und nicht das optimale Ziel für Korrektheitsbasierte Aufgaben darstellt.

Methodik: Maximum Likelihood Reinforcement Learning (MaxRL)

Das Papier führt Maximum Likelihood Reinforcement Learning (MaxRL) ein, ein Framework, das die Lücke zwischen Standard-Erwartungsbelohnungs-RL und exakter Maximum Likelihood schließt, indem es eine erhöhte Sampling-Rechenleistung nutzt.

Theoretische Grundlage

Die Autoren leiten eine populationsweite Expansion des Maximum-Likelihood-Ziels unter Verwendung einer Maclaurin-Reihe in Bezug auf Fehlereignisse her. Für eine Erfolgsrate $p$ ist die Log-Likelihood:
$\log p = -\sum_{k=1}^{\infty} \frac{(1-p)^k}{k} = -\sum_{k=1}^{\infty} \frac{\text{fail@}k}{k}$
Die Differenzierung ergibt den ML-Gradienten als eine unendliche harmonische Mischung von pass@k-Gradienten:
$\nabla_\theta J_{ML} = \sum_{k=1}^{\infty} \frac{1}{k} \nabla_\theta \text{pass@}k$
Standard-RL entspricht der Approximierung erster Ordnung ( $k=1$ ), welche nur $\nabla_\theta \text{pass@}1$ optimiert. MaxRL schlägt vor, diese Reihe bei einer endlichen Ordnung $T$ abzuschneiden, wodurch eine Familie von Zielen $J_{MaxRL}^{(T)}$ entsteht, die zwischen RL ( $T=1$ ) und exakter ML ( $T \to \infty$ ) interpoliert.

Gradientenschätzung

Um diese abgeschnittenen Ziele ohne adaptive Stichprobenentnahme (welche bei niedrigen Erfolgsraten rechenintensiv ist) zu schätzen, schlagen die Autoren einen einfachen On-Policy-Schätzer vor.

Sampling: Ziehe für einen gegebenen Input $N$ Trajektorien $z_1, \dots, z_N$ aus der Policy $m_\theta$ .
Erfolgsbedingung: Identifiziere erfolgreiche Trajektorien, bei denen $f(z_i) = y^*(x)$ gilt. Sei $K$ die Anzahl der Erfolge.
Schätzer: Der Gradientenschätzer mittelt die Score-Funktionen ( $\nabla_\theta \log m_\theta(z_i|x)$ ) nur über die erfolgreichen Trajektorien, normiert durch $K$ :
$\hat{g}_N(x) = \frac{1}{K} \sum_{i=1}^N r_i S_i \quad (\text{falls } K \ge 1)$
wobei $r_i$ die binäre Belohnung und $S_i$ der Score ist.
Varianzreduktion: Eine Kontrollvariante (der unbedingte Durchschnitts-Score) wird subtrahiert, um die Varianz zu reduzieren, was zum finalen Schätzer in Algorithmus 1 führt.

Zentrale Erkenntnis: Theorem 2 etabliert, dass dieser Schätzer ein unverzerrter Schätzer für das abgeschnittene ML-Ziel der Ordnung $T=N$ (oder $T=N-1$ mit Baseline-Subtraktion) ist. Entscheidend ist, dass die Erhöhung der Anzahl der Rollouts $N$ nicht nur die Varianz eines fixen Ziels reduziert, sondern die Approximationsordnung des Ziels selbst erhöht, wodurch sich das Optimierungsziel der wahren Maximum-Likelihood annähert.

Implementierung

MaxRL erfordert lediglich eine einzeilige Modifikation bestehender On-Policy-RL-Implementierungen (wie RLOO oder GRPO). Anstatt den Vorteil (Advantage) durch die Gesamtzahl der Samples oder die Standardabweichung zu normieren, wird der Vorteil durch die mittlere Belohnung (oder die Anzahl der erfolgreichen Samples) normiert, was das Gradientensignal effektiv umgewichtet, um dem ML-Ziel zu entsprechen.

Zentrale Beiträge

Formalisierung: Das Papier formalisiert korrektheitsbasiertes RL als ein latentes Generierungs-Maximum-Likelihood-Problem und beweist, dass Standard-RL nur die Approximierung erster Ordnung des ML-Ziels optimiert.
Compute-Indizierte Ziele: Es führt eine Familie von Zielen ein, die zwischen Erwarteter Belohnung und exakter ML über eine Maclaurin-Reihe in pass@k-Ereignissen interpolieren, gesteuert durch das Sampling-Compute-Budget.
Äquivalenz von Schätzer und Ziel: Es liefert einen einfachen, unverzerrten On-Policy-Schätzer, bei dem die Erhöhung der Rollout-Anzahl $N$ direkt die Treue des approximierten Likelihood-Ziels verbessert, anstatt lediglich die Varianz zu reduzieren.
Empirische Validierung: Umfangreiche Experimente zeigen, dass MaxRL bestehende Methoden (RLOO, GRPO) über verschiedene Skalen und Datenschemata hinweg Pareto-dominiert.

Experimentelle Ergebnisse

Die Autoren evaluieren MaxRL in vier verschiedenen Regimen:

Kontrolliertes differenzierbares Setting (ImageNet): Wenn exakte ML (Cross-Entropy) verfügbar ist, konvergiert MaxRL mit zunehmender Anzahl der Rollouts gegen diese. Im Gegensatz dazu macht Standard-REINFORCE selbst bei massiven Sampling-Budgets keine Fortschritte aus niedrigen initialen Erfolgsraten.
Unendliches Datenregime (Maze Navigation): In einem datenreichen Setting mit 1 Mio. einzigartigen Labyrinthen skaliert MaxRL signifikant besser mit Rechenleistung als GRPO und RLOO. Während andere Methoden stagnieren, verbessert sich MaxRL kontinuierlich weiter, was eine erhebliche Lücke zwischen pass@1 und pass@k aufzeigt – ein Indikator für erhaltene Diversität und Lernpotenzial.
Datenskarres Regime (GSM8K): Auf einem festen Datensatz (GSM8K), der über viele Epochen trainiert wurde, zeigt MaxRL eine überlegene Resistenz gegenüber Overfitting. Während RLOO und GRPO unter „pass@k-Degradation“ (Verlust der Diversität) leiden und früh stagnieren, hält MaxRL die Verbesserung über viele Epochen aufrecht, erreicht eine höhere Spitzenleistung und bewahrt gleichzeitig die Output-Diversität.
Großskaliges Denken (Qwen3 Modelle): Beim Training von 1.7B und 4B Parametern Modellen auf mathematischen Denkaufgaben Pareto-dominiert MaxRL GRPO. Es erreicht höhere pass@1-Scores bei gleichzeitiger Verbesserung von pass@k (Coverage). Bemerkenswert ist, dass MaxRL eine bis zu 20-fache Effizienzsteigerung beim Test-Time-Scaling gegenüber GRPO erzielt, wenn ein perfekter Verifizierer verwendet wird, da es weniger Samples benötigt, um die gleiche Coverage zu erreichen.

Bedeutung und Ansprüche

Das Papier behauptet, dass MaxRL eine fundierte Alternative zu Standard-RL für binäre Belohnungsaufgaben bietet. Seine primäre Bedeutung liegt darin, die Limitationen des Foundation Model RL nicht als inhärente Eigenschaft des Optimierungs- oder Sampling-Prozesses zu betrachten, sondern als Folge der Wahl des Ziels.

Optimierungsdynamik: MaxRL konzentriert Lernsignale auf schwierigere Prompts (niedrige Erfolgsraten), im Gegensatz zu GRPO und RLOO, die die Verteilungen zu Extremen (0 oder 1) treiben können.
Skalierung: MaxRL skaliert günstiger mit sowohl zusätzlichen Daten als auch Rechenleistung. In datenskarren Settings vermeidet es den oft beobachteten Diversity-Collapse während eines verlängerten RL-Trainings.
Effizienz: Durch die Abstimmung des Trainingsziels auf das Test-Zeit-Ziel (Maximierung der Wahrscheinlichkeit, eine korrekte Lösung unter $k$ Samples zu finden), verbessert MaxRL die Effizienz der Inferenz drastisch.

Die Autoren kommen zu dem Schluss, dass MaxRL eine vielversprechende Richtung für die Skalierung von RL in korrektheitsbasierten Domänen darstellt und einen Weg bietet, die Vorteile des Maximum-Likelihood-Trainings in nicht-differenzierbaren Settings durch erhöhte Sampling-Rechenleistung zurückzugewinnen.