ReCo: Reweighting GRPO Against Distributional Concentration

Stellen Sie sich eine Welt vor, in der Computer nicht nur chatten, sondern tatsächlich komplexe Rätsel wie mathematische Probleme oder Programmieraufgaben durchdenken. Dies ist die Grenze der Künstlichen Intelligenz, speziell eines Feldes namens Reinforcement Learning (Bestärkendes Lernen). Stellen Sie es sich wie das Training eines Hundes vor: Sie sagen dem Hund nicht einfach, was er tun soll; Sie lassen ihn es versuchen, und wenn er sich setzt, geben Sie ihm ein Leckerli. Wenn er auf das Sofa springt, tun Sie es nicht. Mit der Zeit lernt der Hund zu sitzen, weil er das Leckerli möchte. In der Welt der KI geben wir eine „Belohnung“ (Reward), wenn der Computer ein Problem korrekt löst.

Eine beliebte Methode, um diese KI-„Hunde“ zu trainieren, heißt Group Relative Policy Optimization oder GRPO. Stellen Sie sich vor, Sie bitten die KI, ein mathematisches Problem zehnmal zu lösen. Sie generiert zehn verschiedene Antworten. GRPO betrachtet alle zehn, sieht, welche davon das „Leckerli“ bekommen haben (also korrekt waren), und drängt die KI dazu, derer ähnlicher zu werden, die erfolgreich waren. Es ist ein kluger Trick, der die KI viel besser im logischen Schlussfolgern gemacht hat. Aber es gibt einen Haken: Manchmal wird die KI in ihrem Eifer, das Leckerli zu bekommen, zu selbstsicher und hört auf, Neues auszuprobieren. Sie beginnt, immer wieder dieselben wenigen Tricks zu wiederholen und ignoriert andere clevere Wege, das Problem zu lösen, die genauso gut funktionieren könnten.

Dies ist das Rätsel, das ein Forscherteam der Seoul National University lösen wollte. Sie stellten fest, dass GRPO die KI zwar schneller beim Lösen von Problemen macht, sie aber gleichzeitig weniger kreativ macht und die Wahrscheinlichkeit verringert, die richtige Antwort zu finden, wenn man ihr viele Chancen gibt, es zu versuchen. Sie nannten dieses Problem „distributionale Konzentration“ – eine schicke Art zu sagen, dass die KI in einem Trott stecken bleibt und nur die Pfade erkundet, von denen sie bereits weiß, dass sie sicher sind.

Um dies zu beheben, erfand das Team eine neue Methode namens ReCo (Reweighting GRPO Against Distributional Concentration). So funktioniert es, unter Verwendung einer einfachen Analogie:

Stellen Sie sich vor, Sie sind eine Lehrerin, die eine Klasse von Schülern bewertet, die alle versuchen, dasselbe knifflige mathematische Problem zu lösen.

• Der alte Weg (GRPO): Sie bitten die Klasse, ihre Antworten aufzuschreiben. Wenn fünf Schüler genau dieselbe Lösung schreiben (weil dies die populärste ist), schenken Sie dieser Lösung eine riesige Menge Aufmerksamkeit. Sie sagen der ganzen Klasse: „Schaut her! Fünf Leute haben das so gemacht! Alle sollten das so machen!“ Währenddessen wird der eine Schüler, der eine seltsame, kreative Methode ausprobiert hat, die ebenfalls funktionierte, ignoriert, weil er der Einzige war. Die Klasse hört auf, Neues auszuprobieren, und kopiert einfach nur die populäre Antwort.
• Der neue Weg (ReCo): Die Lehrerin (ReCo) bemerkt diese Voreingenommenheit. Zuerst erkennt sie, dass wenn fünf Schüler dieselbe Antwort geschrieben haben, dies wahrscheinlich daran liegt, dass diese Antwort leicht zu finden war, und nicht unbedingt, weil es die einzige gute Antwort ist. Also stuft sie die Bedeutung dieser populären Antwort herab. Sie sagt: „Okay, fünf von euch haben das gemacht, aber da es so verbreitet war, zählt es nicht so viel wie eine einzigartige Lösung.“ Dies verhindert, dass die Klasse blind der Menge nachläuft.
• Der zweite Trick: Die Lehrerin schaut sich auch an, wie die Schüler denken. Wenn ein Schüler sich bei einem bestimmten Schritt in seiner Mathematik zu 99 % sicher ist, sagt die Lehrerin: „Gut, du bist selbstbewusst, aber werde nicht zu überheblich! Es besteht immer noch eine winzige Chance, dass du falsch liegst, also halte dein Gehirn offen für andere Möglichkeiten.“ Aber wenn ein Schüler an einer Weggabelung feststeckt, bei der er nicht sicher ist, welchen Pfad er nehmen soll, gibt die Lehrerin ihm einen großen Motivationsschub, um diese Unsicherheit zu erkunden. Dies verhindert, dass die Schüler zu früh in eine einzige, starre Denkweise verfallen.

Durch den Einsatz dieser zwei Tricks verändert ReCo die Art und Weise, wie die KI lernt. Es verhindert, dass die KI nur die „sicheren“ Antworten auswendig lernt, und zwingt sie dazu, weiterhin verschiedene Pfade zu erkunden.

Das Team testete diese neue Methode an einigen sehr schweren Mathematik-Wettbewerben, wie zum Beispiel der AIME (American Invitational Mathematics Examination) und Olympiaden-Problemen. Sie verwendeten verschiedene KI-Modelle, einschließlich Modellen, die auf Qwen und Llama basieren. Die Ergebnisse waren vielversprechend. Wenn sie die KI baten, nur wenige Versuche zu unternehmen, schnitt ReCo genauso gut ab wie die alte Methode. Aber wenn sie der KI viele Versuche gaben (indem sie sie beispielsweise baten, 64 verschiedene Antworten zu generieren und die beste auszuwählen), glänzte ReCo. Es fand korrekte Antworten, die die alte Methode völlig übersehen hatte.

Tatsächlich wurde die alte Methode (GRPO) bei einigen der schwierigsten Tests sogar schlechter als die ursprüngliche, ungetrainierte KI, wenn man ihr viele Versuche gab, weil sie so engstirnig geworden war. ReCo hingegen hielt den „Geist“ der KI offen. Es bewahrte die Fähigkeit, vielfältige Lösungen zu finden, und stellte sicher, dass selbst wenn die ersten Versuche fehlschlagen, die KI über einen ganzen Werkzeugkasten an verschiedenen Strategien verfügt, auf die sie zurückgreifen kann.

Das Team untersuchte auch, warum dies geschah. Sie sahen, dass der „Denkprozess“ der KI unter der alten Methode sehr repetitiv wurde, wie eine kaputte Schallplatte, die immer das gleiche Lied spielt. Unter ReCo generierte die KI selbst bei der Lösung desselben Problems weiterhin einzigartige, vielfältige Ansätze. Es war, als würde man einen Schüler beobachten, der, anstatt nur das Lehrbuch zu kopieren, Diagramme zeichnet, verschiedene Formeln verwendet und sogar physische Modelle baut, um das Konzept zu verstehen.

Kurz gesagt: ReCo legt nahe, dass wir die KI nicht nur dafür belohnen sollten, eine richtige Antwort schnell zu finden. Wir müssen sie auch dafür belohnen, nicht in einem Trott steckenzubleiben. Indem die Forscher die KI sanft dazu drängten, Vielfalt und Unsicherheit zu schätzen, fanden sie einen Weg, diese digitalen Geister neugierig, kreativ und fähig zu halten, Probleme auf eine Weise zu lösen, die wir vielleicht nicht erwartet hätten. Es ist eine Erinnerung daran, dass die beste Art zu lernen manchmal darin besteht, seine Optionen offen zu halten.