Multi-Task GRPO: Reliable LLM Reasoning Across Tasks

Stellen Sie sich vor, Sie trainieren einen superintelligenten Roboter-Assistenten, der alle Arten von Rätseln lösen soll, von Matheaufgaben bis hin zu Logikrätseln. Sie wollen, dass dieser Roboter ein wahrer Generalist ist, der in der Lage ist, alles zu bewältigen, was man ihm vorwirft, ohne verwirrt zu werden oder bei den schwierigen Dingen zu scheitern. In der Welt der Künstlichen Intelligenz nennt man das „Reasoning“ (Schlussfolgern), und die Roboter werden als „Large Language Models“ (LLMs) bezeichnet. Um diese Modelle besser zu machen, nutzen Wissenschaftler eine Technik namens „Reinforcement Learning“ (Bestärkendes Lernen), was so ähnlich ist, als würde man dem Roboter ein High-Five (eine Belohnung) geben, wenn er eine richtige Antwort gibt, und ein sanftes „Versuch es noch einmal“ (ein „Try again“), wenn er falsch liegt. Eine beliebte Art, dies zu tun, ist GRPO, eine clevere Methode, um herauszufzufinden, wie viel der Roboter aus jedem Versuch lernen sollte. Es gibt jedoch einen Haken: Wenn man den Roboter bittet, gleichzeitig zehn verschiedene Arten von Rätseln zu lernen, bleibt er oft stecken. Er könnte in den einfachen Rätseln richtig gut werden, aber die schwierigen völlig ignorieren, oder er könnte bei einer bestimmten Art von Rätsel hängen bleiben, während er vergisst, wie man andere löst. Die große Frage ist: Wie trainieren wir ein Gehirn so, dass es in allem gleichermaßen gut ist und sicherstellt, dass keine einzelne Fähigkeit auf der Strecke bleibt?

Genau dieses Problem adressiert eine neue Methode namens Multi-Task GRPO (MT-GRPO). Den Standard-Trainingsprozess kann man sich wie einen Lehrer vorstellen, der versucht, eine Klasse von Schülern mit sehr unterschiedlichen Lerngeschwindigkeiten zu unterrichten. Wenn der Lehrer sich nur auf den „Durchschnittsschüler“ konzentriert, könnten die klugen Köpfe gelangweilt werden, während die schwächeren Schüler immer weiter zurückfallen. Der Standardansatz lässt die „leichten Aufgaben“ das Training oft kapern, was das Modell im Durchschnitt gut aussehen lässt, während es im Geheimen bei den schwierigen Herausforderungen versagt. Die Autoren dieses Papers erkannten, dass es nicht ausreicht, einfach nur die Punktzahlen zu mitteln, um einen zuverlässigen Roboter zu erschaffen; man muss sicherstellen, dass auch der schlechteste Schüler in der Klasse besser wird.

Um dies zu beheben, erfanden die Forscher eine zweiteilige Strategie. Zuer Sie schufen ein dynamisches „Gewichtungssystem“. Stellen Sie sich einen Trainer vor, der ständig auf die Anzeigetafel schaut. Wenn der Roboter bei „Countdown“ (einem Mathespiel) großartig abschneidet, aber bei „Zebra-Rätseln“ (Logikrätseln) schrecklich schlecht ist, verschiebt der Trainer sofort den Fokus. Er beginnt, dem Roboter mehr Übungsaufgaben aus der Kategorie „Zebra“ zu geben und weniger aus der Mathe-Kategorie. Aber hier liegt der knifflige Teil: Manchmal versucht der Roboter ein Zebra-Rätsel und erhält einen „Null-Score“, weil er nicht einmal versucht hat, es richtig zu lösen, was bedeutet, dass er aus diesem Versuch nichts lernt. Wenn der Trainer nur die Anzahl der Probleme zählt, könnte er denken, dass er Zebra-Räleter lehrt, aber in Wirklichkeit lernt der Roboter nur aus den Mathe-Versuchen, weil die Zebra-Versuche „Zero-Gradients“ (leeres Lernen) waren.

Um dies zu lösen, ist der zweite Teil ihrer Erfindung ein „Ratio-Preserving Sampler“ (Verhältnis-erhaltender Sampler). Dies ist wie eine sehr strenge Bibliothekarin, die sicherstellt, dass selbst wenn der Roboter die nutzlosen Übungsversuche wegwirft, der endgültige Stapel der nützlichen Übungsaufgaben immer noch genau die richtige Mischung aus Mathe- und Logikrätseln enthält. Wenn der Trainer möchte, dass 30 % der Übung aus Logikrätseln bestehen, stellt die Bibliothekarin sicher, dass nach dem Filtern des Mülls immer noch 30 % der verbleibenden guten Aufgaben Logikrätsel sind. Dies verhindert, dass die leichten Aufgaben das Training versehentlich übernehmen, nur weil die schweren Aufgaben mehr „fehlgeschlagene“ Versuche haben.

Die Ergebnisse dieser neuen Methode sind sehr vielversprechend. Als das Team die Methode auf eine Mischung aus drei verschiedenen Reasoning-Aufgaben testete, verbesserte die neue MT-GRPO-Methode die Genauigkeit der am schlechtesten abschneidenden Aufgabe um 16–28 % im Vergleich zur Standardmethode und um 6 % im Vergleich zu einer anderen fortgeschrittenen Methode namens DAPO. Noch beeindruckender ist, dass sie eine Genauigkeitsschwelle von 50 % bei den schwierigsten Aufgaben mit 50 % weniger Trainingsschritten als die Konkurrenz erreichte. In einem größeren Test mit neun verschiedenen Aufgaben setzte die Methode weiterhin andere Methoden über, was zeigt, dass sie skalierbar ist, um komplexere und vielfältigere Herausforderungen zu bewältigen. Die Autoren fanden heraus, dass sie durch das Drehen an einem „Regler“ (einem Parameter namens $\lambda$) steuern konnten, wie sehr das Modell priorisiert, seine schwächsten Fähigkeiten zu verbessern, gegenüber dem Ziel, einfach nur im Durchschnitt besser zu werden.

Kurz gesagt: Dieses Paper legt nahe, dass wir, indem wir klüger darüber entscheiden, welche Probleme der Roboter übt und sicherstellen, dass diese Probleme tatsächlich in die Trainingssitzung gelangen, eine KI bauen können, die nicht nur beim einfachen Zeug gut ist, sondern über das gesamte Spektrum hinweg zuverlässig kompetent ist. Es ist ein Schritt hin zu einer KI, die nicht nur auf ein eng begrenztes Feld spezialisiert ist, sondern in der Lage ist, eine Vielzahl von realen Problemen durch echtes Reasoning zu lösen, ohne dass dabei eine ihrer Fähigkeiten zurückgelassen wird.