💬 NLP

Consolidating Rewarded Perturbations for LLM Post-Training

Dieses Paper stellt CoRP vor, eine gradientenfreie Post-Training-Methode, die durch die Ausnutzung von Niedrigrangstrukturen belohnungsgewichtete Gaußsche Perturbationen zu einem einzigen Modell-Update konsolidiert und dadurch signifikante Leistungssteigerungen gegenüber dem Basismodell erzielt, während sie gleichzeitig den Multi-Pass-Inferenz-Overhead von Ensemble-basierten Ansätzen wie RandOpt eliminiert.

Ursprüngliche Autoren: Zheyu Zhang, Shuo Yang, Gjergji Kasneci

Veröffentlicht 2026-06-01

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zheyu Zhang, Shuo Yang, Gjergji Kasneci

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Das „Zu viele Köche“-Dilemma

Stellen Sie sich vor, Sie haben einen brillanten, gut ausgebildeten Koch (das Basismodell), der fast alles kochen kann. Sie wollen ihm beibringen, ein ganz bestimmtes, perfektes Gericht zuzubereiten (wie zum Beispiel ein komplexes Matheproblem oder ein Stück Code).

Normalerweise lehrt man einen Koch dies mittels Reinforcement Learning (RL). Man lässt ihn kochen, probiert das Essen, und wenn es gut ist, passt man sein Rezept leicht an. Das ist wie das schrittweise Anpassen eines Rezepts mithilfe von Gradienten. Es funktioniert, ist aber langsam und rechenintensiv.

Vor kurzem kam eine neue Methode namens RandOpt auf den Markt. Anstatt das Rezept Schritt für Schritt anzupassen, sagt RandOpt: „Lass uns einfach eine ganze Menge zufällige Gewürze in das Basismethode des Kochs werfen und schauen, was passiert.“

Es erstellt 5.000 leicht unterschiedliche Versionen des Kochs (indem es zufällige „Perturbationen“ oder Rauschen zu den Gewichten hinzufügt).
Es testet alle 5.000 Versionen an ein paar Übungsgerichten.
Es wählt die besten 50 Versionen aus, die am besten gekocht haben.
Der Haken: Um einem Kunden zu servieren, muss man alle 50 dieser „Spezialisten-Köche“ bitten, das Gericht zu kochen, und dann über die endgültige Antwort abstimmen.
- Vorteile: Es ist sehr intelligent.
- Nachteile: Es ist unglaublich langsam. Man muss für jede einzelne Mahlzeit 50 Köche einsetzen. Außerdem kann man sie nicht einfach zu einem einzigen Meisterkoch verschmelzen, da ihre „Persönlichkeiten“ (Gewichte) miteinander kollidieren könnten.

Die Frage der Arbeit: Können wir das Team verschmelzen?

Die Autoren fragten sich: „Können wir diese 50 Gewinner-Spezialisten zu EINEM einzigen Koch zusammenführen, sodass wir statt 50 Köchen nur noch einen einzigen Koch laufen lassen müssen?“

Wenn wir einfach ihre Rezepte mitteln, scheitert das meistens. Warum? Weil sie zwar alle gut kochen können, aber vielleicht auf unterschiedliche Weise gelernt haben, verschiedene Probleme zu lösen. Wenn man sie blind mischt, heben sich ihre Verbesserungen gegenseitig auf, und am Ende hat man einen schlechteren Koch als zuvor.

Die Entdeckung: Das „verborgene Low-Rank-Geheimnis“

Bevor sie ihre Lösung entwickelten, führten die Autoren ein „Split-Half“-Experiment durch. Sie nahmen die 5.000 Zufallsköfe, teilten sie in zwei Hälften und betrachteten die leistungsstärksten Exemplare.

Sie fanden ein überraschendes geometrisches Muster: Obwohl die Köche zufällig erstellt wurden, war ihre „Güte“ nicht überall verstreut. Stattdessen waren alle nützlichen Verbesserungen in einem winzigen, spezifischen „Subraum“ (einem engen Korridor der Möglichkeiten) innerhalb der riesigen Küche konzentriert.

Man kann sich das so vorstellen: Wenn Sie 1.000 Dartpfeile gegen eine riesige Wand werfen, mögen sie zufällig erscheinen. Aber wenn Sie genau hinsehen, stellen Sie fest, dass jeder einzelne „gute“ Dart im Bereich eines kleinen, unsichtbaren Kreises gelandet ist. Die Arbeit fand heraus, dass dieser „Kreis“ (eine Low-Rank-Struktur) in jedem einzelnen Fall existiert, den sie getestet haben, auch wenn die durchschnittliche Richtung der Darts nicht immer dieselbe war.

Die Lösung: CoRP (Consolidating Rewarded Perturbations)

Die Autoren entwickelten ein Werkzeug namens CoRP, um diese Spezialisten zu einem einsatzfähigen Modell zusammenzuführen. Es funktioniert wie ein dreistufiger Einstellungsprozess:

Der Headhunter (Reward-Weighted Aggregation):
Zuerst schaut CoRP auf die leistungsstärksten Köfe und fragt: „Was ist der gemeinsame Nenner?“ Es erstellt eine „vorgeschlagene Richtung“ basierend darauf, wer die höchsten Punktzahlen erzielt hat. Das ist so, als würde man sagen: „Okay, die besten Köfe verwenden alle etwas mehr Knoblauch.“
Der Kompatibilitätscheck (Reweighting):
Dies ist der magische Schritt. CoRP hört nicht einfach nur auf die „Knoblauch“-Köfe. Es prüft jeden Spezialisten darauf, ob sein Stil zur vorgeschlagenen Richtung passt.

Wenn ein Koch zwar großartig im Umgang mit Knoblauch ist, aber gleichzeitig darauf besteht, Schokolade hinzuzufügen (was nicht zum Knoblauch-Thema passt), sagt CoRP: „Nein, du bist zu inkompatibel.“ Es senkt dessen Gewicht.
Wenn ein Koch gut im Umgang mit Knoblauch ist und nichts Seltsames hinzufügt, sagt CoRP: „Ja, du passt perfekt.“ Es erhöht dessen Gewicht.
Analogie: Stellen Sie sich vor, Sie wollen ein Haus bauen. Sie haben 50 großartige Architekten. Sie nehmen nicht einfach deren Baupläne im Durchschnitt (was ein Chaos ergeben würde). Stattdessen wählen Sie eine bestimmte Designrichtung und stellen dann nur die Architekten ein, deren spezifische Ideen diese Richtung unterstützen, ohne ihr zu widersprechen.

Der Sicherheitsinspektor (Held-Out Validation Gate):
Bevor CoRP den neuen, einzelnen Koch finalisiert, testet es das neue Rezept an einer Reihe von Gerichten, die die Köfe noch nie gesehen haben.

Wenn der neue Koch bei diesen frischen Gerichten tatsächlich besser ist, genehmigt CoRP die Aktualisierung.
Wenn der neue Koch schlechter (oder nur gleich gut) ist, sagt CoRP: „Nein, bleiben wir beim ursprünglichen Koch.“ Es verweigert eine Änderung, die keinen echten Nutzen bringt.

Die Ergebnisse: Ein Koch, ein Durchgang, große Gewinne

Die Autoren testeten dies mit 5 verschiedenen Modellen (von klein bis groß) und 5 verschiedenen Aufgaben (Mathe, Coding, kreatives Schreiben).

Geschwindigkeit: RandOpt (das 50-Köfe-Team) benötigt 50 Vorwärtsdurchläufe (Forward Passes), um eine Frage zu beantworten. CoRP benötigt nur 1 Vorwärtsdurchlauf. Das ist 50-mal schneller bei der Inferenz.
Effizienz: CoRP benötigte nur 1/10 der Rechenleistung (Perturbations-Budget), die RandOpt für das Training brauchte.
Leistung:
- CoRP verbesserte das Basismodell um durchschnittlich 8,1 Punkte.
- CoRP konnte mehr als die Hälfte des Leistungszuwachses des massiven 50-Köfe-Teams erreicht werden, jedoch mit einem einzigen Modell.
- In einigen Fällen (wie beim kreativen Schreiben) war CoRP sogar besser als der Ansatz mit dem jeweils besten Einzelkoch (RandOpt K=1) und kam dem 50-Köfe-Team sehr nahe.

Zusammenfassung in Kürze

Die Arbeit zeigt, dass man kein Komitee aus 50 KI-Modellen braucht, um großartige Ergebnisse zu erzielen. Indem man die verborgene „gemeinsame Geometrie“ findet, wie sich diese Modelle verbessern, und indem man diejenigen sorgfältig herausfiltert, die nicht harmonieren, kann man sie zu einem einzigen, super-effizienten Modell verschmelzen.

Es ist die Erkenntnis, dass man anstatt 50 verschiedene Berater einzustellen, um ein Problem zu lösen, einen Experten einstellt, der die besten Ideen aus allen 50 synthetisiert hat, ohne dass diese sich gegenseitig im Weg stehen. Man erhält die Weisheit der Masse, aber die Geschwindigkeit einer einzelnen Person.

Technisches Resümee: Konsolidierung belohnter Perturbationen für das LLM-Post-Training

Problemstellung
Das Post-Training von großen Sprachmodellen (LLMs) wird typischerweise als Sample-Score-Update-Schleife implementiert, die mittels Gradientenabstieg (z. B. PPO, GRPO) realisiert wird. Ein neuerer Alternativansatz, RandOpt (Gan und Isola, 2026), verlagert diesen Prozess in den Gewichtsraum. Anstatt die Gewichte über Gradienten zu aktualisieren, sampelt RandOpt Gaußsche Perturbationen um ein vortrainiertes Modell, bewertet diese auf einem Support-Set und ensembliert die Top- $K$ belohnten Spezialisten während der Inferenz. Obwohl dieser Ansatz unter angeglichenem Rechenaufwand mit gradientenbasierten Methoden konkurrenzfähig ist, verursacht er erhebliche Inferenzkosten ( $K$ Vorwärtsläufe pro Beispiel) und hat Schwierigkeiten, auf Aufgaben mit freier Textgenerierung zu skalieren, bei denen kategoriales Voting nicht anwendbar ist. Die zentrale Frage, die dieses Paper adressiert, ist, ob die „belohnte Population“ von Perturbationen in ein einziges, einsatzfähiges Modell-Update gefaltet werden kann, um den Ensemble-Inferenzzeit-Aufwand durch ein einziges konsolidiertes Gewichts-Update zu ersetzen.

Methodik: CoRP (Consolidating Rewed Perturbations)
Die Autoren schlagen CoRP vor, einen gradientenfreien Operator, der eine Population belohnter Perturbationen in ein einziges Gewichts-Update konsolidiert. Die Methode basiert auf zwei primären Erkenntnissen, die aus einer Split-Half-Analyse von 25 Modell-Aufgaben-Paaren abgeleitet wurden:

Low-Rank-Struktur: Eine durch Belohnung getriebene Zufallssuche um ein Basismodell konzentriert die nützliche Varianz in jedem untersuchten Fall auf einen reproduzierbaren Low-Rank-Subraum, auch wenn eine einzelne mittlere Richtung nicht immer reproduzierbar ist.
Kompatibilität vs. Nützlichkeit: Hochbelohnte Perturbationen agieren oft als „nahezu orthogonale Spezialisten“. Naives, belohnungsgewichtetes Mittelwertverfahren scheitert, da es inkompatible Richtungen kombiniert, was dazu führt, dass das Modell nützliche Signale auslöscht.

CoRP adressiert diese Herausforderungen durch einen dreistufigen, gradientenfreien Prozess:

Belohnungsgewichtete Kandidatengenerierung:
Die Methode wählt zunächst das Top- $q$ -Quantil der Perturbationen basierend auf den Belohnungswerten aus. Sie berechnet eine provisorische Richtung ( $m^{(1)}$ ) als den belohnungsgewichteten Mittelwert dieser Elite-Perturbationen. Dieser Schritt identifiziert nützliche Richtungen, stellt jedoch noch nicht sicher, dass diese auch untereinander kompatibel sind.
Kompatibilitätsbewusste Umgewichtung:
Um zu verhindern, dass inkompatible Signale sich gegenseitig aufheben, gewichtet CoRP die Elite-Perturbationen basierend auf ihrer Ausrichtung zur provisorischen Richtung und ihrer orthogonalen Dispersion um.
- Ausrichtung ( $a_i$ ): Misst, wie stark eine Perturbation die vorgeschlagene Richtung unterstützt.
- Dispersion ( $d_i$ ): Misst, wie viel der Perturbation orthogonal zum Vorschlag liegt.
  Die finalen Gewichte ( $w^{(2)}_i$ ) kombinieren die ursprüngliche Belohnung mit Strafen für hohe Dispersion und Boni für hohe Ausrichtung. Dies stellt sicher, dass das konsolidierte Update die gemeinsame Struktur bewahrt, während inkompatible Variationen unterdrückt werden.
Validierung und Iteration:
- Held-Out Gate: Um Overfitting auf das Support-Set zu verhindern, nutzt CoRP eine Split-Fold-Validierungsstrategie. Ein Kandidaten-Update wird nur dann übernommen, wenn es einen positiven Genauigkeitsgewinn auf einem gehaltenen Validierungs-Fold (Fold B) mit einer statistisch signifikanten unteren Konfidenzgrenze zeigt.
- Probe-Kalibrierung: Ein separater Probe-Satz (Fold P) wird verwendet, um die Schrittweite ( $\eta$ ) des Updates zu kalibrieren.
- Iteration: Wenn ein Update akzeptiert wird, kann der Prozess iteriert werden. Neue Perturbationen werden um das neue Zentrum unter Verwendung einer kovarianzadaptiven Verteilung gesampelt, die die Exploration in Richtungen konzentriert, in denen die vorherigen belohnten Populationen variierten, während sie gleichzeitig einen isotropen Floor für die Abdeckung beibehält.

Wesentliche Beiträge

Entdeckung einer reproduzierbaren Low-Rank-Struktur: Das Paper zeigt, dass belohnte Perturbationen über 25 diverse Modell-Aufgaben-Paare hinweg (von 0,5B bis 8B Parametern sowie Aufgaben in Mathematik, Code und Schreiben) konsistent eine Low-Rank-Struktur teilen, selbst wenn keine einzelne mittlere Richtung existiert.
CoRP-Operator: Die Einführung eines gradientenfreien Konsolidierungsoperators, der erfolgreich eine Population belohnter Perturbationen zu einem einzigen Modell verschmilzt. Er trennt explizit die Identifizierung „nützlicher“ Richtungen von der Bewertung der „Kompatibilität“ – eine Unterscheidung, die beim naiven Modell-Merging oft übersehen wird.
Effizienz: CoRP erreicht eine Performance vergleichbar mit großen Ensembles bei nur einem Vorwärtslauf während der Inferenz, wodurch die $K$ -fache Inferenzkosten-Last von Methoden wie RandOpt entfällt.

Experimentelle Ergebnisse
Die Autoren evaluierten CoRP auf fünf instruktionsgesteuerten Modellen (Qwen2.5 Varianten, OLMo3, Llama3.1) über fünf Aufgaben (Countdown, GSM8K, OlympiadBench, ROCStories, MBPP).

Performance: CoRP verbessert das Basismodell im Durchschnitt um 8,1 Punkte über alle Aufgaben hinweg.
Vergleich mit RandOpt: Unter Verwendung von nur 1/10 des Perturbations-Budgets von RandOpt (500 statt 5000 Samples) übertrifft CoRP das Single-Inference-RandOpt (K=1) um 6,5 Punkte. Zudem stellt es mehr als die Hälfte des Gewinns wieder her, den das 50-Pass-Majority-Vote-Ensemble (RandOpt K=50) erzielt, benötigt aber nur einen Vorwärtslauf pro Testbeispiel.
Vergleich mit gradientenbasierten Methoden: CoRP ist bei angeglichenem Trainings-Rechenaufwand mit PPO und GRPO vergleichbar, übertrifft diese jedoch oft bei spezifischen Aufgaben (z. B. ROCStories), während es den Rechenaufwand der Backpropagation durch das Sprachmodell vermeidet.
Fehleranalyse: Die Dekomposition der Ergebnisse zeigt, dass die Gewinne von CoRP auf echte Verbesserungen im Reasoning zurückzuführen sind (Korrektur des Antwortinhalts) und nicht bloß auf Formatkorrekturen, und dass es „Regressionen“ (Fälle, in denen das Basismodell korrekt war, das Update es aber falsch machte) im Vergleich zur Auswahl einer einzelnen besten Perturbation signifikant reduziert.

Bedeutung und Ansprüche
Das Paper behauptet, dass die „belohnte Nachbarschaft“ eines gut vortrainierten Modells genügend gemeinsame Struktur enthält, um in ein einziges Modell gefaltet zu werden, selbst wenn keine einzelne Richtung die gesamte Population zusammenfasst. Durch das Schließen des Kreislaufs im Gewichtsraum – vom Sampling von Perturbationen zur Konsolidierung in ein einsatzfähiges Update – bietet CoRP eine praktische Alternative zum gradientenbasierten Post-Training. Es demonstriert, dass man substanzielle Verbesserungen in Alignment und Reasoning ohne Backpropagation erreichen kann, indem man ein einzelnes Modell nutzt, das effizient einzusetzen ist.

Die Autoren äußern sich bescheiden hinsichtlich der Limitationen und merken an, dass CoRP derzeit verifizierbare Belohnungen erfordert (was es auf Aufgaben mit kategorialen oder leicht prüfbaren Outputs beschränkt) und dass die Lücke zu vollen Ensembles bei kleineren Modellen größer ist, wo Spezialisten möglicherweise stärker disjunkt sind. Sie schlagen vor, dass zukünftige Arbeiten die Gewichtraum-Sampling-Methoden mit Trajektorienraum-Sampling (wie in RLVR verwendet) kombinieren könnten, um unterschiedliche Facetten vortrainierter Fähigkeiten offenzulegen.