🤖 AI

Owen-Shapley Policy Optimization: A Principled RL Algorithm for Generative Search LLMs

Dieser Beitrag stellt Owen-Shapley Policy Optimization (OSPO) vor, ein fundiertes Reinforcement-Learning-Framework, das die Lücke bei der Kreditvergabe in generativen Such-LLMs schließt, indem es sequenzweite Belohnungen mithilfe von Shapley-Owen-Zuordnungen auf semantisch kohärente Token umverteilt, wodurch die Leistung und Robustheit verbessert werden, ohne parametrische Wertemodelle zu benötigen.

Ursprüngliche Autoren: Abhijnan Nath, Alireza Bagheri Garakani, Tianchen Zhou, Fan Yang, Yan Gao, Nikhil Krishnaswamy

Veröffentlicht 2026-05-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Abhijnan Nath, Alireza Bagheri Garakani, Tianchen Zhou, Fan Yang, Yan Gao, Nikhil Krishnaswamy

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der Fehler der „Gruppennote"

Stellen Sie sich vor, Sie sind ein Lehrer, der einen Schülertext bewertet. Bei der alten Methode zum Trainieren von KI (speziell eine Methode namens GRPO) gibt der Lehrer dem Schüler am Ende des Textes nur eine einzige Note.

Das Szenario: Der Schüler schreibt einen langen Absatz. Der Lehrer liest ihn und sagt: „Großartige Arbeit! +10 Punkte."
Der Fehler: Der Lehrer sagt dem Schüler nicht, welche Sätze diese Punkte eingebracht haben. Hat der einleitende Satz alles gerettet? War es der mittlere Absatz? Oder war es der Schluss?
Das Ergebnis: Der Schüler denkt, jedes Wort, das er geschrieben hat, sei gleichermaßen brillant gewesen. Er könnte weiterhin lange, wirre Sätze schreiben, die nicht helfen, oder er löscht versehentlich den einen perfekten Satz, den er geschrieben hat, weil er glaubt, er sei unwichtig gewesen. Er „rät" einfach, was funktioniert hat, weil er nur eine Punktzahl für die ganze Gruppe erhielt, nicht für die einzelnen Teile.

In der Welt der KI-Einkaufsassistenten bedeutet dies, dass die KI nicht weiß, welche spezifischen Wörter in ihrer Suchanfrage tatsächlich dazu beigetragen haben, das richtige Produkt zu finden. Sie weiß nur, dass die gesamte Anfrage eine „gute" oder „schlechte" Bewertung erhalten hat.

Die Lösung: OSPO (Der „Faire-Anteil"-Rechner)

Die Autoren stellen eine neue Methode namens OSPO vor. Anstatt dem ganzen Text eine einzige Note zu geben, agiert OSPO wie ein super-fairer Buchhalter, der genau aufschlüsselt, wie viel jeder Satz zum Endergebnis beigetragen hat.

Sie verwenden ein mathematisches Konzept aus der Spieltheorie, das Owen-Shapley-Werte genannt wird. Hier ist die Analogie:

Stellen Sie sich eine Gruppe von Freunden (die Wörter oder Phrasen im Satz der KI) vor, die versuchen, einen Preis zu gewinnen (das richtige Produkt zu finden).

Das Experiment: Die KI probiert verschiedene Kombinationen dieser Freunde aus. Manchmal schickt sie nur den ersten Freund. Manchmal die ersten beiden. Manchmal die ganze Gruppe.
Die Messung: Jedes Mal, wenn ein neuer Freund zur Gruppe hinzukommt, prüft die KI: „Ist der Preis besser geworden, weil dieser spezifische Freund beigetreten ist?"
Die Berechnung: Wenn die Phrase „blaues Kleid" das Suchergebnis von „so-so" auf „perfekt" springen lässt, erhält diese Phrase einen großen Anteil des Lobes. Wenn die Phrase „äh, vielleicht" nichts verändert, erhält sie keine Anerkennung.

Das ist wie ein Potluck-Essen (ein gemeinsames Essen, bei dem jeder etwas beisteuert). Wenn Sie einen köstlichen Auflauf mitbringen, der die ganze Party zum Hit macht, erhalten Sie das meiste Lob. Wenn Sie eine Schale mit einfachen Crackern mitbringen, die niemand bemerkt, werden Sie nicht beschuldigt, aber Sie erhalten auch keine Anerkennung. OSPO ermittelt genau, wer den Auflauf mitgebracht hat.

Wie es im echten Leben funktioniert (Einkaufen)

Nehmen wir an, Sie sagen der KI: „Ich brauche einen schwarzen Mantel für den Winter."

Alte Methode (GRPO): Die KI generiert einen langen, ausgefallenen Satz. Sie erhält eine gute Bewertung, weil sie einen Mantel gefunden hat. Die KI denkt: „Ich bin großartig darin, lange Sätze zu schreiben!" und macht weiter so, auch wenn die Länge nicht hilft.
Neue Methode (OSPO): Die KI zerlegt ihren Satz in Abschnitte: „schwarz", „Mantel", „Winter", „warm", „Jacke".
- Sie testet: „Was wäre, wenn ich nur ‚schwarz' sage?" (Schlechtes Ergebnis).
- Sie testet: „Was wäre, wenn ich ‚schwarzer Mantel' sage?" (Gutes Ergebnis).
- Sie testet: „Was wäre, wenn ich ‚schwarzer Mantel Winter' sage?" (Tolles Ergebnis).
- Das Urteil: OSPO erkennt, dass „Winter" einen großen Mehrwert hinzugefügt hat, aber „Jacke" nur zusätzliches Rauschen war. Es gibt den „gewinnenden" Wörtern mehr „Punkte" (Gradienten-Updates) und weist die KI an, sich darauf zu konzentrieren, „Winter" besser zu nutzen, während sie den Ballast ignoriert.

Warum das wichtig ist

Schnelleres Lernen: Da die KI genau weiß, welche Wörter funktioniert haben, lernt sie viel schneller. Das Papier zeigt, dass sie in etwa der Hälfte der Zeit, die die alte Methode benötigt, hohe Leistung erreicht.
Keine „Cheats": Manchmal wird die KI auf eine schlechte Weise „schlau". Sie könnte lernen, dass das Schreiben eines sehr langen, verwirrenden Absatzes das System dazu bringt, eine hohe Punktzahl zu vergeben (dies wird „Reward Hacking" genannt). OSPO verhindert dies, da es jedes kleine Stück überprüft. Wenn die zusätzlichen Wörter tatsächlich nicht helfen, das Produkt zu finden, erhalten sie keine Anerkennung, also hört die KI auf, sie zu schreiben.
Funktioniert ohne „Kritiker": Normalerweise benötigen Sie für detailliertes Feedback eine zweite KI (einen „Kritiker"), die die erste beobachtet. OSPO ist clever, weil es die Verteilung der Anerkennung anhand der Suchergebnisse selbst ermittelt, sodass es diesen zusätzlichen, teuren zweiten KI nicht braucht.

Die „Teamwork"-Wendung (Koalitionen)

Das Papier erwähnt, dass Wörter am besten funktionieren, wenn sie in zusammenhängenden Koalitionen stehen (Wörter, die nebeneinander stehen).

Stellen Sie sich das wie eine Staffelstaffel vor.

Gut: Der Staffelstab wird reibungslos von Läufer 1 zu Läufer 2 zu Läufer 3 übergeben. Sie arbeiten als Team.
Schlecht: Wenn Sie Läufer 2 überspringen und den Staffelstab von 1 direkt an 3 weitergeben, fällt das Team auseinander.

OSPO betrachtet nur Wörter, die nebeneinander stehen (wie „schwarzer Mantel"), und nicht zufällige Wörter, die über den Satz verstreut sind. Dies hält die Bedeutung klar und stellt sicher, dass die KI lernt, kohärente, logische Phrasen zu bilden.

Zusammenfassung

OSPO ist eine intelligentere Art, KI für Aufgaben wie Produktempfehlungen beim Einkaufen zu trainieren. Anstatt der KI eine einzige Note für ihre gesamte Antwort zu geben, agiert sie wie ein Detektiv und ermittelt genau, welche Wörter die Belohnung eingebracht haben. Dies hilft der KI, schneller zu lernen, Unsinn zu vermeiden, nur um Punkte zu erhalten, und wird viel besser darin zu verstehen, was Sie tatsächlich kaufen möchten.

Technische Zusammenfassung: Owen-Shapley Policy Optimization (OSPO)

Problemstellung

Large Language Models (LLMs) werden zunehmend in generativen Empfehlungssystemen eingesetzt, wo sie Nutzerpräferenzen synthetisieren und Suchanfragen verfeinern, um nachgelagerte Retrieval- und Ranking-Prozesse zu konditionieren. Während Reinforcement-Learning-(RL-)Methoden wie Group-Relative Policy Optimization (GRPO) ein Training ohne parametrische Wertemodelle ermöglichen, indem sie sequenzweite terminale Belohnungen (z. B. NDCG aus einem Retriever) nutzen, leiden sie unter einer kritischen Lücke bei der Kreditvergabe (credit assignment gap).

Im standardmäßigen RL ohne Wertmodell wird ein einzelner skalärer Vorteil allen Token in einer generierten Sequenz einheitlich zugewiesen. Dies verschleiert, welche spezifischen Phrasen oder semantischen Segmente tatsächlich zum hochwertigen Output beigetragen haben. Diese Einschränkung ist insbesondere bei Empfehlungsaufgaben akut, bei denen Modelle latente Nutzerabsichten aus unzureichend spezifizierter Sprache ohne Ground-Truth-Labels inferieren müssen. Darüber hinaus macht die einheitliche Kreditvergabe Modelle anfällig für Reward-Hacking, bei dem das Modell sich an oberflächliche Hinweise anpasst oder Abkürzungen in Black-Box-Retrievern ausnutzt, anstatt robuste, semantisch kohärente Query-Repräsentationen zu lernen. Bestehende Lösungen wie Process Reward Models (PRMs) erfordern gelabelte Zwischenschritte, und attention-basierte Methoden verstricken oft zufällige Korrelationen.

Methodik: Owen-Shapley Policy Optimization (OSPO)

Die Autoren stellen OSPO vor, ein Framework, das sequenzweite Vorteile basierend auf den marginalen Beiträgen semantisch kohärenter Token-Segmente (Koalitionen) zum Endergebnis neu verteilt. OSPO operiert im kritikerfreien Regime und erfordert keine externen Wertnetze.

Kernmechanismus

Segmentierung und Koalitionen: Generierte Antworten werden in $N$ semantisch sinnvolle Segmente (z. B. Phrasen, Sätze) zerlegt. Anstatt alle $2^N$ möglichen Teilmengen zu bewerten (unlösbar), beschränkt OSPO die Bewertung auf zusammenhängende Koalitionen (aufeinanderfolgende Segmente). Dies bewahrt die semantische Kohärenz und reduziert die rechnerische Komplexität von exponentiell auf linear $O(N \cdot w_{max})$ , wobei $w_{max}$ die maximale Koalitionsbreite ist.
Owen-Shapley-Zuordnung: Mithilfe der kooperativen Spieltheorie berechnet OSPO Owen-Werte für jedes Segment. Der Wert $\phi_j$ eines Segments $j$ ist sein erwarteter marginaler Beitrag zur Belohnung, wenn er zu verschiedenen zusammenhängenden Koalitionen $S$ hinzugefügt wird:
$\phi_j^{Owen} = \frac{1}{|C_j|} \sum_{S \in C_j} (v(S \cup \{j\}) - v(S))$
Hier ist $v(S)$ die Belohnung, die erhalten wird, wenn der Retriever (oder das Belohnungsmodell) mit der partiellen Sequenz abgefragt wird, die durch Konkatenation der Segmente in der Koalition $S$ gebildet wird.
Vorteilsverteilung: Der sequenzweite Vorteil $\hat{A}^{(g)}$ (berechnet durch gruppenrelative Normalisierung in GRPO) wird auf einzelne Token umverteilt. Der Token-Vorteil $A_t^{(g)}$ wird berechnet als:
$A_t^{(g)} = T \cdot \tilde{\phi}_t^{(g)} \cdot \hat{A}^{(g)}$
wobei $\tilde{\phi}_t$ der normalisierte Owen-Wert für das Segment des Tokens ist und $T$ die Sequenzlänge. Die Multiplikation mit $T$ gewährleistet Längeninvarianz, wodurch verhindert wird, dass längere Sequenzen im Vergleich zu kürzeren unverhältnismäßig schwächere Gradientensignale erhalten.
Zielfunktion: Die Policy wird unter Verwendung einer abgeschnittenen Surrogat-Zielfunktion (ähnlich wie bei PPO/GRPO) aktualisiert, jedoch unter Nutzung dieser feinkörnigen, Owen-gewichteten Token-Vorteile.

Varianten

Die Arbeit evaluiert drei Verteilungsstrategien:

OSPO-PROP: Proportionale Verteilung basierend auf normalisierten Owen-Werten.
OSPO-RANK: Verteilung basierend auf dem ordinalen Rang der Owen-Werte, um verrauschte Schätzungen zu handhaben.
OSPO-CLIP: Beschränkung der umverteilten Vorteile auf einen Bereich basierend auf der Tschebyschow-Ungleichung für Stabilität.

Hauptbeiträge

Prinzipielle Kreditvergabe ohne Wertemodelle: OSPO schließt die Lücke zwischen spärlichen terminalen Belohnungen und feinkörnigen Token-Updates durch die Nutzung von Owen-Shapley-Werten und eliminiert die Notwendigkeit für gelernte Kritiker oder Process Reward Models.
Koalitionsbasierte Semantik: Indem OSPO semantisch kohärente Phrasen als Spieler in einem Koalitionsspiel behandelt, identifiziert es, welche Teile einer Antwort den nachgelagerten Nutzen (z. B. Retrieval-Erfolg) vorantreiben und bietet eine bessere Interpretierbarkeit als eine einheitliche Zuordnung.
Effizienz und Skalierbarkeit: Die Einschränkung auf zusammenhängende Koalitionen macht die Berechnung für Online-RL-Training handhabbar und skaliert linear mit der Anzahl der Segmente, im Gegensatz zu quadratischen Approximationen in früheren Shapley-basierten Arbeiten.
Robustheit gegenüber Verteilungsverschiebungen: Die Methode lernt retriever-agnostische Query-Repräsentationen, die sich gut auf nicht gesehene Retriever und Embedding-Räume verallgemeinern.

Experimentelle Ergebnisse

Die Autoren evaluierten OSPO auf zwei E-Commerce-Datensätzen: Amazon ESCI (Verfeinerung von Produktsuchanfragen) und H&M Fashion (kontextualisierte Suche und Zusammenfassung von Nutzerprofilen).

Leistungssteigerungen: OSPO-PROP übertraf konsistent die Baselines (SFT, DPO, GRPO) über alle Metriken hinweg (NDCG, AP, MRR, Recall). Auf dem ESCI-Datensatz erreichte OSPO-PROP (7B) einen NDCG von 0,522 und übertraf dabei das 32B-Modell (0,496) sowie das 72B-Modell (0,543, wobei das 72B-Modell bei H&M an Leistung verlor). Bei H&M erreichte OSPO-PROP (7B) 0,436 NDCG und übertraf GRPO (0,379), wobei es die Leistung von GPT-4o (0,433) bei einem Bruchteil der Parameterzahl annähernd erreichte.
Stichprobeneffizienz: OSPO erreichte die Zielleistung in etwa 50 % weniger Trainingsschritten als GRPO.
Verallgemeinerung: Bei Cross-Retriever-Evaluationen (Training auf einem Embedding-Modell, Testen auf einem anderen) behielt OSPO eine starke Leistung bei, während GRPO und Offline-Methoden (DPO, SFT) signifikant nachließen. Dies deutet darauf hin, dass OSPO übertragbarere Alignment-Signale lernt.
Stabilität: OSPO zeigte eine geringere Varianz der Belohnung und vermied den „Reward-Hacking"-Zusammenbruch (z. B. Generierung leerer oder minimaler Sequenzen), der bei GRPO in späteren Trainingsphasen beobachtet wurde.
Ablationsstudien: Die Autoren fanden heraus, dass zusammenhängende Koalitionen mit moderater Breite (z. B. $w_{max}=4$ bis $8$) mit ausreichender Stichprobenziehung die beste Balance zwischen lokalem Kontext und Exploration bieten. Nicht-zusammenhängende Koalitionen führten zu einem Leistungsabfall, und sehr schmale Koalitionen verursachten Overfitting auf Oberflächenmuster.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass OSPO einen prinzipiellen, kritikerfreien Ansatz zur Lösung des Problems der Kreditvergabe in generativen Empfehlungssystemen bietet. Durch den Wechsel von der Token-Ebene (Einheitlichkeit) zur Segment-Ebene (marginale Zuordnung) ermöglicht OSPO Modellen zu lernen, warum eine Antwort erfolgreich war, und konzentriert die Gradienten-Updates auf semantische Einheiten mit hohem Beitrag.

Die Autoren betonen, dass dieser Ansatz es kleineren Modellen (z. B. 7B) ermöglicht, in spezifischen Retrieval-Aufgaben mit deutlich größeren Modellen (32B, 72B) und Frontier-Zero-Shot-Modellen (GPT-4o) mitzuhalten oder diese zu übertreffen. Darüber hinaus unterstreicht die Fähigkeit der Methode, sich auf nicht gesehene Retriever und Embedding-Räume zu verallgemeinern, ihr Potenzial für den robusten Einsatz in dynamischen Empfehlungsumgebungen, in denen Ground-Truth-Präferenzen latent sind und Feedback spärlich ist. Die Arbeit legt nahe, dass koalitionsbasierte Zuordnungen als intrinsischer Regularisator wirken und stabile, übertragbare und interpretierbare Verhaltensweisen fördern, ohne den rechnerischen Aufwand des Trainings von Wertfunktionen.