Technische Samenvatting: Owen-Shapley Policy Optimization (OSPO)

Probleemstelling

Grote Taalmodellen (LLMs) worden steeds vaker ingezet in generatieve aanbevelingssystemen, waar ze gebruikersvoorkeuren synthetiseren en zoekopdrachten verfijnen om downstream retrieval en ranking te conditioneren. Hoewel Reinforcement Learning (RL) methoden zoals Group-Relative Policy Optimization (GRPO) training mogelijk maken zonder parametrische waardenmodellen door sequentie-level terminale beloningen te gebruiken (bijv. NDCG van een retriever), lijden ze aan een kritieke krediettoewijzingskloof.

In standaard RL zonder waardenmodel wordt een enkele scalair voordeel uniform toegewezen aan alle tokens in een gegenereerde sequentie. Dit verduistert welke specifieke zinsdelen of semantische segmenten daadwerkelijk hebben bijgedragen aan de output van hoge kwaliteit. Deze beperking is bijzonder acuut in aanbevelingstaken waar modellen een latente gebruikersintentie moeten afleiden uit ondergespecificeerde taal zonder ground-truth labels. Bovendien maakt uniforme krediettoewijzing modellen kwetsbaar voor reward hacking, waarbij het model overfit op oppervlakkige aanwijzingen of kortsluitingen in black-box retrievers exploiteert in plaats van robuuste, semantisch coherente query-representaties te leren. Bestaande oplossingen zoals Process Reward Models (PRMs) vereisen gelabelde tussenstappen, en attention-gebaseerde methoden verwarren vaak schijnbare correlaties.

Methodologie: Owen-Shapley Policy Optimization (OSPO)

De auteurs introduceren OSPO, een raamwerk dat sequentie-level voordelen herverdeelt op basis van de marginale bijdragen van semantisch coherente token-segmenten (coalities) aan het eindresultaat. OSPO opereert in het critic-free regime en vereist geen externe waarden-netwerken.

Kernmechanisme

1. Segmentatie en Coalities: Gegenereerde antwoorden worden ontleed in $N$ semantisch betekenisvolle segmenten (bijv. zinsdelen, zinnen). In plaats van alle $2^N$ mogelijke subsets te evalueren (onuitvoerbaar), beperkt OSPO de evaluatie tot aaneengesloten coalities (opeenvolgende segmenten). Dit behoudt semantische coherentie en reduceert de computationele complexiteit van exponentieel naar lineair $O(N \cdot w_{max})$, waarbij $w_{max}$ de maximale coalitie-breedte is.
2. Owen-Shapley Attributie: Met behulp van coöperatieve speltheorie berekent OSPO Owen-waarden voor elk segment. De waarde $\phi_j$ van een segment $j$ is zijn verwachte marginale bijdrage aan de beloning wanneer deze wordt toegevoegd aan diverse aaneengesloten coalities $S$:
   $$\phi_j^{Owen} = \frac{1}{|C_j|} \sum_{S \in C_j} (v(S \cup \{j\}) - v(S))$$
   Hierbij is $v(S)$ de beloning verkregen door de retriever (of reward model) te bevragen met het partiële sequentie gevormd door het concateneren van segmenten in coalitie $S$.
3. Herverdeling van Voordeel: Het sequentie-level voordeel $\hat{A}^{(g)}$ (berekend via groepsrelatieve normalisatie in GRPO) wordt herverdeeld naar individuele tokens. Het token-level voordeel $A_t^{(g)}$ wordt berekend als:
   $$A_t^{(g)} = T \cdot \tilde{\phi}_t^{(g)} \cdot \hat{A}^{(g)}$$
   waarbij $\tilde{\phi}_t$ de genormaliseerde Owen-waarde is voor het segment van het token, en $T$ de sequentielengte is. De vermenigvuldiging met $T$ zorgt voor lengte-invariantie, waardoor langere sequenties geen onevenredig zwakke gradiëntsignalen ontvangen in vergelijking met kortere sequenties.
4. Doel: Het beleid wordt bijgewerkt met behulp van een afgeknipt surrogaatdoel (vergelijkbaar met PPO/GRPO), maar met gebruikmaking van deze fijnkorrelige, Owen-gewogen token-voordelen.

Varianties

Het artikel evalueert drie herverdelingsstrategieën:

• OSPO-PROP: Proportionele herverdeling op basis van genormaliseerde Owen-waarden.
• OSPO-RANK: Herverdeelt op basis van de ordinaal rang van Owen-waarden om ruisachtige schattingen te hanteren.
• OSPO-CLIP: Beperkt herverdeelde voordelen tot een bereik gebaseerd op de ongelijkheid van Chebyshev voor stabiliteit.

Belangrijkste Bijdragen

1. Principiële Krediettoewijzing zonder Waardenmodellen: OSPO overbrugt de kloof tussen schaarse terminale beloningen en fijnkorrelige token-updates door Owen-Shapley-waarden te benutten, waardoor de noodzaak voor aangeleerde critics of process reward modellen wordt geëlimineerd.
2. Coalitie-gebaseerde Semantiek: Door semantisch coherente zinsdelen te behandelen als spelers in een coalitiespel, identificeert OSPO welke delen van een antwoord downstream nut (bijv. retrieval succes) drijven, wat betere interpreteerbaarheid biedt dan uniforme toewijzing.
3. Efficiëntie en Schaalbaarheid: De beperking tot aaneengesloten coalities maakt de berekening uitvoerbaar voor online RL-training, met lineaire schaling ten opzichte van het aantal segmenten, in tegenstelling tot kwadratische benaderingen in eerdere op Shapley gebaseerde werken.
4. Robuustheid tegen Distributieverandering: De methode leert retriever-agnostische query-representaties die goed generaliseren naar ongezane retrievers en embedding-ruimtes.

Experimentele Resultaten

De auteurs evalueerden OSPO op twee e-commerce datasets: Amazon ESCI (verfijning van productzoekopdrachten) en H&M Fashion (gecontextualiseerde zoekopdrachten en samenvatting van gebruikersprofielen).

• Prestatiewinst: OSPO-PROP presteerde consistent beter dan baselines (SFT, DPO, GRPO) over alle metrieken (NDCG, AP, MRR, Recall). Op de ESCI-dataset bereikte OSPO-PROP (7B) een NDCG van 0,522, wat de 32B-model (0,496) en het 72B-model (0,543, hoewel 72B degradeerde op H&M) overtrof. Op H&M bereikte OSPO-PROP (7B) 0,436 NDCG, wat GRPO (0,379) overtrof en de prestaties van GPT-4o (0,433) benaderde bij een fractie van het aantal parameters.
• Staal-efficiëntie: OSPO bereikte de doelprestatie in ongeveer 50% minder trainingsstappen dan GRPO.
• Generalisatie: Bij evaluaties over retrievers heen (trainen op het ene embedding-model, testen op het andere) behield OSPO sterke prestaties, terwijl GRPO en offline methoden (DPO, SFT) significant degradeerden. Dit suggereert dat OSPO meer overdraagbare aligneringssignalen leert.
• Stabiliteit: OSPO vertoonde een lagere variantie in beloningen en vermijdt de "reward hacking" ineenstorting (bijv. het genereren van lege of minimale sequenties) die bij GRPO in latere trainingsstadia werd waargenomen.
• Ablatiestudies: De auteurs vonden dat coalities met gematigde breedte (bijv. $w_{max}=4$ tot $8$) met voldoende sampling de beste balans boden tussen lokale context en exploratie. Niet-aaneengesloten coalities leidden tot prestatie-ineenstorting, en zeer smalle coalities veroorzaakten overfitting op oppervlakkige patronen.

Betekenis en Claims

Het artikel claimt dat OSPO een principiële, critic-free aanpak biedt om het krediettoewijzingsprobleem in generatieve aanbeveling op te lossen. Door te verschuiven van token-level uniformiteit naar segment-level marginale attributie, stelt OSPO modellen in staat te leren waarom een antwoord succesvol was, met focus op gradiënt-updates op semantische eenheden met hoge bijdrage.

De auteurs benadrukken dat deze aanpak kleinere modellen (bijv. 7B) in staat stelt om te concurreren met of te overtreffen van veel grotere modellen (32B, 72B) en frontier zero-shot modellen (GPT-4o) in specifieke retrieval-taken. Bovendien onderstreept het vermogen van de methode om te generaliseren over ongezane retrievers en embedding-ruimtes het potentieel voor robuuste implementatie in dynamische aanbevelingsomgevingen waar ground-truth voorkeuren latent zijn en feedback schaars. Het werk suggereert dat coalitie-gebaseerde attributies fungeren als een intrinsieke regularisator, wat stabiele, overdraagbare en interpreteerbare gedragingen bevordert zonder de computationele overhead van het trainen van waardenfuncties.