🤖 AI

Who Deserves the Reward? SHARP: Shapley Credit-based Optimization for Multi-Agent System

Het artikel introduceert SHARP, een nieuw framework dat de uitdaging van credit assignment in multi-agent systemen met Large Language Models aanpakt door gebruik te maken van Shapley-gebaseerde marginale kredietbeloningen om bijdragen nauwkeurig toe te schrijven, waardoor het bestaande state-of-the-art methoden op het gebied van trainingsstabiliteit en prestaties aanzienlijk overtreft.

Oorspronkelijke auteurs: Yanming Li, Xuelin Zhang, WenJie Lu, Ziye Tang, Maodong Wu, Haotian Luo, Tongtong Wu, Zijie Peng, Hongze Mi, Yibo Feng, Naiqiang Tan, Chao Huang, Lian Peng, Li Shen

Gepubliceerd 2026-06-03

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yanming Li, Xuelin Zhang, WenJie Lu, Ziye Tang, Maodong Wu, Haotian Luo, Tongtong Wu, Zijie Peng, Hongze Mi, Yibo Feng, Naiqiang Tan, Chao Huang, Lian Peng, Li Shen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je de manager bent van een onderzoeksteam met hoge inzet. Je doel is om een complex mysterie op te lossen, zoals het vinden van de exacte specificaties van een nieuwe computerchip. Je hebt een Planner (de baas die het grote probleem opbreekt in kleine taken) en verschillende Workers (specialisten die daadwerkelijk het werk verrichten, zoals het doorzoeken van het internet of het uitvoeren van berekeningen).

In het verleden, wanneer dit team slaagde of faalde, was het beloningssysteem erg bot. Als het team het juiste antwoord vond, kreeg iedereen een gouden ster. Als ze faalden, kreeg iedereen een rode kaart.

Dit creëerde een groot probleem: Wie verdient eigenlijk de eer?

Gaaf de Planner een geweldig stappenplan?
Heeft Worker A een perfect artikel gevonden?
Heeft Worker B tijd verspild aan een doodlopende zoekopdracht?
Heeft Worker C een rekenfout gemaakt?

Omdat het team dezelfde beloning kreeg ongeacht de individuele prestaties, was het "leertraject" rommelig. De Planner wist niet of zijn strategie goed was, en de Workers wisten niet of hun specifieke acties nuttig of schadelijk waren. Het was als een sportteam waarbij de hele ploeg de trofee krijgt bij een overwinning, zelfs als één speler constant over de bal struikelt.

Maak kennis met SHARP: Het "Fair Share"-systeem

Het paper introduceert een nieuwe methode genaamd SHARP (Shapley Credit-based Optimization for Reinforcement Policy). Zie SHARP als een geavanceerd boekhoudsysteem dat precies uitrekent hoeveel elk persoon heeft bijgedragen aan het uiteindelijke resultaat.

Zo werkt SHARP, met een eenvoudige analogie:

1. De Scorekaart met drie onderdelen

In plaats van één grote beloning, breekt SHARP de score af in drie specifieke delen voor elk teamlid:

De "Hebben we gewonnen?" Bonus (Globale Nauwkeurigheid): Als het team het mysterie oplost, krijgt iedereen een basisbonus. Dit houdt iedereen gericht op het hoofddoel.
De "Wat als?" Bonus (Shapley Credit): Dit is het magische deel. SHARP stelt een tegenfeitelijke vraag: "Wat zou er gebeurd zijn als we deze specifieke persoon uit het team hadden verwijderd?"
- Als het team zonder Worker A faalt, maar met hen slaagt, krijgt Worker A een enorme "marginale kredietscore". Zij waren essentieel!
- Als het team zonder Worker B net zo goed presteert, of zelfs beter, krijgt Worker B een lage (of negatieve) score. Zij waren niet helpend.
- Dit is gebaseerd op een wiskundig concept genaamd Shapley-waarden, wat een eerlijke manier is om een pizza te verdelen op basis van hoe hongerig iedereen werkelijk is, in plaats van het simpelweg gelijkelijk te verdelen.
De "Heb je je werk gedaan?" Bonus (Tool Process): Dit controleert of de workers hun tools correct hebben gebruikt. Als een worker probeerde een rekenmachine te gebruiken maar de verkeerde formule invoerde, verliezen ze hier punten, zelfs als het uiteindelijke antwoord door geluk goed was.

2. De "Planner vs. Worker" Dans

In dit systeem worden de Planner en de Workers samen getraind met een gedeeld brein (één Large Language Model).

De Planner krijgt krediet op basis van hoe goed de Workers die zij hebben toegewezen hebben gepresteerd. Als de Planner een taak toewijst aan een worker die faalt, leert de Planner om de volgende keer betere workers te kiezen.
De Workers krijgen krediet op basis van of hun specifieke acties het verschil hebben gemaakt.

3. De Resultaten: Een beter team

Het paper testte dit systeem op echte puzzels (zoals complexe wiskundige problemen en webzoekopdrachten). Dit is wat ze vonden:

Betere Prestaties: Teams die getraind zijn met SHARP losten aanzienlijk meer problemen correct op dan teams met oude methoden. Ze verbeterden met ongeveer 23% ten opzichte van teams met één persoon en met 14% ten opzichte van andere teams met meerdere personen.
Minder Verspilling: Het systeem leerde om "slecht" gedrag te stoppen. Het verminderde het aantal keren dat workers nutteloze of schadelijke taken uitvoerden (zoals zoeken naar het verkeerde ding) door deze eruit te filteren.
Stabiliteit: Het trainingsproces verliep soepeler. Omdat iedereen precies wist wat hij goed of fout deed, raakte het team niet in de war of in een loop van slechte gewoontes.

De Kernboodschap

SHARP is een nieuwe manier om AI-teams te trainen. In plaats van het team te behandelen als één grote brok die een generieke beloning krijgt, fungeert het als een eerlijke scheidsrechter die elke beweging volgt. Het vraat: "Wie heeft er echt het verschil gemaakt?" en beloont (of corrigeert) elke agent dienovereenkomstig. Dit leidt tot slimmere, efficiëntere teams die moeilijkere problemen kunnen oplossen zonder tijd te verspillen aan nutteloze acties.

Technische Samenvatting: SHARP – Shapley Credit-gebaseerde Optimalisatie voor Multi-Agent Systemen

1. Probleemstelling

De integratie van Large Language Models (LLM's) met externe tools via Multi-Agent Systemen (MAS) biedt een veelbelovend paradigma voor het oplossen van complexe redeneer- en planningstaken. Het trainen van deze systemen wordt echter gehinderd door de credit assignment uitdaging (toeschrijvingsprobleem). In collaboratieve MAS-architecturen (meestal bestaande uit een planner en gespecialiseerde worker-agents) is het vaak onduidelijk welke specifieke agent verantwoordelijk is voor het succes of falen van een beslissingstraject.

Bestaande methoden vertrouwen voornamelijk op ijle, globaal uitgezonden beloningen die het multi-agent team behandelen als een monolithische entiteit. Deze aanpak slaagt er niet in individuele bijdragen te vangen, wat leidt tot inefficiënte reinforcement learning (RL) updates waarbij hoogwaardige individuele acties worden vertroebeld door de algehele prestaties van het team. Bovendien hebben huidige waarde-vrije optimalisatiemethoden (bijv. DPO, GRPO) en gespecialiseerde MARL-frameworks vaak moeite met het ontrafelen van de marginale bijdragen van individuele agents binnen een gezamenlijke actieruimte.

2. Methodologie: SHARP Framework

Om deze beperkingen aan te pakken, stellen de auteurs SHARP (Shapley-based Hierarchical Attribution for Reinforcement Policy) voor, een framework dat is ontworpen om multi-agent training te stabiliseren door middel van precieze, fijnmazige credit attribution.

2.1. Systeemarchitectuur

SHARP hanteert een self-play multi-agent modelleringsparadigma met gebruik van een gedeelde policy $\pi_\theta$ .

Rollen: Een enkel model instantiëren heterogene rollen (Planner en Workers) via rol-specifieke systeem-prompts.
Executie: De planner genereert hoog-niveau subtaak-queries, die worker-agents triggeren om te interageren met externe tools (bijv. zoeken, rekenmachines, code-interpreters).
Optimalisatie: Het gehele proces wordt end-to-end geoptimaliseerd als een enkel traject onder een gedeelde policy, wat uniforme parameter-updates mogelijk maakt.

2.2. Tripartite Gedecodeerd Beloningsmechanisme

De kerninnovatie van SHARP is een principe van beloningsdecompositie dat verder gaat dan monolithische broadcast-signalen. De totale surrogaatbeloning $\bar{R}_{i,m}$ voor agent $m$ op traject $i$ is een gewogen combinatie van drie componenten:

Global Broadcast-Accuracy Reward ( $R^b$ ): Een binair terminaal signaal ($0$ of $1$) dat aangeeft of de uiteindelijke respons overeenkomt met de grondwaarheid (ground truth). Dit waarborgt globale taak-alignement en wordt naar alle agents in het traject uitgezonden.
Shapley-Based Marginal-Credit Reward ( $R^{mc}$ ): Deze component kwantificeert de specifieke bijdrage van elke agent met behulp van Shapley-waarden uit de coöperatieve speltheorie.
- Counterfactual Masking: Het systeem isoleert de causale impact van een agent door de prestatiedelta ( $\Delta$ ) te meten wanneer die agent wordt geablateerd (gemaskeerd) uit het beslissingstraject, terwijl de omgeving en andere agents intact blijven.
- Planner Credit: De credit van de planner wordt gedefinieerd als het gemiddelde van de positieve marginale bijdragen van zijn worker-pool, waardoor het doel van de planner wordt afgestemd op collectieve utiliteit.
- Worker Credit: Berekend als het verschil in taaksucces tussen het volledige traject en het traject waarbij de specifieke worker is verwijderd.
Tool-Process Reward ( $R^{tool}$ ): Een procesmatig signaal dat de validiteit en uitvoerbaarheid van tool-invocaties evalueert, om te garanderen dat agents niet louter tool-gebruik hallucineren maar deze ook correct uitvoeren.

2.3. Optimalisatiestrategie

SHARP maakt gebruik van een verbeterde Group Relative Policy Optimization (GRPO) aanpak.

Advantage Normalization: Agent-specifieke advantages worden genormaliseerd over trajectgroepen door het gemiddelde af te trekken en te delen door de standaarddeviatie van de beloningen voor die specifieke agent-rol.
Clipped Surrogate Objective: Het framework gebruikt een clipped objective functie om stabiele policy-updates te garanderen, wat grote afwijkingen voorkomt die het collaboratieve leerproces zouden kunnen destabiliseren.

3. Belangrijkste Bijdragen

Het paper schetst drie primaire bijdragen:

SHARP Framework: Een nieuw RL-framework dat multi-agent training stabiliseert door agent-specifieke advantages te normaliseren en precieze credit attribution te bieden, wat een verenigde oplossing biedt voor het aligneren van heterogene agents.
Flexibele Beloningsdecompositie: De introductie van een tripartite beloningsmechanisme (Global Alignment, Shapley-gebaseerde Marginal Credit en Process Validity) dat toepasbaar is op diverse LLM-groottes en multi-agent structuren (sequentiële ketens, communicatiegrafen en hiërarchische planner-worker paradigma's).
Empirische Validatie: Uitgebreide experimenten die aantonen dat SHARP de state-of-the-art baselines, inclusclusief single-agent RL en bestaande multi-agent frameworks, significant overtreft.

4. Experimentele Resultaten

De auteurs hebben SHARP geëvalueerd over vijf real-world benchmarks: MuSiQue, GAIA-text, WebWalkerQA, FRAMES, en DocMath-Eval.

Prestatiewinst: Met een Qwen3-8B backbone behaalde SHARP een gemiddelde verbetering in match van 23,66% ten opzichte van single-agent benaderingen en 14,05% ten opzichte van bestaande multi-agent baselines.
Ablatie-studies: Het verwijderen van de Shapley-gebaseerde credit assignment resulteerde in significante prestatiedalingen, wat bevestigt dat marginale credit-modellering een cruciale drijfveer voor succes is, meer nog dan louter architecturale complexiteit.
Schaalbaarheid: SHARP vertoonde sterke scaling laws, met een verbetering van 14,41 punten ten opzichte van single-agent baselines op een 8B backbone. De prestatiewinsten namen toe naarmate de modelgrootte toenam.
Stabiliteit: In tegen tegenstelling tot baselines die fluctuaties vertoonden tijdens de training, liet SHARP een monotone verbetering in nauwkeurigheid zien over 180 optimalisatiestappen, wat wijst op een verminderde reward-variantie.
Coördinatie-analyse: SHARP vormde de interacties tussen agents opnieuw door het aandeel "nuttige" subagents te verhogen en de "schadelijke" subagent-oproepen te verminderen van 5,48% naar 4,40%.

5. Betekenis en Claims

Het paper claimt dat SHARP een mathematisch gefundeerde basis biedt voor het aanpakken van de credit assignment bottleneck in collaboratieve multi-agent systemen. Door individuele causale impacts expliciet te scheiden van geaggregeerde uitkomsten, maakt SHARP het volgende mogelijk:

Stabiele Gezamenlijke Optimalisatie: Het faciliteren van coherente coördinatie tussen heterogene agents.
Interpreteerbaarheid: Inzichten bieden in welke agents positief of negatief bijdragen aan een taak.
Generalisatie: Het demonstreren van robuuste prestaties over diverse taakverdelingen en model-schalen.

De auteurs positioneren SHARP niet enkel als een prestatie-booster, maar als een fundamentele aanpak voor schaalbare en interpreteerbare coördinatie in hiërarchische MAS, waarbij zij suggereren dat precieze credit attribution essentieel is voor de effectieve training van tool-augmented multi-agent systemen.