🤖 machine learning

Priority-Aware Shapley Value

Dit artikel introduceert de Priority-Aware Shapley Value (PASV), een nieuw raamwerk dat traditionele Shapley-waarden uitbreidt door harde precedentiebeperkingen en zachte priorititeitsgewichten te integreren om afhankelijke bijdragers en vertrouwensfactoren beter te verwerken, ondersteund door een efficiënt bemonsteringsalgoritme en gevalideerd door experimenten op taken voor datavaluatie en kenmerktoewijzing.

Oorspronkelijke auteurs: Kiljae Lee, Ziqi Liu, Weijing Tang, Yuan Zhang

Gepubliceerd 2026-06-16

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kiljae Lee, Ziqi Liu, Weijing Tang, Yuan Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme potluck-diner organiseert waarbij iedereen een gerecht meeneemt, en het doel is om precies uit te vogelen hoeveel elke persoon heeft bijgedragen aan de heerlijkheid van het uiteindelijke feestmaal. In de wereld van machine learning is deze "potluck" een model dat getraind is op data, en de "gerechten" zijn individuele datapunten of kenmerken (features).

Decennialang hebben wetenschappers een wiskundige tool genaamd de Shapley-waarde gebruikt om de eer eerlijk te verdelen. De traditionele regel is simpel: stel je elke mogelijke volgorde voor waarin mensen aankomen op het feest. Als je als eerste aankomt, krijg je de volledere eer voor de hele tafel. Als je als laatste aankomt, krijg je alleen de eer voor wat jij hebt toegevoegd aan de al voltooide tafel. De Shapley-waarde is het gemiddelde van jouw bijdrage over alle mogelijke aankomstvolgordes.

Het Problek: De "Uitwisselbaarheid"-aanname
De oude methode gaat ervan uit dat iedereen uitwisselbaar is. Het behandelt de potluck alsof het niet uitmaakt wie de salade eerst brengt of wie de taart als laatste. Maar in de echte wereld is dat niet zo.

Hard Precedence (De "Recept"-regel): Soms moet je eerst het deeg brengen voordat je de pizza-beleg kunt brengen. Als je probeert beleg toe te voegen vóór het deeg, is de pizza verpest. In datatermen betekent dit dat sommige data wordt "gekopieerd" van andere data, of dat sommige kenmerken (zoals leeftijd) logischerwijs vóór andere moeten komen (zoals beroep). De oude methode negeert deze regels, waardoor onmogelijke scenario's (zoals beleg vóór het deeg) de resultaten kunnen verkenen.
Soft Priority (De "VIP"-regel): Soms vertrouwen we sommige gasten meer dan anderen. Misschien is één gast een beroemde chef (hoge vertrouwensfactor), terwijl een ander bekend staat om het brengen van aangebrand toast (lage vertrouwensfactor/risico). De oude methode behandelt hen gelijk, simpelweg omdat ze op verschillende momenten aankwamen. We hebben een manier nodig om te zeggen: "We vertrouwen de bijdrage van de chef meer," zonder de receptregels te veranderen.

De Oplossing: Priority-Aware Shapley Value (PASV)
De auteurs stellen een nieuwe methode voor genaamd PASV. Denk aan een slimmere potluck-planner die twee dingen begrijpt:

De Harde Regels (De DAG): Het respecteert het "recept". Het weet dat het deeg vóór het beleg moet komen. Het overweegt alleen aankomstvolgordes die logisch zijn (bijv. geen beleg vóór het deeg).
De Soft Weights (De VIP's): Het weet dat sommige gasten "betrouwbaarder" of "risicovoller" zijn. Het past de wiskunde aan zodat hoog-betrouwbare gasten vaker worden geëvalueerd in contexten waarin hun ware waarde tot uiting komt, terwijl risicovolle gasten nauwkeuriger worden geëvalueerd om te zien of ze daadwerkelijk waarde toevoegen of alleen maar ruis zijn.

Hoe het werkt (De Creatieve Analogie)
Stel je voor dat je een team van detectives probeert te beoordelen die een mysterie oplossen.

De Oude Manier: Je vraft elke mogbare volgorde van detectives om de zaak op te lossen. Je middelt hun succes. Maar dat is onrechtvaardig als Detective A de aanwijzing moet vinden voordat Detective B de puzzel kan oplossen. De oude methode telt scenario's waarbij B probeert eerst de puzzel op te lossen, wat onmogelijk is.
De PASV-manier:
- Hard Priority: Je laat de detectives de zaak alleen oplossen in volgordes die de aanwijzingen respecteren (A vóór B).
- Soft Priority: Je hebt een "vertrouwensmeter" voor elke detective. Als Detective C een bekende leugenaar is (hoog risico), negeert PASV hem niet alleen; het simuleert scenario's waarin hij later in het onderzoek arriveert. Dit test: "Als we al solide bewijs hebben, helpt de aanwijzing van deze leugenaar dan echt, of zorgt het voor verwarring?" Als hij een genie is (hoog vertrouwen), test PASV hem in rijke contexten om zijn volledige potentieel te zien.

De "Priority Sweeping" Tool
Een van de coolste functies van PASV is een diagnostisch hulpmiddel dat de auteurs "Priority Sweeping" noemen.
Stel je voor dat jij de manager van de potluck bent. Je weet niet zeker hoeveel je de gast moet vertrouwen die de "mysterie-sudder" heeft meegebracht.

Met PASV kun je een simulatie draaien: "Wat gebeurt er met de eer-score als ik deze gast behandel als een 'Super VIP' (maximaal vertrouwen)?" Vervolgens: "Wat als ik hem behandel als 'Hoog Risico' (minimaal vertrouwen)?"
Door een schuifregelaar te bewegen van "Totaal Vertrouwen" naar "Totaal Wantrouwen", kun je zien of zijn bijdrage-score stabiel blijft of instort. Als deze instort, weet je dat zijn waarde onstabiel is en sterk afhangt van hoeveel je hem vertrouwt. Dit helpt je om veiligere beslissingen te nemen over wie je de volgende keer uitnodigt.

Wat het Papier Eigenlijk Vond
De auteurs hebben dit getest in twee hoofdscenario's:

Data Waardering (De Potluck): Ze simuleerden een datamarkt waar sommige data origineel was, sommige gekopieerd, en sommige "vergiftigd" (slechte data).
- De oude methoden gaven eer aan de "kopieerders" omdat ze niet beseften dat de data slechts een kopie was.
- PASV strafte de kopieerders en de "vergiftigers" correct af, en gaf meer eer aan de originele bronnen, vooral wanneer de "vertrouwens"-instellingen werden aangepast.
Feature Attribution (Het Detective Team): Ze analyseerden een dataset die inkomen voorspelde.
- Ze lieten zien dat de manier waarop je de kenmerken ordent (bijv. komt leeftijd vóór opleiding?) de resultaten verandert.
- PASV stelde hen in staat om te zien welke kenmerken robuust waren (hun waarde veranderde nauwelijks ongeacht het vertrouwensniveau) en welke onstabiel waren (zoals "land van herkomst", die wild fluctueerde afhankelijk van de instellingen).

In Samenvatting
PASV is een nieuwe manier om eerlijk de eer te verdelen in machine learning. Het corrigeert de blindheid van de oude methode voor regels (je kunt geen beleg vóór het deeg hebben) en vertrouwen (sommige data is risicovoller dan andere). Het geeft ons een instrument om niet alleen een enkel antwoord te krijgen, maar om onze beslissingen te testen door de vraag te stellen: "Hoeveel verandert mijn vertrouwen in dit datapunt eigenlijk de uitkomst?"

Technische Samenvatting: Priority-Aware Shapley Value (PASV)

Probleemstelling

Shapley-waarden zijn het standaardinstrument voor model-agnostische datavalutatie en feature-attributie, gebaseerd op het axioma dat bijdragers (spelers) uitwisselbaar zijn. Deze aanname vereist het middelen van marginale bijdragen over alle mogbare permutaties van spelers. Echter, in moderne machine learning-toepassingen is deze uitwisselbaarheid vaak ongeldig om twee primaire redenen:

Precedentie-restricties: Bijdragers kunnen harde precedentie-relaties vertonen. Bijvoorbeeld, trainingsdata kan zijn uitgebreid met of gekopieerd van upstream-bronnen (waardoor downstream-bijdragen afgeleid zijn), of domeinkennis kan voorschrijven dat bepaalde kenmerken (bijv. causale voorouders) vóór andere moeten worden overwogen. Bestaande methoden zoals de Precedence Shapley Value (PSV) gaan met deze restricties om, maar behandelen alle geldige lineaire extensies uniform, waarbij individuele verschillen worden genegeerd.
Zachte Prioriteitsgewichten: Praktijkgebruikers hebben vaak contextspecifieke overwegingen zoals vertrouwen, risico of curatiekosten. Bijvoorbeeld, een datapunt kan minder betrouwbaar zijn of een hoger juridisch risico met zich meebrengen. Bestaande Weighted Shapley Value (WSV) methoden integreren dergelijke gewichten, maar zijn beperkt tot specifieke structurele aannames (geordende partities) en kunnen geen algemene Directed Acyclic Graphs (DAG's) aan.

Huidige benaderingen behandelen harde precedentie en zachte gewichten meestal geïsoleerd. Er is een gebrek aan een verenigd framework dat zowel algemene precedentie-restricties als speler-specifieke prioriteitsgewichten tegelijkertijd incorporeert en daarbij computationeel haalbaar blijft.

Methodologie: Priority-Aware Shapley Value (PASV)

De auteurs stellen de Priority-Aware Shapley Value (PASV) voor, een verenigde Shapley-type attributiemethode die zowel harde precedentie-restricties als zachte prioriteitsgewichten integreert binnen één enkel random-order framework.

1. Theoretische Formulering

PASV definieert de waarde van speler $i$ als de verwachte marginale bijdrage over een distributie $p$ die ondersteund wordt door de verzameling lineaire extensies $\Pi_{\preceq}$ van een poset (of DAG) $([n], \preceq)$ . De distributie $p$ wordt geconstrueerd om te voldoen aan:

Hard Priority: De ondersteuning is beperkt tot $\Pi_{\preceq}$ , wat garandeert dat geen enkele permutatie de precedentie-restricties schendt.
Soft Priority: Onder de toegestane kandidaten op elk punt van de permutatieconstructie wordt de selectiekans beïnvloed door speler-specifieke gewichten $\lambda = (\lambda_1, \dots, \lambda_n)$ .

De waarschijnlijkheid van een permutatie $\pi = (\pi_1, \dots, \pi_n)$ wordt gegeven door:
$p^{(\preceq, \lambda)}(\pi) \propto \prod_{t=1}^n \frac{\lambda_{\pi_t} |\max_{\preceq}(S_t)|}{\sum_{k \in \max_{\preceq}(S_t)} \lambda_k}$
waarbij $S_t = \{\pi_1, \dots, \pi_t\}$ de verzameling spelers is die tot nu toe zijn geselecteerd, en $\max_{\preceq}(S_t)$ de verzameling maximale elementen in $S_t$ is (de toegestane kandidaten voor de volgende positie).

2. Axiomatische Karakterisering

Het artikel biedt een rigoureuze axiomatische karakterisering die PASV uniek identificeert. De afleiding verloopt via:

Precedence Random Order Value (PROV): Een familie van waarden die voldoet aan Efficiency, Linearity, Null Player, Monotonicity en Maximal Support (credit gaat alleen naar maximale elementen in haalbare verzamelingen).
State-Choice Factorization (SCF): Het beperken van de distributie tot een gefactoriseerde vorm waarbij de waarschijnlijkheid van een permutatie het product is van een "state"-factor (globale bias vanuit de DAG) en een "choice"-factor (lokale bias vanuit gewichten).
Boundary Axioms:
- Weight Proportionality (WP): Selectiekansen onder toegestane kandidaten zijn proportioneel aan hun gewichten $\lambda$ .
- Equal-Weight Uniformity (EWU): Als alle gewichten gelijk zijn, reduceert de distributie tot de uniforme distributie over $\Pi_{\preceq}$ (het herstellen van PSV).
  De combinatie van PROV, SCF, WP en EWU levert uniek PASV op.

3. Limiterende Regimes

De auteurs analyseren het gedrag van PASV wanneer gewichten extreem worden ( $\lambda_i \to \infty$ of $\lambda_i \to 0$ ). Ze demonstreren dat extreme gewichten een bijna deterministisch tie-breaking mechanisme kunnen induceren tussen gelijktijdig toegestane spelers. In specifieke gevallen (bijv. geordende partities of globaal maximale spelers) vertalen extreme gewichten zich effectief in nieuwe edges in de DAG, waardoor de precedentie-structuur wordt verfijnd.

4. Schaalbare Computatie

Aangezien het aantal lineaire extensies exponentieel groeit, is exacte computatie onuitvoerbaar voor grote $n$ . De auteurs ontwikkelen een efficiënte Adjacent-Swap Metropolis-Hastings (M-H) sampler:

Initialisatie: Een geldige lineaire extensie wordt gevonden via een topologische sortering.
Transitie: De sampler stelt een swap voor van aangrenzende incomparabele elementen in de huidige permutatie.
Acceptatie: De Metropolis-Hastings acceptatieverhouding wordt berekend met behulp van lokale informatie (Lemma 4.1), waardoor de sampler kan convergeren naar de niet-uniforme distributie $p^{(\preceq, \lambda)}$ zonder alle permutaties te enumereren.
Estimatie: PASV wordt geschat via Monte Carlo-averaging van marginale bijdragen over de gesamplede permutaties.

5. Diagnostisch Instrument: Priority Sweeping

Buiten punt-schattingen maakt PASV een "priority sweeping" analyse mogelijk. Door de waarde van een enkele speler (of groep) te variëren terwijl anderen constant worden gehouden, kunnen beoefenaren traceren hoe de waardering verandert. Dit dient als een sensitiviteitsanalyse om bijdragers te identificeren wiens credit onstabiel is of sterk afhankelijk is van vertrouws-/risico-aannames.

Belangrijkste Resultaten

Het artikel evalueert PASV op twee datasets:

Data Valuation (MNIST/CIFAR10):
- Setup: Een data-marktscenario met 8 providers, inclusief originele data, uitgebreide data, outputs van generatieve modellen (Boosters), kopieën en vergiftigde (poisoned) data. Een complexe DAG codeert de datalijnage (bijv. kopieën zijn afhankelijk van originalen).
- Bevindingen: De standaard Shapley Value (SV) overschat de waarde van hergebruikte data. PSV bestraft kopieën correct, maar behandelt alle synthetische data gelijk. PASV, door gewichten aan te passen, slaagt erin om onderscheid te maken tussen hoogwaardige synthetische data (Boosters) en laagwaardige/hergebruikte data (Copier/Poisoner). De "priority sweeping" analyse laat zien dat de waarde van gekopieerde/vergiftigde data zeer gevoelig is voor aanpassingen in de gewichten, terwijl de originele data stabiel blijft.
Feature Attribution (Census Income):
- Setup: Voorspellen van inkomen >$50k met 12 features. De auteurs vergelijken een grove "geordende partitie" DAG (demografie $\prec$ sociaaleconomisch) met een gedetailleerde DAG afgeleid van domeinkennis (bijv. opleiding $\prec$ beroep).
- Bevindingen: De keuze van de DAG verandert de attributiewaarden aanzienlijk. PASV's priority sweeping identificeert dat bepaalde kenmerken (bijv. native-country, relationship) onstabiele attributies hebben afhankelijk van hun prioriteitsgewicht, terwijl anderen (bijv. marital-status) robuust zijn. Dit onderstreept het belang van het correct modelleren van precedentie en biedt een instrument om de sensitiviteit van attributie te diagnosticeren.

Betekenis en Claims

Het artikel claimt dat PASV een verenigd, expressief en praktisch haalbaar framework biedt voor attributie in situaties met afhankelijkheden en variërende vertrouwensniveaus. De primaire bijdragen zijn:

Unificatie: Het is de eerste methode die simultaan algemene precedentie-restricties (DAG's) en zachte prioriteitsgewichten behandelt, waarbij PSV en WSV als speciale gevallen worden teruggevonden.
Theoretische Fundering: Het biedt een solide axiomatische basis, waarbij bewezen wordt dat PASV de unieke regel is die voldoet aan natuurlijke eigenschappen voor precedentie-bewuste en gewicht-bewuste waardering.
Schaalbaarheid: De voorgestelde MCMC-sampler maakt toepassing mogelijk op grote spelersverzamelingen waar exacte enumeratie onmogelijk is.
Praktisch Nut: De "priority sweeping" diagnostiek biedt een nieuw mechanisme voor sensitiviteitsanalyse, waardoor beoefenaren de impact van vertrouws-/risico-aannames op de uitkomst van de waardering kunnen kwantificeren.

De auteurs benadrukken dat PASV geen claim legt te zijn een "black box" oplossing, maar eerder een instrument dat de structurele aannames (DAG) en prioriteitsaannames (gewichten) expliciet en afstembaar maakt, wat daarmee robuustere en interpreteerbare besluitvorming ondersteunt in data-centrische AI.