Challenges in Enabling Private Data Valuation

Deze paper analyseert de fundamentele spanning tussen privacy en nut bij datavaluatie, identificeert de algoritmische oorzaken van privacyproblemen bij bestaande methoden, en biedt ontwerpprincipes om privacybehoudende datavaluatie mogelijk te maken.

De kern

Stel je voor dat je een gigantische, superkrachtige robot bouwt (een AI-model) door hem duizenden foto's van mensen te laten zien. Nu wil je weten: welke foto's hebben de robot het meest beïnvloed?

Misschien was er één foto van een rare hond die de robot precies leerde wat een hond is, terwijl duizend andere foto's van katten nauwelijks iets deden. Dit proces van het meten van de "waarde" van elke individuele foto heet Data Valuation (Datavaluatie).

Deze techniek wordt steeds belangrijker om fouten op te sporen, om te weten wie betaald moet worden voor hun data, of om te controleren of de robot eerlijk is.

Maar hier zit een groot probleem: Privacy.

Het Dilemma: De "Spookfoto"

Stel je voor dat je de robot vraagt: "Welke foto was het belangrijkst?"
Als de robot zegt: "Oh, die ene foto van de rare hond was superbelangrijk!", dan weet iedereen dat die specifieke hond in de dataset zat. Als de hond een beroemdheid is, of als de foto een geheim onthult, is de privacy van die persoon geschonden.

Om dit te voorkomen, willen we Differential Privacy (DP) gebruiken. Dit is als een "ruisgenerator" of een "wazig filter" dat erop zorgt dat het antwoord van de robot nooit te specifiek is. Het moet onmogelijk zijn om te zeggen of jouw foto erin zat of niet.

Het Grote Conflict: Ruimtelijke Tegenstrijdigheid

Deze paper (onderzoek) legt uit dat Data Valuation en Privacy eigenlijk twee dingen zijn die elkaar haten. Het is alsof je probeert een heel specifiek detail te zien (de waarde van één foto) terwijl je tegelijkertijd een wazig filter voor je ogen hebt (privacy).

De onderzoekers hebben gekeken naar verschillende manieren om de waarde van data te berekenen en ontdekten drie grote obstakels:

1. De "Berg en Dal" Probleem (Invloedfuncties)

Sommige methoden proberen te berekenen hoe de robot zou zijn veranderd als je één foto zou verwijderen.

• De Analogie: Stel je voor dat je een toren bouwt van blokken. Je haalt één blokje weg en kijkt of de toren instort.
• Het Probleem: Bij moderne AI's is de "grond" (de wiskunde) heel onstabiel. Soms is het alsof je op een puntje staat dat heel gevoelig is. Als je dat ene blokje weghaalt, kan de hele toren instorten (grote invloed), of niets doen (geen invloed).
• De Privacy-Valstrik: Om privacy te beschermen, moet je zeggen: "Het kan nooit meer dan X veranderen." Maar omdat de toren soms echt instort (grote uitschieters), moet je het filter zo dik maken dat je niets meer ziet. Je ziet dan niet meer welke foto belangrijk was, omdat het ruis (de privacy-beschermer) luider is dan het geluid van de foto zelf.

2. Het "Loterij" Probleem (Shapley Waarden)

Andere methoden kijken naar hoeveel een foto bijdraagt aan een willekeurige groep foto's.

• De Analogie: Je speelt een spelletje waarbij je willekeurige groepjes mensen samenstelt om te zien wie de beste teamspeler is.
• Het Probleem: Soms zit die ene "super-speler" in een groepje waar hij de winnaar maakt, en in een ander groepje doet hij niets.
• De Privacy-Valstrik: Als je wilt weten wie de super-speler is, moet je heel veel groepjes testen. Maar als je dat doet met privacy-beschermer, moet je zo veel ruis toevoegen dat je niet meer kunt zien wie de winnaar was. Het is alsof je probeert een naald te vinden in een hooiberg, maar je mag alleen kijken door een wazig raam.

3. Het "Reisverslag" Probleem (Traject-methoden)

Deze methoden kijken naar hoe de robot tijdens het leren veranderde.

• De Analogie: Je kijkt naar het dagboek van de robot terwijl hij leerde. "Op dag 3 keek hij naar die ene foto en werd hij slimmer."
• Het Probleem: Dit werkt alleen als het dagboek zelf al privé is. Als de robot tijdens het leren niet privé was, kun je het dagboek niet veilig maken zonder de hele geschiedenis te verdraaien.
• De Privacy-Valstrik: Als je probeert het dagboek privé te maken, verdwijnt het verhaal. Je ziet dan niet meer welke foto op welke dag belangrijk was.

Wat is de conclusie?

De onderzoekers zeggen: "We kunnen niet zomaar een privacy-filter over bestaande methoden plakken."

Het is alsof je probeert een heel scherpe foto te maken, maar je hebt een lens die per definitie alles wazig maakt. Als je de lens gebruikt, is de foto wazig. Als je de lens verwijdert, is de foto niet privé.

De oplossing?
We moeten de robot en de methoden opnieuw ontwerpen. In plaats van te proberen de "geheime" details van elke foto te beschermen terwijl we ze nog steeds heel precies meten, moeten we methoden bedenken die:

1. Alleen kijken naar groepsdynamiek (niet naar individuele foto's).
2. Gebruik maken van openbare data om de "kaart" te tekenen, zodat we niet hoeven te kijken naar de geheime foto's zelf.
3. De vragen anders stellen, zodat we niet hoeven te zeggen "Jouw foto was belangrijk", maar "Er was een groep foto's die belangrijk was".

Kortom: Data Valuation is een geweldig idee, maar het is momenteel te gevaarlijk voor de privacy van mensen. We moeten de hele techniek opnieuw uitvinden om het veilig te maken, in plaats van alleen een "plakband" (privacy-filter) eroverheen te plakken.

Technische samenvatting

Titel: Uitdagingen bij het mogelijk maken van privacy-bewuste datawaardering

Auteurs: Yiwei Fu, Tianhao Wang, Varun Chandrasekaran (UIUC & UVA)
Publicatie: arXiv:2603.00342v1 [cs.CR] (2026)

---

1. Probleemstelling

Datawaardering (data valuation) is een cruciale techniek in het machine learning-ecosysteem die meet hoe individuele trainingsvoorbeelden bijdragen aan het gedrag van een model. Dit wordt gebruikt voor dataset-curatie, auditing, prijsbepaling in datamarkten en het toewijzen van verantwoordelijkheid.

Het paper identificeert een fundamenteel conflict tussen datawaardering en privacy (specifiek Differentiële Privacy of DP):

• Het doel van waardering: Het is ontworpen om de gevoeligheid van een model voor individuele records te kwantificeren. Het moet precies kunnen onderscheiden welke data-punten invloedrijk zijn en welke niet.
• Het doel van Differentiële Privacy (DP): DP vereist dat de uitkomst van een berekening nauwelijks verandert als één enkel record wordt toegevoegd of verwijderd. Het doel is om de invloed van individuele records te maskeren.

De auteurs stellen dat naieve toepassing van DP (bijv. het toevoegen van ruis) de nuttige signalen van datawaardering vaak vernietigt. In heterogene datasets waar zeldzame voorbeelden een disproportioneel grote invloed hebben, leidt het vereiste voor privacy vaak tot een ruisniveau dat het nuttige signaal volledig overschaduwt. Het paper onderzoekt of er überhaupt methoden bestaan die zowel nuttig als strikt privacy-bewust zijn.

2. Methodologie en Analyse

De auteurs analyseren het landschap van moderne datawaarderingstechnieken door ze te ontleden in hun onderliggende algoritmische primitieven. Ze classificeren methoden in vier hoofdcategorieën en analyseren de privacy-uitdagingen voor elk:

1. Invloed- en Kromme-benaderingen (Influence & Curvature):

   • Methoden: Influence Functions, iHVP (Iterative Hessian-Vector Products), Fisher-benaderingen.
   • Mechanisme: Benaderen van het effect van het verwijderen van een punt via de inverse Hessian-matrix (kromming).
   • Privacy-uitdaging: De inverse Hessian kan extreem grote eigenwaarden hebben (ill-conditioning), wat leidt tot een "heavy-tailed" verdeling van scores. Zeldzame punten worden enorm versterkt. Het "dampen" (regularisatie) van de matrix is onvoldoende om een strikte, dataset-onafhankelijke bovengrens (sensitivity bound) te garanderen zonder de nuttigheid te vernietigen.

2. Gewogen Marginale Bijdragen (Weighted Marginal Contributions):

   • Methoden: Data Shapley, Beta Shapley, Data Banzhaf.
   • Mechanisme: Berekenen van de verwachte marginale verbetering van een nuttigheidsfunctie (bijv. nauwkeurigheid) wanneer een punt wordt toegevoegd aan subsets van de dataset.
   • Privacy-uitdaging: Hoewel de gemiddelde bijdrage klein kan zijn, kunnen zeldzame coalities (subsets) leiden tot enorme sprongen in de nuttigheid. Dit maakt de globale gevoeligheid (global sensitivity) onbeperkt. Het "clipping" (afkappen) van scores leidt tot een dilemma: te streng knippen verwijdert de invloedrijke uitschieters (verlies van nut), terwijl te los knippen een enorme hoeveelheid ruis vereist die het signaal van de meeste data overschaduwt.

3. Traject-gebaseerde Benaderingen (Trajectory-Based):

   • Methoden: TracIn, SOURCE, In-run Data Shapley.
   • Mechanisme: Het bijhouden van de bijdrage van een punt over de hele trainingsgeschiedenis (optimisatiepad) in plaats van alleen bij het eindmodel.
   • Privacy-uitdaging: Deze methoden kunnen privacy-bewust zijn als het trainingsproces zelf al onder DP staat (bijv. DP-SGD), omdat de waardering dan een "post-processing" stap is op een al gepubliceerd, privé traject. Echter, methoden die tweede-orde informatie (Hessian) gebruiken, vereisen toegang tot ruwe data en zijn niet compatibel met standaard DP. Bovendien vereist het vrijgeven van het volledige traject voorwaardelijke privacy-accounting die vaak strijdig is met moderne "hidden state" privacy-versterkingstechnieken.

4. Surrogaat- en Linearisatie-methoden:

   • Methoden: TRAK, Data Models.
   • Mechanisme: Het vervangen van niet-lineaire training door een lineaire surrogaatruimte (bijv. inproducten van gradiënten).
   • Privacy-uitdaging: Hoewel ze schaalbaar zijn, hangen de surrogaat-embeddings vaak af van een preconditioneringsmatrix (zoals de inverse Hessian) die over de hele dataset is berekend. Dit creëert een verborgen globale afhankelijkheid: het berekenen van de score voor één punt lekt informatie over de rest van de dataset via de geometrie van de ruimte.

3. Kernbijdragen

Het paper levert de volgende belangrijke bijdragen:

• Systeematische Taxonomie: De eerste "State of the Knowledge" (SoK) analyse die privacy-beperkingen systematisch toepast op het volledige spectrum van datawaarderingstechnieken.
• Identificatie van 9 Structurele Uitdagingen (C1-C9): De auteurs distilleren negen terugkerende problemen die DP-datawaardering belemmeren, waaronder:
  • Kromme-versterking (Curvature Amplification): Ill-conditioning van de Hessian.
  • Coalitie-extrema: Zeldzame subsets die extreme marginale bijdragen genereren.
  • Compositional Exposure: Het accumuleren van gevoeligheid over een trainingspad.
  • Het Privacy-Nut Paradox: Het onmogelijke compromis tussen het behoud van de resolutie van uitschieters en het toevoegen van voldoende ruis voor privacy.
• Ontwerpprincipes: De conclusie dat "post-hoc" privacy (het toevoegen van ruis aan bestaande algoritmen) vaak faalt. In plaats daarvan moeten waarderingssystemen "sensitivity-by-design" zijn, waarbij de structuur van de methode (bijv. lokale interacties of bounded utilities) de gevoeligheid inherent beperkt.
• Empirische Validatie: Experimenten tonen aan dat zelfs bij agressief "clipping" de benodigde ruis voor DP vaak groter is dan het signaal zelf, waardoor de waardering voor de meerderheid van de dataset nutteloos wordt.

4. Resultaten en Bevindingen

• Influence Functions: Falen in DP-omgevingen omdat de benodigde ruis (gebaseerd op de onbeperkte gevoeligheid van de inverse Hessian) het signaal volledig overschaduwt.
• Data Shapley: De empirische gevoeligheid is vaak groter dan het gemiddelde signaal. Zelfs met geavanceerde schattingstechnieken is het moeilijk om een evenwicht te vinden tussen de dekking van subsets (nodig voor nauwkeurigheid) en de accumulatie van gevoeligheid.
• Traject-methoden: Alleen eerste-orde methoden (zoals TracIn) zijn potentieel compatibel met DP, maar alleen als het trainingsproces al privé was. Tweede-orde methoden zijn onverenigbaar met DP tenzij de Hessian zelf ook privé wordt berekend, wat computatief onhaalbaar is.
• Surrogaat-methoden: De afhankelijkheid van een dataset-specifieke geometrie (preconditioner) maakt het onmogelijk om individuele scores te privacy-bewaken zonder de gehele dataset te blootstellen via de geometrie.

5. Significantie en Toekomstperspectief

Dit paper is significant omdat het aantoont dat het conflict tussen datawaardering en privacy niet slechts een technisch obstakel is dat opgelost kan worden met meer ruis, maar een structurele tegenstrijdigheid.

De auteurs formuleren drie open problemen (P1-P3) voor de gemeenschap:

1. Betere Accounting voor Trajecten: Het ontwikkelen van speciale privacy-accountants die specifiek zijn voor het vrijgeven van gradiënt-uitlijningsseries zonder het volledige traject te onthullen.
2. Statische DP-Waardering: Onderzoeken of het mogelijk is om betekenisvolle attributie te halen uit een geconvergeerd, privé model zonder toegang tot de privé-kromming (Hessian) of de gevoelige marginale nuttigheid.
3. Privacy voor Centrale Uitgifte: Het oplossen van het probleem waarbij de volledige vector van waarderingsscores voor een hele dataset moet worden vrijgegeven, wat de privacy-begroting (budget) direct opmaakt door compositie.

Conclusie: De weg naar privacy-bewuste datawaardering vereist een herontwerp van de waarderingselementen zelf, met een verschuiving naar methoden die inherent beperkte gevoeligheid hebben (bijv. door lokale interacties of publieke surrogaat-geometrieën), in plaats van het proberen te "fixen" van bestaande, gevoelige algoritmen.