On the Fragility of Data Attribution When Learning Is Distributed

Technische Samenvatting: Over de Fragiliteit van Data-attribution bij Gedistribueerd Leren

Probleemstelling
Data-attribution is uitgegroeid tot een kritiek onderdeel voor prijsbepaling, auditing en governance in machine learning-pipelines, met name in gedistribueerde omgevingen zoals Federated Learning (FL). Deze systemen vertrouwen op attributiemetingen (bijvoorbeeld Shapley-waarden, invloedfuncties) om de bijdrage van individuele data-eigenaren aan de globale modelnut te kwantificeren. Echter, huidige attributiemethoden veronderstellen impliciet dat deze scores de werkelijke bijdragen van deelnemers getrouw weergeven. Dit artikel daagt die veronderstelling uit en toont aan dat in standaard gedistribueerde trainingsworkflows een enkele kwaadaardige deelnemer strategisch hun gemeten attributiewaarde kan manipuleren om aanzienlijk gunstiger te lijken dan ze werkelijk zijn, zonder de nuttigheid van het globale model te verslechteren. De kernkwetsbaarheid ligt in de gevoeligheid van schatters voor marginale nuttigheid voor niet-IID-labeldekking en de specifieke structurele voorkeuren van attributie-evaluatoren.

Methodologie: Latente Optimalisatie-aanval
De auteurs stellen een "attributie-eerst" bedreigingsmodel voor waarbij een kwaadaardige client ($i^\star$) streeft naar het maximaliseren van hun attributiescore $E(\hat{g}^\star_t)$, terwijl ze de globale nuttigheid $U(\cdot)$ strikt binnen een kleine tolerantie $\delta$ behouden. In tegenstelling tot traditionele vergiftigingsaanvallen die prestaties verslechteren, werkt deze aanval onder de beperking dat de testnauwkeurigheid stabiel blijft.

De voorgestelde Latente Optimalisatie-aanval verloopt als volgt:

1. Injectie van Synthetische Data: De aanvallende partij gebruikt een vaste, voorgetrainde decoder ($Dec(\cdot)$) om een kleine batch synthetische samples $(\tilde{x}, \tilde{y})$ te genereren vanuit een latent vector $z$.
2. Optimalisatie van Latente Vector: De aanvallende partij optimaliseert de latent vector $z$ via gradiëntafdaal om een gezamenlijke verliesfunctie $L(z) = L_1(z) + L_2(z) + L_3(z)$ te voldoen:
   • $L_1$ (Uitlijning van Richting): Zorgt ervoor dat de gradiënt van de synthetische batch uitlijnt met een onschuldige referentierichting (bijvoorbeeld de globale modelupdate $w_t - w_{t-1}$) met behulp van cosinusgelijkheid.
   • $L_2$ (Normconsistentie): Past de grootte van de synthetische gradiënt aan aan die van onschuldige updates om op geometrie gebaseerde verdedigingen te ontlopen.
   • $L_3$ (Taaktrouw): Handhaaft standaard cross-entropy-verlies op de synthetische batch om ervoor te zorgen dat de data klassendiscriminerend is en nuttig voor training.
3. Strategische Dekking: De aanvallende partij richt zich specifiek op klassen die ondervertegenwoordigd of afwezig zijn in hun lokale echte dataset ($D^{(i^\star)}_r$). Door synthetische samples voor deze "ontbrekende" labels in te brengen, exploiteert de aanvallende partij de gevoeligheid van de evaluator voor dekkingstekorten.
4. Hybride Update: De aanvallende partij mengt de geoptimaliseerde synthetische batch met hun echte data om lokale training uit te voeren, waardoor een gerapporteerde update $\hat{g}^\star_t$ wordt gegenereerd die statistisch niet te onderscheiden is van onschuldige updates, maar in de ogen van de server-zijdige evaluator een disproportioneel hoge marginale nuttigheid oplevert.

Belangrijkste Bijdragen

• Attributie-eerst Bedreigingsmodel: Het artikel formaliseert een nieuw aanvalsdoel in FL waarbij het doel is om data-attributiescores op te blazen onder expliciete nuttigheids- en plausibiliteitsbeperkingen, onderscheiden van traditionele model-vergiftigingsdoelen.
• Praktische Latente Optimalisatie-aanval: De auteurs introduceren een concreet aanvalsmechanisme dat decoder-genererde synthetische data gebruikt om attributie-bewuste lokale updates te construeren. Deze methode behoudt de nuttigheid en is statistisch plausibel, waardoor ze standaard gezondheidscontroles ontloopt.
• Theoretische en Empirische Validatie: Het artikel biedt theoretisch inzicht in waarom dergelijke updates de marginale attributie verhogen zonder de nauwkeurigheid te verslechteren (door uitlijning met globale dalingrichtingen en dekking-gedreven nuttigheidswinsten). Empirisch wordt de aanval gevalideerd over drie datasets (CIFAR-10, FashionMNIST, SVHN), drie modelarchitecturen (ResNet-18, WRN-28-10, VGG16 BN) en meerdere evaluatoren (Federated Shapley Value en Leave-One-Out).

Experimentele Resultaten

• Opblazen van Attributie: Onder de Latente Optimalisatie-aanval verplaatste een kwaadaardige client die aanvankelijk laatste stond (met een bijna nul attributie) zich consequent naar de bovenste helft van de ranglijst, waarbij vaak attributiewaarden werden bereikt die vergelijkbaar waren met of zelfs hoger waren dan die van onschuldige hoog-bijdragende partijen. Bijvoorbeeld, op CIFAR-10 met ResNet-18 steeg de attributiewaarde van de kwaadaardige client van 0,0547 naar 0,1682, waardoor hun rang verschuift van 10e naar 2e.
• Behoud van Nuttigheid: In tegenstelling tot basalaanvallen (Label Flipping, Random Noise) die de testnauwkeurigheid aanzienlijk verslechterden, behield de Latente Optimalisatie-aanval de globale nauwkeurigheid binnen een smalle marge van de aanval-vrije baseline (bijvoorbeeld 77,59% versus 76,75% op CIFAR-10/ResNet-18).
• Hervorming van Attributiestructuur: De aanval verhoogde niet alleen de score van de aanvallende partij; het herverdeelde attributieaandelen onder onschuldige clients, waardoor de relatieve toewijzing van krediet binnen het systeem werd gewijzigd.
• Ontlopen van Verdediging: Standaard op geometrie gebaseerde trim-verdedigingen, die updates filteren op basis van afwijking van de bulk van client-updates, slaagden er niet in de aanval te detecteren (Precisie en Recall dicht bij 0,00). De hybride updates bleven uitgelijnd met de globale dalingrichting en statistisch ingebed binnen de onschuldige verdeling.
• Robuustheid: De aanval bleef effectief over verschillende aantallen clients, verschillende initiële client-rangschikkingen en verschillende attributie-evaluatoren (FedSV en LOO).

Betekenis en Beweringen
Het artikel beweert dat attributie op zichzelf een nieuw aanvalsoppervlak vormt in gedistribueerd leren. De bevindingen tonen aan dat het handhaven van modelnauwkeurigheid alleen onvoldoende is voor betrouwbaar collaboratief leren; integriteit van attributie is even kritiek. De auteurs betogen dat huidige prikkelmechanismen en governancekaders kwetsbaar zijn omdat ze vertrouwen op evaluatoren die gemanipuleerd kunnen worden zonder de globale prestaties te schaden. Dit werk motiveert de ontwikkeling van attributie-robuste evaluatoren en prikkel-compatibele scoremechanismen, waarbij wordt benadrukt dat de kwetsbaarheid voortkomt uit de prikkeleigenschappen van marginale-nuttigheids-evaluatie in plaats van specifieke score-regels. Het artikel concludeert dat zonder het aanpakken van deze kwetsbaarheden systemen het risico lopen de verkeerde bijdragers te belonen, schadelijke actoren verkeerd te identificeren en misleidende conclusies te trekken over datakwaliteit.