Variational Feature Compression for Model-Specific Representations

Probleemstelling: Input-hergebruik (Input Repurposing)

Met de opkomst van Machine Learning as a Service (MLaaS) worden gevoelige invoerdata vaak naar externe servers gestuurd voor inferentie. Een groot risico hierbij is input repurposing: een scenario waarin data die door een gebruiker is ingediend voor een specifieke taak, door een onbevoegde partij wordt hergebruikt voor een ander doel met een ander model.

• Het risico: Zelfs als de data versleuteld of beperkt is toegankelijk, kan een rijke representatie die is opgesteld voor taak A (bijv. geslachtsclassificatie) nog steeds bruikbare informatie bevatten voor taak B (bijv. identiteitsdetectie of emotieherkenning).
• Beperkingen van bestaande methoden: Bestaande privacytechnieken zoals homomorf versleuteling, secure multi-party computation en differentieel privacy focussen op wie toegang heeft tot de data of op statistische blootstelling. Ze bieden echter geen directe controle over wat een vrijgegeven representatie nog kan doen. Ze beperken niet de overdraagbaarheid (transferability) van een verwerkte representatie naar onbedoelde modellen.

Methodologie

De auteurs stellen een framework voor dat selectieve bruikbaarheid (selective utility) nastreeft: het behouden van nauwkeurigheid voor een aangewezen doelmodel, terwijl de bruikbaarheid voor alle andere modellen wordt onderdrukt.

1. Variational Latent Bottleneck (VIB)
Het kernidee is gebaseerd op het Variational Information Bottleneck-principe. Het doel is om een latente representatie $Z$ te leren die maximale informatie behoudt over het label $Y$ (voor de taak) en minimale informatie over de originele invoer $X$ (om hergebruik te voorkomen).

• Encoder: Gebruikt een ResNet-18 backbone om invoer af te beelden naar een latente verdeling met parameters $\mu$ en $\sigma$.
• Decoder: In tegenstelling tot een standaard VAE (Variational Autoencoder), bevat de trainingsdoelstelling geen pixel-herstellingsverlies (zoals MSE). De decoder wordt uitsluitend getraind via de cross-entropy loss van het bevroren doelmodel. Dit zorgt ervoor dat de decoder alleen taakrelevante semantiek behoudt en fijne visuele details (die voor onbedoelde modellen nuttig zouden kunnen zijn) verwijdert.
• Doelfunctie: $L_{total} = L_{task} + \lambda_{KL} \cdot L_{KL}$.
  • $L_{task}$: Cross-entropy loss van het bevroren doelmodel.
  • $L_{KL}$: Kullback-Leibler-divergentie die de latente verdeling dicht bij een standaard Gaussische prior houdt (compressie).

2. Dynamische Binaire Maskering
Om de compressie verder te verfijnen, wordt een dynamisch binaire masker ($M$) toegepast op de latente vector $Z$. Dit masker selecteert alleen de dimensies die essentieel zijn voor het doelmodel.

• Score-mechanisme: De belangrijkheid van elke latente dimensie wordt bepaald door twee factoren:
  1. KL-divergentie: Hoe sterk de dimensie afwijkt van de Gaussische prior (hogere afwijking = meer gestructureerde informatie).
  2. Gradient-based Saliency: De absolute gradiënt van de taak-loss ten opzichte van de latente dimensie. Dit meet hoe gevoelig het doelmodel is voor veranderingen in die dimensie.
• Combinatie: Deze scores worden genormaliseerd en gecombineerd tot een totale belangrijkheidsscore. Dimensies onder een bepaalde drempel worden op 0 gezet (onderdrukt).
• Training: De encoder en decoder worden getraind in een white-box setting (toegang tot de gradiënten van het doelmodel is vereist tijdens training), maar inferentie vereist slechts een forward pass.

3. Trainingsstrategie
Het trainingsproces verloopt in twee fasen:

1. Warmup-fase: Het masker is volledig actief (alleen 1-en). De encoder leert een stabiele, taakrelevante representatie zonder dat dimensies te vroeg worden verwijderd.
2. Masking-fase: Het masker wordt periodiek herberekend op basis van de geaccumuleerde statistieken van de trainingsset en toegepast tijdens het trainen van de encoder/decoder.

Belangrijkste Bijdragen

1. Framework voor Selectieve Bruikbaarheid: Een variational latent-bottleneck framework dat taakgedreven reconstructies leert zonder pixel-level herstel, waardoor informatie voor onbedoelde modellen wordt verwijderd.
2. Dynamisch Latent Maskering: Een mechanisme dat KL-divergentie en gradiëntgebaseerde salientie combineert om kritieke dimensies te behouden en overdraagbare features te onderdrukken.
3. Empirische Evaluatie: Uitgebreide testen op CIFAR-100 met vier verschillende architecturen (ResNet152, DenseNet121, ConvNeXt-V2, VGG16), inclusief ablatiestudies en exploratieve experimenten op andere datasets (CIFAR-10, Tiny ImageNet, Pascal VOC).

Resultaten

De experimenten tonen aan dat het framework zeer effectief is in het scheiden van bruikbaarheid voor het doelmodel versus onbedoelde modellen:

• CIFAR-100:
  • Het aangewezen doelmodel behoudt een hoge nauwkeurigheid (tot 72,23% top-1).
  • Alle onbedoelde modellen zakken naar een nauwkeurigheid van minder dan 2% (dicht bij de willekeurige gok-basislijn van 1% voor 100 klassen).
  • Dit resulteert in een onderdrukkingsratio van meer dan 45x ten opzichte van onbedoelde modellen.
• Ablatie-studie: De combinatie van KL-regularisatie en dynamische masking werkt beter dan alleen masking of alleen KL-regularisatie. De masking-component voegt selectiviteit toe zonder de doelnauwkeurigheid te verstoren.
• Cross-task (Tiny ImageNet): Bij een stijltransfer-experiment (Van Gogh-stijl) bleek dat de gereconstrueerde beelden de semantische structuur voor classificatie behielden, maar de generatieve informatie voor stijltransfer verloren (de gestyleerde output was van lage kwaliteit).
• Andere Datasets: Preliminair bewijs op CIFAR-10 en Pascal VOC suggereert dat de methode werkt voor binaire taken en multi-label classificatie, hoewel verdere evaluatie nodig is.

Betekenis en Beperkingen

Betekenis:
De paper introduceert een nieuwe benadering voor privacy in MLaaS die zich richt op het beperken van de functionaliteit van een vrijgegeven representatie in plaats van alleen de toegang tot de data. Het biedt een praktische oplossing voor scenario's waar data-minimalisatie en informed consent cruciaal zijn, door te garanderen dat data alleen bruikbaar is voor de specifieke taak waarvoor het is bedoeld.

Beperkingen en Aannames:

• White-box vereiste: De methode vereist toegang tot de gradiënten van het doelmodel tijdens de training. Dit werkt niet in een puur black-box MLaaS-scenario waar alleen een API beschikbaar is.
• Empirisch, geen formele garantie: De methode biedt geen formele privacygaranties (zoals differentieel privacy). Het is een empirische verdediging.
• Adaptieve tegenstanders: De evaluatie gaat uit van "off-the-shelf" hergebruik. Het is niet getest tegen adaptieve tegenstanders die specifiek modellen opnieuw trainen op de gereconstrueerde beelden om de onderdrukking te omzeilen.
• Model-specifiek: De oplossing is getraind voor een specifiek bevroren model. Als het doelmodel verandert, moet de hele transformatiepijplijn opnieuw worden getraind.

Concluderend biedt dit werk een krachtig bewijs dat het mogelijk is om representaties te comprimeren en te filteren zodat ze "model-specifiek" worden, waardoor de risico's van data-hergebruik in gedeelde cloudomgevingen aanzienlijk worden verminderd.