Variational Feature Compression for Model-Specific Representations

Titolo: Compressione Variazionale delle Caratteristiche per Rappresentazioni Specifiche del Modello

1. Il Problema: Il Riutilizzo degli Input (Input Repurposing)

Con la crescente diffusione del Machine Learning as a Service (MLaaS) e dei sistemi di inferenza nel cloud, sorge un rischio critico di privacy: il riutilizzo degli input.

• Scenario: Un utente invia dati sensibili a un server per un compito specifico (es. classificazione del genere). Un avversario, avendo accesso al flusso dei dati, potrebbe riutilizzare gli stessi input (o una loro versione elaborata) per un modello non autorizzato con un compito diverso (es. inferenza dell'identità o rilevamento delle emozioni).
• Limiti delle difese esistenti: Tecniche come la crittografia omomorfica, il calcolo sicuro multipartito o la privacy differenziale proteggono la confidenzialità dei dati grezzi o i limiti statistici, ma non controllano direttamente cosa un rappresentazione elaborata può ancora supportare. Una rappresentazione ricca, ottimizzata per un compito, potrebbe rimanere utile anche per altri modelli non autorizzati.
• Obiettivo: Sviluppare un framework che preservi l'utilità dei dati per un classificatore designato (target) ma sopprima drasticamente la loro utilità per qualsiasi altro modello (non intenzionale), senza fornire garanzie formali di privacy ma offrendo una soppressione empirica del trasferimento.

2. Metodologia

Il framework proposto si basa su una trasformazione a livello di caratteristiche che utilizza un collo di bottiglia latente variazionale combinato con una mascheratura dinamica.

• Architettura:

  • Encoder: Basato su ResNet-18, trasforma l'input $X$ in una distribuzione latente $Z$ (parametri $\mu$ e $\sigma$).
  • Bottleneck Variazionale: Utilizza il principio dell'Information Bottleneck (IB). L'obiettivo è massimizzare l'informazione reciproca tra la rappresentazione latente e l'etichetta del compito target $I(Z; Y)$, minimizzando al contempo l'informazione sull'input originale $I(Z; X)$.
  • Decoder: Ricostruisce un'immagine trasformata $X'$ a partire da una versione mascherata di $Z$. A differenza di un VAE standard, non esiste una funzione di perdita di ricostruzione a livello di pixel. Il decoder è supervisionato esclusivamente dalla perdita di cross-entropy del modello target congelato. Questo evita di preservare dettagli visivi fini non necessari per il compito.

• Meccanismo di Mascheratura Dinamica (Latent Masking):
  Per garantire che le dimensioni latenti residue non siano sfruttabili da altri modelli, viene applicata una maschera binaria dinamica $M$ calcolata su due metriche:

  1. Divergenza KL: Misura quanto una dimensione latente si discosta dalla distribuzione a priori (Gaussiana standard). Dimensioni con bassa divergenza contengono poca informazione strutturata.
  2. Saliency basata sui Gradienti: Calcola la sensibilità della perdita del compito target rispetto a ciascuna dimensione latente (richiede accesso ai gradienti del modello target durante l'addestramento).
  • I punteggi vengono normalizzati, combinati e sogliati per produrre una maschera binaria che mantiene solo le dimensioni critiche per il modello target.

• Fasi di Addestramento:

  1. Warm-up: Addestramento senza maschera per stabilizzare la rappresentazione latente.
  2. Fase di Mascheratura: Viene calcolata e aggiornata periodicamente la maschera globale basata sui punteggi combinati (KL + Saliency). L'encoder e il decoder vengono ottimizzati per massimizzare l'accuratezza sul modello target e minimizzare la ridondanza (KL).

• Assunzioni:

  • Accesso White-Box in Addestramento: È necessario accedere ai pesi e all'architettura del modello target per calcolare i gradienti e la saliency.
  • Inferenza Black-Box: Al momento dell'inferenza, è sufficiente un passaggio in avanti (forward pass) attraverso il modello target congelato.

3. Contributi Chiave

1. Framework di Bottleneck Variazionale Specifico per il Compito: Un approccio che apprende ricostruzioni guidate dal compito (senza perdita di ricostruzione pixel) per imporre un'utilità selettiva.
2. Meccanismo di Mascheratura Latente Dinamica: Una tecnica innovativa che combina la divergenza KL e la saliency basata sui gradienti per filtrare le dimensioni latenti, mantenendo quelle critiche per il target e sopprimendo quelle trasferibili.
3. Valutazione Empirica Estensiva: Sperimentazioni su CIFAR-100 con quattro architetture diverse (ResNet152, DenseNet121, ConvNeXt-V2, VGG16) e studi preliminari su CIFAR-10, Tiny ImageNet e Pascal VOC.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti principalmente su CIFAR-100 (100 classi).

• Soppressione del Trasferimento:
  • Quando un modello è designato come "target", mantiene un'accuratezza competitiva (fino al 72.23% con ResNet152).
  • Tutti gli altri modelli non intenzionali (testati su CIFAR-100) vedono la loro accuratezza crollare a livelli vicini al caso casuale (< 2%).
  • Il rapporto di soppressione (Target Accuracy / Unintended Accuracy) supera 45x.
• Studio Ablativo:
  • Senza maschera: L'uso della sola regolarizzazione KL riduce già l'accuratezza non intenzionale (<3%), ma mantiene un'accuratezza target inferiore.
  • Mascheratura KL-only: Migliora leggermente l'accuratezza target e riduce ulteriormente quella non intenzionale.
  • Mascheratura Integrata (KL + Saliency): Raggiunge le prestazioni migliori, dimostrando che la combinazione delle due metriche è essenziale per una selezione fine delle caratteristiche.
• Generalizzazione:
  • Tiny ImageNet: Dimostra che le rappresentazioni trasformate perdono la struttura semantica necessaria per compiti di trasferimento stile (es. style transfer), pur mantenendo l'accuratezza di classificazione.
  • Pascal VOC: Conferma la capacità di preservare segnali utili in contesti di classificazione multi-etichetta.

5. Significato e Limitazioni

• Significato: Il lavoro introduce il concetto di "Utilità Selettiva". Invece di cercare di rendere i dati inutilizzabili da chiunque (come nella privacy differenziale), il metodo rende i dati utilizzabili solo da un modello specifico. Questo è cruciale per scenari MLaaS dove si vuole garantire che i dati inviati non possano essere riutilizzati per inferenze non autorizzate.
• Limitazioni:
  • Dipendenza dal Modello Target: Il sistema è specifico per un modello congelato; cambiare il modello target richiede il riaddestramento dell'intera pipeline.
  • Adversari Adattivi: La difesa è empirica e non formale. Non è stata testata contro avversari che riaddestrano modelli specificamente sui dati trasformati (adversarial training).
  • Accesso White-Box: Richiede l'accesso ai gradienti del modello target durante l'addestramento, il che non è possibile in scenari puramente black-box (API chiuse).

In sintesi, il paper propone una soluzione efficace per mitigare il rischio di riutilizzo non autorizzato dei dati in ambienti cloud, trasformando le rappresentazioni in "surrogati condizionati al target" che sono ottimali per un singolo modello ma inutilizzabili per altri.