Privacy-Preserving Clothing Classification using Vision Transformer for Thermal Comfort Estimation

1. Enunciato del Problema

Il documento affronta un conflitto critico nei moderni sistemi di gestione degli edifici: la necessità di un Controllo Centrato sull'Occupante (OCC) per ottimizzare il comfort termico contrapposto all'imperativo della privacy dell'utente.

• Contesto: I sistemi HVAC (Riscaldamento, Ventilazione e Condizionamento dell'Aria) utilizzano sempre più immagini da telecamere e deep learning per stimare il comfort termico degli occupanti, basandosi spesso sull'indice PMV (Predicted Mean Vote).
• Parametro Chiave: L'isolamento termico dell'abbigliamento (valore clo) è un input vitale per i calcoli del PMV.
• La Sfida:
  • La trasmissione di immagini grezze contenenti Informazioni di Identificazione Personale (PII) a server cloud non fidati per l'elaborazione solleva preoccupazioni significative in materia di privacy.
  • I metodi esistenti di preservazione della privacy, che tipicamente cifrano le immagini prima di inviarle a un modello (ad esempio utilizzando Reti Neurali Convoluzionali o CNN), soffrono di un peggioramento severo dell'accuratezza. Ciò è dovuto al fatto che la cifratura basata sui pixel interrompe le correlazioni spaziali su cui le CNN si affidano per l'estrazione delle caratteristiche.

2. Metodologia

Gli autori propongono uno schema innovativo che sfrutta l'architettura Vision Transformer (ViT) combinata con una specifica tecnica di cifratura delle immagini basata su chiave.

A. Architettura del Sistema

Il flusso di lavoro coinvolge due parti: uno Sviluppatore del Modello e un Utente.

1. Sviluppo del Modello:
   • Un modello ViT pre-addestrato (nello specifico ViT-S/16) viene affinato su un dataset di abbigliamento.
   • I parametri del modello vengono cifrati utilizzando una chiave segreta $K$ per creare un modello cifrato $M$.
   • $M$ viene caricato su un server cloud.
2. Inferenza dell'Utente:
   • L'utente cifra la propria immagine di input $x$ utilizzando la chiave segreta condivisa $K$ per generare un'immagine cifrata $x'$.
   • $x'$ viene trasmessa al server cloud.
   • Il server esegue l'inferenza utilizzando il modello cifrato $M$ sull'immagine cifrata $x'$ e restituisce il risultato della classificazione.

B. Meccanismo di Cifratura (Basato su ViT)

A differenza della cifratura tradizionale basata sui pixel, questo metodo sfrutta la natura specifica dell'elaborazione del ViT:

• Divisione in Patch: L'immagine di input viene divisa in blocchi non sovrapposti di dimensioni $M \times M$, corrispondenti alla dimensione della patch ViT ($P=16$).
• Cifratura in Due Fasi:
  1. Mescolamento dei Pixel: I pixel all'interno di ciascun blocco vengono permutati utilizzando una sequenza pseudo-casuale generata dalla chiave.
  2. Scrambling dei Blocchi: I blocchi stessi vengono permutati spazialmente (mescolati) attraverso l'immagine.
• Vantaggio Teorico: Poiché il ViT elabora le immagini come una sequenza di patch e utilizza un meccanismo di auto-attenzione che è in gran parte indipendente dalla disposizione spaziale assoluta di queste patch, il modello può estrarre caratteristiche dall'immagine scramblata $x'$ senza necessità di decifratura. Ciò preserva le informazioni semantiche necessarie per la classificazione.

3. Contributi Chiave

• Nuova Applicazione del ViT per la Privacy: Il documento è il primo a dimostrare che le architetture ViT possono mantenere un'alta accuratezza di classificazione su immagini cifrate, superando il calo di accuratezza osservato negli schemi di privacy basati su CNN.
• Controllo HVAC End-to-End con Preservazione della Privacy: Fornisce un quadro pratico per stimare l'isolamento termico dell'abbigliamento (un parametro PMV critico) senza esporre le immagini grezze degli occupanti ai fornitori di servizi cloud.
• Zero Peggioramento dell'Accuratezza: Lo schema proposto raggiunge un'accuratezza identica sulle immagini cifrate rispetto alle immagini in chiaro (non cifrate), eliminando efficacemente il compromesso tra privacy e utilità per questo specifico compito.

4. Risultati Sperimentali

Gli autori hanno valutato il metodo utilizzando il dataset DeepFashion (26.887 immagini), categorizzato in quattro livelli di isolamento: Senza Maniche, Camicia a Maniche Corte, Camicia a Maniche Lunghe e Indumenti da Strato Esterno.

• Confronto con la Linea di Base: Hanno confrontato lo schema proposto basato su ViT con un metodo convenzionale di cifratura basata sui pixel applicato a un modello ResNet-18.
• Metriche di Prestazione:
  • Metodo Convenzionale (ResNet-18 + Cifratura basata sui Pixel): Ha subito un calo significativo dell'accuratezza dal 93,51% (in chiaro) all'83,34% (cifrato). Il calo è stato severo per categorie complesse come Camicia a Maniche Lunghe (sceso al 67,40%) e Indumenti da Strato Esterno (65,64%).
  • Metodo Proposto (ViT-S/16 + Cifratura basata su ViT): Ha mantenuto un'accuratezza complessiva del 95,65% sulle immagini cifrate, mostrando un 0% di degradazione rispetto alla linea di base delle immagini in chiaro (95,65%).
  • Coerenza per Categoria: Lo schema basato su ViT ha superato il metodo convenzionale in tutte e quattro le categorie di abbigliamento.

5. Significato e Impatto

• Valutazione Affidabile del Comfort Termico: Mantenendo un'alta accuratezza su dati cifrati, il sistema garantisce che i calcoli del PMV rimangano affidabili, prevenendo la classificazione errata dell'isolamento dell'abbigliamento che potrebbe portare a un controllo HVAC inefficiente o al disagio degli occupanti.
• Scalabilità e Distribuzione Edge: Il modello utilizzato (ViT-S/16) ha 22,0 milioni di parametri, rendendolo adatto all'implementazione su dispositivi edge nell'elettronica di consumo, migliorando ulteriormente la praticità della soluzione.
• Cambiamento di Paradigma: Questo lavoro suggerisce uno spostamento nella visione artificiale con preservazione della privacy, allontanandosi dalle CNN (che faticano con dati spaziali cifrati) verso architetture basate su Transformer che sono intrinsecamente più robuste alle permutazioni spaziali introdotte dalla cifratura.

In conclusione, il documento dimostra con successo che i Vision Transformer offrono una soluzione praticabile per la classificazione di immagini con preservazione della privacy nelle applicazioni di edifici intelligenti, risolvendo il problema di lunga data della perdita di accuratezza nei domini cifrati.