Privacy-Preserving Clothing Classification using Vision Transformer for Thermal Comfort Estimation

1. Probleemstelling

Het artikel behandelt een kritiek conflict in moderne gebouwbeheersystemen: de behoefte aan Occupant-Centric Control (OCC) om thermisch comfort te optimaliseren versus het imperatief van gebruikersprivacy.

• Context: HVAC-systemen (Verwarming, Ventilatie en Airconditioning) gebruiken steeds vaker cameraafbeeldingen en deep learning om het thermische comfort van bewoners te schatten, waarbij vaak wordt teruggegrepen op de Predicted Mean Vote (PMV)-index.
• Kernparameter: Kledingisolatie (clo-waarde) is een vitale invoer voor PMV-berekeningen.
• De Uitdaging:
  • Het verzenden van ruwe afbeeldingen met Persoonlijk Identificeerbare Informatie (PII) naar onbetrouwbare cloudservers voor verwerking roept aanzienlijke privacyzorgen op.
  • Bestaande privacybehoudende methoden, die doorgaans afbeeldingen versleutelen voordat ze naar een model worden gestuurd (bijvoorbeeld met Convolutional Neural Networks of CNN's), lijden onder ernstige nauwkeurigheidsdegradatie. Dit komt doordat op pixels gebaseerde versleuteling de ruimtelijke correlaties verstoort waarop CNN's vertrouwen voor kenmerkextractie.

2. Methodologie

De auteurs stellen een nieuw schema voor dat gebruikmaakt van de Vision Transformer (ViT)-architectuur in combinatie met een specifieke sleutelgebaseerde afbeeldingsversleuteling.

A. Systeemarchitectuur

De werkstroom omvat twee partijen: een Modelontwikkelaar en een Gebruiker.

1. Modelontwikkeling:
   • Een vooraf getraind ViT-model (specifiek ViT-S/16) wordt fijnge tuned op een kledingdataset.
   • De modelparameters worden versleuteld met een geheime sleutel $K$ om een versleuteld model $M$ te creëren.
   • $M$ wordt geüpload naar een cloudserver.
2. Gebruikersinference:
   • De gebruiker versleutelt zijn invoerafbeelding $x$ met de gedeelde geheime sleutel $K$ om een versleutelde afbeelding $x'$ te genereren.
   • $x'$ wordt naar de cloudserver verzonden.
   • De server voert inferentie uit met het versleutelde model $M$ op de versleutelde afbeelding $x'$ en retourneert het classificatieresultaat.

B. Versleutelingsmechanisme (ViT-gebaseerd)

In tegenstelling tot traditionele op pixels gebaseerde versleuteling, maakt deze methode gebruik van de specifieke verwerkingsaard van ViT:

• Patch-indeling: De invoerafbeelding wordt verdeeld in niet-overlappende blokken van formaat $M \times M$, overeenkomend met de ViT-patchgrootte ($P=16$).
• Tweestapsversleuteling:
  1. Pixel-shuffling: Pixels binnen elk blok worden gepermuteerd met behulp van een pseudowillekeurige reeks gegenereerd door de sleutel.
  2. Blok-scrambling: De blokken zelf worden ruimtelijk gepermuteerd (geschud) over de afbeelding.
• Theoretisch Voordeel: Aangezien ViT afbeeldingen verwerkt als een reeks patches en gebruikmaakt van een zelf-attentie-mechanisme dat grotendeels onafhankelijk is van de absolute ruimtelijke rangschikking van deze patches, kan het model kenmerken extraheren uit de gescrambelde afbeelding $x'$ zonder decryptie nodig te hebben. Dit behoudt de semantische informatie die vereist is voor classificatie.

3. Belangrijkste Bijdragen

• Nieuwe Toepassing van ViT voor Privacy: Het artikel is het eerste dat aantoont dat ViT-architecturen hoge classificatienauwkeurigheid kunnen behouden op versleutelde afbeeldingen, waardoor de nauwkeurigheidsdaling die wordt gezien in op CNN gebaseerde privacy-schema's wordt overwonnen.
• End-to-End Privacybehoudende HVAC-Regeling: Het biedt een praktisch kader voor het schatten van kledingisolatie (een cruciale PMV-parameter) zonder ruwe bewonersafbeeldingen bloot te stellen aan cloudproviders.
• Geen Nauwkeurigheidsdegradatie: Het voorgestelde schema bereikt identieke nauwkeurigheid op versleutelde afbeeldingen als op gewone (ongesleutelde) afbeeldingen, waardoor de afweging tussen privacy en bruikbaarheid voor deze specifieke taak effectief wordt geëlimineerd.

4. Experimentele Resultaten

De auteurs evalueerden de methode met behulp van het DeepFashion-dataset (26.887 afbeeldingen), gecategoriseerd in vier isolatieniveaus: Mouwloos, Korte-mouwen overhemd, Lange-mouwen overhemd en Bovenkleding.

• Baseline Vergelijking: Ze vergeleken het voorgestelde ViT-gebaseerde schema met een conventionele Op pixels gebaseerde versleuteling methode toegepast op een ResNet-18-model.
• Prestatiemetrics:
  • Conventionele Methode (ResNet-18 + Pixelversleuteling): Lijdt onder een significante nauwkeurigheidsdaling van 93,51% (gewoon) naar 83,34% (versleuteld). De daling was ernstig voor complexe categorieën zoals Lange-mouwen overhemd (dalend naar 67,40%) en Bovenkleding (65,64%).
  • Voorgestelde Methode (ViT-S/16 + ViT-gebaseerde Versleuteling): Behield een algehele nauwkeurigheid van 95,65% op versleutelde afbeeldingen, wat 0% degradatie toont ten opzichte van de baseline voor gewone afbeeldingen (95,65%).
  • Categorieconsistentie: Het ViT-gebaseerde schema presteerde beter dan de conventionele methode in alle vier de kledingcategorieën.

5. Betekenis en Impact

• Betrouwbare Thermische Comfortbeoordeling: Door hoge nauwkeurigheid op versleutelde gegevens te behouden, zorgt het systeem ervoor dat PMV-berekeningen betrouwbaar blijven, waardoor verkeerde classificatie van kledingisolatie wordt voorkomen, wat zou kunnen leiden tot inefficiënte HVAC-regeling of ongemak voor bewoners.
• Schaalbaarheid en Edge-deployatie: Het gebruikte model (ViT-S/16) heeft 22,0 miljoen parameters, waardoor het geschikt is voor implementatie op randapparaten in consumentenelektronica, wat de praktische toepasbaarheid van de oplossing verder versterkt.
• Paradigmaverschuiving: Dit werk suggereert een verschuiving in privacybehoudende computer visie, weg van CNN's (die moeite hebben met versleutelde ruimtelijke gegevens) naar Transformer-architecturen die van nature robuuster zijn tegen de ruimtelijke permutaties die door versleuteling worden geïntroduceerd.

Concluderend demonstreert het artikel succesvol dat Vision Transformers een levensvatbare oplossing bieden voor privacybehoudende afbeeldingsclassificatie in slimme gebouwtoepassingen, waarmee het langdurige probleem van nauwkeurigheidsverlies in versleutelde domeinen wordt opgelost.