Privacy-Preserving Clothing Classification using Vision Transformer for Thermal Comfort Estimation

1. Declaração do Problema

O artigo aborda um conflito crítico nos sistemas modernos de gestão de edifícios: a necessidade de Controle Centrado no Ocupante (OCC) para otimizar o conforto térmico versus o imperativo da privacidade do usuário.

• Contexto: Sistemas de HVAC (Aquecimento, Ventilação e Ar Condicionado) utilizam cada vez mais imagens de câmeras e aprendizado profundo para estimar o conforto térmico dos ocupantes, frequentemente dependendo do índice de Voto Médio Previsto (PMV).
• Parâmetro Chave: O isolamento térmico do vestuário (valor clo) é uma entrada vital para os cálculos do PMV.
• O Desafio:
  • Transmitir imagens brutas contendo Informações Pessoalmente Identificáveis (PII) para servidores em nuvem não confiáveis para processamento levanta preocupações significativas de privacidade.
  • Métodos existentes de preservação de privacidade, que tipicamente criptografam imagens antes de enviá-las a um modelo (por exemplo, usando Redes Neurais Convolucionais ou CNNs), sofrem de degradação severa de precisão. Isso ocorre porque a criptografia baseada em pixels interrompe as correlações espaciais das quais as CNNs dependem para a extração de características.

2. Metodologia

Os autores propõem um esquema inovador que aproveita a arquitetura Vision Transformer (ViT) combinada com uma técnica específica de criptografia de imagem baseada em chave.

A. Arquitetura do Sistema

O fluxo de trabalho envolve duas partes: um Desenvolvedor do Modelo e um Usuário.

1. Desenvolvimento do Modelo:
   • Um modelo ViT pré-treinado (especificamente ViT-S/16) é ajustado finamente em um conjunto de dados de vestuário.
   • Os parâmetros do modelo são criptografados usando uma chave secreta $K$ para criar um modelo criptografado $M$.
   • $M$ é carregado em um servidor em nuvem.
2. Inferência do Usuário:
   • O usuário criptografa sua imagem de entrada $x$ usando a chave secreta compartilhada $K$ para gerar uma imagem criptografada $x'$.
   • $x'$ é transmitida para o servidor em nuvem.
   • O servidor realiza a inferência usando o modelo criptografado $M$ na imagem criptografada $x'$ e retorna o resultado da classificação.

B. Mecanismo de Criptografia (Baseado em ViT)

Diferentemente da criptografia tradicional baseada em pixels, este método explora a natureza específica de processamento do ViT:

• Divisão em Blocos (Patches): A imagem de entrada é dividida em blocos não sobrepostos de tamanho $M \times M$, correspondendo ao tamanho do patch do ViT ($P=16$).
• Criptografia em Duas Etapas:
  1. Embaralhamento de Pixels: Os pixels dentro de cada bloco são permutados usando uma sequência pseudoaleatória gerada pela chave.
  2. Embaralhamento de Blocos: Os próprios blocos são permutados espacialmente (embaralhados) através da imagem.
• Vantagem Teórica: Como o ViT processa imagens como uma sequência de patches e utiliza um mecanismo de autoatenção que é amplamente independente da disposição espacial absoluta desses patches, o modelo pode extrair características da imagem embaralhada $x'$ sem necessidade de descriptografia. Isso preserva a informação semântica necessária para a classificação.

3. Contribuições Principais

• Aplicação Inovadora de ViT para Privacidade: O artigo é o primeiro a demonstrar que arquiteturas ViT podem manter alta precisão de classificação em imagens criptografadas, superando a queda de precisão observada em esquemas de privacidade baseados em CNNs.
• Controle de HVAC com Preservação de Privacidade de Ponta a Ponta: Fornece um framework prático para estimar o isolamento térmico do vestuário (um parâmetro crítico do PMV) sem expor imagens brutas de ocupantes aos provedores de nuvem.
• Degradação Zero de Precisão: O esquema proposto alcança precisão idêntica em imagens criptografadas àquela em imagens simples (não criptografadas), eliminando efetivamente o trade-off entre privacidade e utilidade para esta tarefa específica.

4. Resultados Experimentais

Os autores avaliaram o método usando o conjunto de dados DeepFashion (26.887 imagens), categorizado em quatro níveis de isolamento: Sem Mangas, Camisa de Manga Curta, Camisa de Manga Longa e Roupa de Fora.

• Comparação com Linha de Base: Eles compararam o esquema proposto baseado em ViT contra um método convencional de criptografia baseada em pixels aplicado a um modelo ResNet-18.
• Métricas de Desempenho:
  • Método Convencional (ResNet-18 + Criptografia de Pixels): Sofreu uma queda significativa de precisão de 93,51% (simples) para 83,34% (criptografada). A queda foi severa para categorias complexas como Camisa de Manga Longa (caindo para 67,40%) e Roupa de Fora (65,64%).
  • Método Proposto (ViT-S/16 + Criptografia Baseada em ViT): Mantive uma precisão geral de 95,65% em imagens criptografadas, mostrando 0% de degradação em comparação com a linha de base de imagem simples (95,65%).
  • Consistência por Categoria: O esquema baseado em ViT superou o método convencional em todas as quatro categorias de vestuário.

5. Significado e Impacto

• Avaliação Confiável de Conforto Térmico: Ao manter alta precisão em dados criptografados, o sistema garante que os cálculos de PMV permaneçam confiáveis, prevenindo a má classificação do isolamento térmico do vestuário, o que poderia levar a um controle de HVAC ineficiente ou desconforto do ocupante.
• Escalabilidade e Implantação na Borda: O modelo utilizado (ViT-S/16) possui 22,0 milhões de parâmetros, tornando-o adequado para implementação em dispositivos de borda em eletrônicos de consumo, aumentando ainda mais a praticidade da solução.
• Mudança de Paradigma: Este trabalho sugere uma mudança na visão computacional com preservação de privacidade, afastando-se das CNNs (que lutam com dados espaciais criptografados) em direção a arquiteturas baseadas em Transformer que são inerentemente mais robustas às permutações espaciais introduzidas pela criptografia.

Em conclusão, o artigo demonstra com sucesso que os Vision Transformers oferecem uma solução viável para classificação de imagens com preservação de privacidade em aplicações de edifícios inteligentes, resolvendo o problema de longa data da perda de precisão em domínios criptografados.