Privacy-Preserving Clothing Classification using Vision Transformer for Thermal Comfort Estimation

Aquí se presenta un resumen técnico detallado del artículo "Clasificación de ropa con preservación de la privacidad utilizando Vision Transformer para la estimación del confort térmico".

1. Planteamiento del Problema

El artículo aborda un conflicto crítico en los sistemas modernos de gestión de edificios: la necesidad de un Control Centrado en el Ocupante (OCC) para optimizar el confort térmico frente al imperativo de la privacidad del usuario.

• Contexto: Los sistemas de Calefacción, Ventilación y Aire Acondicionado (HVAC) utilizan cada vez más imágenes de cámaras y aprendizaje profundo para estimar el confort térmico de los ocupantes, a menudo basándose en el índice de Voto Medio Predicho (PMV).
• Parámetro Clave: El aislamiento térmico de la ropa (valor clo) es una entrada vital para los cálculos del PMV.
• El Desafío:
  • Transmitir imágenes sin procesar que contienen Información de Identificación Personal (PII) a servidores en la nube no confiables para su procesamiento plantea preocupaciones significativas sobre la privacidad.
  • Los métodos existentes de preservación de la privacidad, que típicamente cifran las imágenes antes de enviarlas a un modelo (por ejemplo, utilizando Redes Neuronales Convolucionales o CNN), sufren una degradación severa de la precisión. Esto se debe a que el cifrado basado en píxeles interrumpe las correlaciones espaciales en las que las CNN dependen para la extracción de características.

2. Metodología

Los autores proponen un esquema novedoso que aprovecha la arquitectura Vision Transformer (ViT) combinada con una técnica específica de cifrado de imágenes basado en claves.

A. Arquitectura del Sistema

El flujo de trabajo involucra a dos partes: un Desarrollador del Modelo y un Usuario.

1. Desarrollo del Modelo:
   • Un modelo ViT preentrenado (específicamente ViT-S/16) se ajusta finamente en un conjunto de datos de ropa.
   • Los parámetros del modelo se cifran utilizando una clave secreta $K$ para crear un modelo cifrado $M$.
   • $M$ se carga en un servidor en la nube.
2. Inferencia del Usuario:
   • El usuario cifra su imagen de entrada $x$ utilizando la clave secreta compartida $K$ para generar una imagen cifrada $x'$.
   • $x'$ se transmite al servidor en la nube.
   • El servidor realiza la inferencia utilizando el modelo cifrado $M$ sobre la imagen cifrada $x'$ y devuelve el resultado de la clasificación.

B. Mecanismo de Cifrado (Basado en ViT)

A diferencia del cifrado tradicional basado en píxeles, este método explota la naturaleza específica de procesamiento de ViT:

• División en Parches: La imagen de entrada se divide en bloques no superpuestos de tamaño $M \times M$, que coinciden con el tamaño del parche de ViT ($P=16$).
• Cifrado en Dos Pasos:
  1. Barajado de Píxeles: Los píxeles dentro de cada bloque se permutan utilizando una secuencia pseudoaleatoria generada por la clave.
  2. Barajado de Bloques: Los bloques en sí mismos se permutan espacialmente (se barajan) a través de la imagen.
• Ventaja Teórica: Dado que ViT procesa las imágenes como una secuencia de parches y utiliza un mecanismo de autoatención que es en gran medida independiente de la disposición espacial absoluta de estos parches, el modelo puede extraer características de la imagen barajada $x'$ sin necesidad de descifrarla. Esto preserva la información semántica requerida para la clasificación.

3. Contribuciones Clave

• Aplicación Novedosa de ViT para Privacidad: El artículo es el primero en demostrar que las arquitecturas ViT pueden mantener una alta precisión de clasificación en imágenes cifradas, superando la caída de precisión observada en los esquemas de privacidad basados en CNN.
• Control HVAC con Preservación de la Privacidad de Extremo a Extremo: Proporciona un marco práctico para estimar el aislamiento térmico de la ropa (un parámetro crítico del PMV) sin exponer imágenes sin procesar de los ocupantes a los proveedores de servicios en la nube.
• Cero Degradación de Precisión: El esquema propuesto logra una precisión idéntica en imágenes cifradas a la que obtiene en imágenes sin procesar (sin cifrar), eliminando efectivamente el compromiso entre privacidad y utilidad para esta tarea específica.

4. Resultados Experimentales

Los autores evaluaron el método utilizando el conjunto de datos DeepFashion (26.887 imágenes), categorizado en cuatro niveles de aislamiento: Sin mangas, Camisa de manga corta, Camisa de manga larga y Ropa de abrigo.

• Comparación con Línea Base: Compararon el esquema propuesto basado en ViT contra un método convencional de cifrado basado en píxeles aplicado a un modelo ResNet-18.
• Métricas de Rendimiento:
  • Método Convencional (ResNet-18 + Cifrado basado en Píxeles): Sufrió una caída significativa de precisión del 93.51% (sin cifrar) al 83.34% (cifrado). La caída fue severa para categorías complejas como Camisa de manga larga (bajando al 67.40%) y Ropa de abrigo (65.64%).
  • Método Propuesto (ViT-S/16 + Cifrado basado en ViT): Mantuvo una precisión general del 95.65% en imágenes cifradas, mostrando 0% de degradación en comparación con la línea base de imagen sin cifrar (95.65%).
  • Consistencia por Categoría: El esquema basado en ViT superó al método convencional en las cuatro categorías de ropa.

5. Significado e Impacto

• Evaluación Confiable del Confort Térmico: Al mantener una alta precisión en datos cifrados, el sistema asegura que los cálculos del PMV sigan siendo fiables, evitando la mala clasificación del aislamiento térmico de la ropa que podría conducir a un control ineficiente del HVAC o al malestar del ocupante.
• Escalabilidad e Implementación en el Borde: El modelo utilizado (ViT-S/16) tiene 22.0 millones de parámetros, lo que lo hace adecuado para su implementación en dispositivos de borde en electrónica de consumo, mejorando aún más la practicidad de la solución.
• Cambio de Paradigma: Este trabajo sugiere un cambio en la visión por computadora con preservación de la privacidad, alejándose de las CNN (que luchan con datos espaciales cifrados) hacia arquitecturas basadas en Transformers que son intrínsecamente más robustas frente a las permutaciones espaciales introducidas por el cifrado.

En conclusión, el artículo demuestra exitosamente que los Vision Transformers ofrecen una solución viable para la clasificación de imágenes con preservación de la privacidad en aplicaciones de edificios inteligentes, resolviendo el problema de larga data de la pérdida de precisión en dominios cifrados.