💻 computer science

Privacy-Preserving Object Detection for Vision Transformer-Based Models

Este artículo presenta un nuevo método de detección de objetos que preserva la privacidad para modelos basados en Vision Transformer, el cual utiliza el cifrado perceptual y la adaptación de dominio con claves para proteger la información visual sensible manteniendo una precisión comparable a la de los modelos no protegidos.

Autores originales: Homare Sueyoshi, Kiyoshi Nishikawa, Hitoshi Kiya

Publicado 2026-08-24

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Homare Sueyoshi, Kiyoshi Nishikawa, Hitoshi Kiya

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo moderno, las computadoras han aprendido a ver. Pueden escanear una fotografía e identificar instantáneamente un perro, un coche o una persona, una capacidad que impulsa todo, desde coches autónomos hasta sistemas de seguridad. Esta habilidad se basa en un tipo de inteligencia artificial llamado Vision Transformer, que divide una imagen en piezas pequeñas y analiza cómo encajan para comprender la escena completa. Sin embargo, este poder conlleva un riesgo. Para utilizar estos sistemas, las personas a menudo tienen que enviar sus fotos privadas a un servidor remoto en la nube. Si ese servidor se ve comprometido, o si las personas que lo gestionan no son dignas de confianza, la información visual sensible podría quedar expuesta. El desafío para los científicos es encontrar una forma de permitir que la computadora vea lo suficiente para hacer su trabajo sin revelar nunca la imagen real a nadie más que al propietario.

Un equipo de investigadores de la Universidad Metropolitana de Tokio ha abordado este problema creando un nuevo método para proteger las imágenes mientras son analizadas para la detección de objetos. Su trabajo se centra en un tipo específico de modelo de inteligencia artificial que es particularmente bueno detectando cosas en las imágenes. En lugar de intentar ocultar la imagen con un cifrado complejo y lento que confundiría a la computadora, idearon un truco ingenioso relacionado con la forma en que la computadora procesa la imagen. Toman la foto original y desordenan sus detalles visuales usando una clave secreta, convirtiéndola en un caos revuelto e irreconocible para el ojo humano. Al mismo tiempo, aplican un desorden correspondiente a las propias instrucciones internas de la computadora. Cuando estas dos versiones desordenadas se encuentran, la computadora aún puede realizar su tarea con alta precisión, pero el servidor que contiene los datos solo ve ruido.

Los investigadores probaron esta idea utilizando un modelo potente conocido como ViTdet, que está diseñado para encontrar y localizar objetos dentro de una imagen. En una configuración estándar, si envías una imagen desordenada a una computadora que no ha sido ajustada para ello, el sistema falla por completo. En sus experimentos, cuando los investigadores cifraron las fotos pero dejaron el modelo de la computadora sin cambios, la capacidad del sistema para detectar objetos cayó a casi cero. La computadora simplemente no pudo dar sentido a los datos desordenados. Esto demostró que simplemente ocultar la imagen no era suficiente; la herramienta utilizada para leer la imagen tenía que ser cambiada para que coincidiera.

Para resolver esto, el equipo creó un sistema donde el propio modelo es cifrado antes de ser enviado a la nube. Generaron un patrón aleatorio, como un código de barajado único, y lo usaron para reorganizar la forma en que la computadora entiende las pequeñas piezas de una imagen. Luego aplicaron el mismo patrón de barajado a las fotos antes de que fueran enviadas para su análisis. Debido a que el barajado se realizó de una manera matemática específica, los dos elementos desordenados se cancelaron entre sí dentro del cerebro de la computadora. La computadora procesó los datos como si estuviera mirando la foto original y clara, a pesar de que nunca vio una realmente.

Los resultados de sus pruebas fueron impactantes. Cuando utilizaron este método de cifrado dual en una gran colección de imágenes que contenían ochenta categorías diferentes de objetos, el sistema funcionó casi tan bien como si no se hubiera utilizado ningún cifrado. En una prueba utilizando un conjunto de datos estándar, el sistema identificó correctamente los objetos con una puntuación de precisión de 50.118, que es muy cercana a la puntuación de 51.412 lograda al usar imágenes no cifradas. Incluso cuando probaron el sistema en un conjunto mucho más grande y complejo de más de mil categorías de objetos, el rendimiento se mantuvo alto, con el método cifrado logrando puntuaciones solo ligeramente inferiores a la línea base no cifrada. Crucialmente, el servidor que ejecutaba el análisis nunca vio la imagen original, ni poseía la clave secreta necesaria para desenredarla.

Este enfoque ofrece un paso significativo hacia la privacidad. Demuestra que es posible delegar tareas visuales sensibles a la nube sin sacrificar la precisión o la seguridad. Los investigadores descubrieron que el método funciona eficazmente en diferentes tamaños de objetos, desde detalles pequeños hasta escenas grandes, y se mantiene incluso cuando las imágenes son comprimidas o redimensionadas. Al asegurar que la lógica interna de la computadora y los datos de entrada estén bloqueados juntos con una clave secreta, han creado un sistema donde la nube puede hacer el pensamiento sin saber jamás en qué está pensando. Esto significa que, en el futuro, los usuarios podrían potencialmente compartir sus fotos privadas para su análisis con la confianza de que el contenido visual permanece oculto, protegido por un escudo matemático que solo el usuario y su modelo específico pueden desbloquear.

Resumen Técnico: Detección de Objetos con Preservación de la Privacidad para Modelos Basados en Vision Transformers

Planteamiento del Problema

Si bien los Vision Transformers (ViT) han logrado un éxito significativo en el aprendizaje con preservación de la privacidad, el control de acceso y la protección de modelos, la investigación existente que utiliza el cifrado perceptual se ha limitado en gran medida a las tareas de clasificación de imágenes. Existe una brecha notable en la aplicación de estas técnicas de preservación de la privacidad a la detección de objetos, una tarea más compleja que requiere no solo clasificación, sino también localización. Además, los métodos de cifrado estándar aplicados directamente a las imágenes de entrada suelen degradar el rendimiento de la detección a niveles cercanos a cero cuando el modelo mismo permanece sin cifrar, ya que el cifrado interrumpe el proceso de extracción de características.

Metodología

El artículo propone un nuevo marco de detección de objetos que integra el cifrado perceptual con la estructura de incrustación (embedding) de los Vision Transformers (ViT). El método está diseñado para proteger la información visual sensible en las imágenes de prueba manteniendo una precisión de detección comparable a la de los modelos no cifrados.

Marco Central

El sistema propuesto opera bajo una arquitectura cliente-servidor que involucra a un creador de modelos, un usuario y un servidor en la nube:

Generación de Claves: Un creador de modelos genera una matriz de permutación aleatoria ( $E_{enc}$ ) utilizando una clave secreta ( $k$ ).
Cifrado del Modelo: La matriz de incrustación de parches ( $E$ ) de un modelo de detección de objetos basado en ViT (específicamente ViTdet) se cifra utilizando $E_{enc}$ para crear un modelo cifrado ( $\hat{E} = E_{enc}E$ ). El modelo cifrado se carga en el servidor en la nube.
Cifrado de la Imagen: El usuario cifra su imagen de prueba utilizando la misma $E_{enc}$ . La imagen se divide en bloques no superpuestos ( $p \times p$ ), se aplana en vectores y se transforma mediante la matriz de permutación ( $\hat{b}_i = b_i E_{enc}^T$ ).
Inferencia: La imagen cifrada se envía al servidor en la nube, el cual realiza la inferencia utilizando el modelo cifrado. El servidor nunca accede a la imagen original ni a la clave secreta.

Mecanismo Teórico

El método se basa en las propiedades matemáticas de la arquitectura ViT y las matrices ortogonales:

Ortogonalidad: La matriz de permutación aleatoria $E_{enc}$ es ortogonal, cumpliendo que $E_{enc}^T = E_{enc}^{-1}$ .
Efecto de Cancelación: En la capa de incrustación de un ViT, el parche de entrada $x_p$ $x_{p}$ es proyectado por la matriz de incrustación $E$ $E$ . En el método propuesto, el parche cifrado $\hat{x}_p$ $\overset{x}{^}_{p}$ es proyectado por la matriz cifrada $\hat{E}$ $\hat{E}$ .
- La proyección se convierte en: $\hat{x}_p \hat{E} = (x_p E_{enc}^T) (E_{enc} E) = x_p (E_{enc}^T E_{enc}) E = x_p E$ .
Resultado: El cifrado aplicado a la imagen y el cifrado aplicado al modelo se cancelan entre sí en la capa de incrustación. En consecuencia, la secuencia de entrada alimentada al codificador Transformer ( $\hat{z}_0$ ) es matemáticamente idéntica a la secuencia en el escenario no cifrado ( $z_0$ ), lo que garantiza que la lógica de detección no se vea afectada.

Contribuciones Clave

Primera Aplicación a la Detección de Objetos: Este trabajo presenta el primer método para utilizar el cifrado perceptual específicamente para tareas de detección de objetos, expandiendo el alcance más allá de la clasificación de imágenes.
Arquitectura Basada en ViT: El método aprovecha la estructura de incrustación específica de los modelos basados en ViT (ViTdet), utilizando un backbone de ViT plano con Atención de Ventana (Window Attention) y una pirámide de características simple.
Adaptación de Dominio con Claves: El estudio adapta con éxito las técnicas de adaptación de dominio que involucran claves secretas, utilizadas previamente para la clasificación, al dominio más complejo de la detección de objetos.
Estrategia de Cifrado Dual: El artículo demuestra que cifrar tanto el modelo como la capa de incjesión de la imagen es necesario para preservar la precisión, ya que cifrar solo la imagen resulta en una pérdida catastrófica de rendimiento.

Resultados Experimentales

El método fue evaluado utilizando modelos ViTdet con tres backbones diferentes (ViT-B, ViT-L y ViT-H) en los conjuntos de datos COCO y LVIS.

Preservación de la Precisión: El método propuesto logró una precisión de detección (Average Precision, AP) casi idéntica a la línea base no cifrada.
- En COCO, el backbone ViT-H logró un AP de 55.843 (Propuesto) frente a 56.594 (Línea Base).
- En LVIS (que cuenta con 1,203 categorías), el backbone ViT-H logró un AP de 47.811 (Propuesto) frente a 49.123 (Línea Base).
Fallo del Cifrado Parcial: Cuando solo se cifraron las imágenes sin cifrar el modelo, la precisión cayó a casi cero (por ejemplo, ViT-H en COCO cayó de 56.594 a 0.406 AP), confirmando la necesidad del enfoque de cifrado dual.
Protección Visual: Las imágenes cifradas aparecieron como bloques desordenados, ocultando eficazmente la información visual sensible del servidor en la nube, mientras que el modelo detectó los objetos con éxito.
Discrepancias Menores: Los autores señalan que la ligera reducción en la precisión respecto a la línea base (por ejemplo, una caída de ~1-2%) se atribuye a la influencia de la compresión JPEG inherente al conjunto de datos COCO, más que al método de cifrado en sí.

Significado y Reivindicaciones

El artículo afirma que, al explotar la estructura de incrustación de los Vision Transformers, es posible lograr una detección de objetos con preservación de la privacidad sin comprometer el rendimiento de la detección. El significado radica en:

Permitir el despliegue de modelos de detección de objetos en servidores en la nube no confiables donde la privacidad de los datos visuales es primordial.
Demostrar que la cancelación teórica de los efectos de cifrado en la capa de incrustación se sostiene en la práctica para tareas de detección complejas.
Proporcionar un marco práctico donde el servidor en la nube puede realizar la inferencia sobre datos cifrados sin poseer nunca la clave de descifrado ni la imagen original.

Los autores concluyen que el método protege eficazmente la información visual mientras mantiene una alta precisión de detección, validando la viabilidad de la detección de objetos con preservación de la privacidad utilizando arquitecturas basadas en ViT.