💻 computer science

Privacy-Preserving Object Detection for Vision Transformer-Based Models

Questo articolo introduce un nuovo metodo di rilevamento degli oggetti che preserva la privacy per i modelli basati su Vision Transformer, il quale utilizza la cifratura percettiva e l'adattamento del dominio con chiavi per proteggere le informazioni visive sensibili mantenendo al contempo un'accuratezza paragonabile ai modelli non protetti.

Autori originali: Homare Sueyoshi, Kiyoshi Nishikawa, Hitoshi Kiya

Pubblicato 2026-08-24

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Homare Sueyoshi, Kiyoshi Nishikawa, Hitoshi Kiya

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Nel mondo moderno, i computer hanno imparato a vedere. Possono scansionare una fotografia e identificare istantaneamente un cane, un'auto o una persona, una capacità che alimenta tutto, dalle auto a guida autonoma ai sistemi di sicurezza. Questa abilità si basa su un tipo di intelligenza artificiale chiamato Vision Transformer, che scompone un'immagine in piccoli pezzi e analizza come si incastrano tra loro per comprendere l'intera scena. Tuttavia, questo potere comporta un rischio. Per utilizzare questi sistemi, le persone devono spesso inviare le proprie foto private a un server remoto nel cloud. Se quel server venisse compromesso, o se le persone che lo gestiscono fossero inaffidabili, le informazioni visive sensibili potrebbero essere esposte. La sfida per gli scienziati è trovare un modo per lasciare che il computer veda abbastanza da svolgere il suo compito senza mai rivelare l'immagine reale a nessuno se non al proprietario.

Un team di ricercatori della Tokyo Metropolitan University ha affrontato questo problema creando un nuovo metodo per proteggere le immagini durante la loro analisi per il rilevamento degli oggetti. Il loro lavoro si concentra su un tipo specifico di modello di intelligenza artificiale che è particolarmente bravo a individuare le cose nelle immagini. Invece di cercare di nascondere l'immagine con una crittografia complessa e lenta che confonderebbe il computer, hanno ideato un trucco ingegnoso riguardante il modo in cui il computer elabora l'immagine. Prendono la foto originale e ne rimescolano i dettagli visivi usando una chiave segreta, trasformandola in un ammasso confuso e irriconoscibile all'occhio umano. Allo stesso tempo, applicano uno rimescolamento corrispondente alle istruzioni interne del computer. Quando queste due versioni rimescolate si incontrano, il computer può ancora svolgere il suo compito con alta precisione, ma il server che ospita i dati vede solo rumore.

I ricercatori hanno testato questa idea utilizzando un modello potente noto come ViTdet, progettato per trovare e localizzare oggetti all'interno di un'immagine. In una configurazione standard, se si invia un'immagine rimescolata a un computer che non è stato adattato per essa, il sistema fallisce completamente. Nei loro esperimenti, quando i ricercatori hanno crittografato le foto ma hanno lasciato invariato il modello informatico, la capacità del sistema di rilevare oggetti è scesa quasi a zero. Il computer semplicemente non riusciva a dare un senso ai dati rimescolati. Ciò ha dimostrato che nascondere semplicemente l'immagine non era sufficiente; anche lo strumento utilizzato per leggere l'immagine doveva essere cambiato per adattarsi.

Per risolvere questo problema, il team ha creato un sistema in cui il modello stesso viene crittografato prima ancora di essere inviato al cloud. Hanno generato un modello casuale, come un codice di rimescolamento unico, e lo hanno usato per riorganizzare il modo in cui il computer comprende i piccoli pezzi di un'immagine. Hanno poi applicato lo stesso identico schema di rimescolamento alle foto prima di inviarle per l'analisi. Poiché lo rimescolamento era stato eseguito in un modo matematico specifico, i due elementi rimescolati si annullavano a vicenda all'interno del cervello del computer. Il computer elaborava i dati come se stesse guardando la foto originale e nitida, anche se non ne vedeva mai una davvero.

I risultati dei loro test sono stati sorprendenti. Quando hanno utilizzato questo metodo di doppia crittografia su una vasta collezione di immagini contenenti ottanta diverse categorie di oggetti, il sistema è stato performante quasi quanto se non fosse stata utilizzata alcuna crittografia. In un test utilizzando un dataset standard, il sistema ha identificato correttamente gli oggetti con un punteggio di accuratezza di 50,118, che è molto vicino al punteggio di 51,412 ottenuto utilizzando immagini non crittografate. Anche quando hanno testato il sistema su un insieme molto più grande e complesso di oltre mille categorie di oggetti, le prestazioni sono rimaste elevate, con il metodo crittografato che raggiungeva punteggi solo leggermente inferiori rispetto alla linea di base non crittografata. Fondamentalmente, il server che eseguiva l'analisi non vedeva mai l'immagine originale, né possedeva la chiave segreta necessaria per decriptarla.

Questo approccio offre un passo significativo avanti per la privacy. Dimostra che è possibile esternalizzare compiti visivi sensibili al cloud senza sacrificare l'accuratezza o la sicurezza. I ricercatori hanno scoperto che il metodo funziona efficacemente attraverso diverse dimensioni degli oggetti, dai piccoli dettagli alle grandi scene, e regge anche quando le immagini vengono compresse o ridimensionate. Garantendo che la logica interna del computer e i dati in ingresso siano bloccati insieme con una chiave segreta, hanno creato un sistema in cui il cloud può fare il ragionamento senza mai sapere di cosa stia ragionando. Ciò significa che in futuro gli utenti potrebbero potenzialmente condividere le loro foto private per l'analisi con la fiducia che il contenuto visivo rimanga nascosto, protetto da uno scudo matematico che solo l'utente e il suo specifico modello possono sbloccare.

Sintesi Tecnica: Rilevamento di Oggetti Preservante la Privacy per Modelli Basati su Vision Transformer

Problema

Sebbene i Vision Transformer (ViT) abbiano ottenuto un successo significativo nell'apprendimento preservante la privacy, nel controllo degli accessi e nella protezione dei modelli, la ricerca esistente che utilizza la crittografia percettiva è stata ampiamente limitata ai compiti di classificazione delle immagini. Esiste una lacuna significativa nell'applicazione di queste tecniche di preservazione della privacy al rilevamento di oggetti (object detection), un compito più complesso che richiede non solo la classificazione ma anche la localizzazione. Inoltre, i metodi di crittografia standard applicati direttamente alle immagini di input tipicamente degradano le prestazioni di rilevamento a livelli prossimi allo zero quando il modello stesso rimane non crittografato, poiché la crittografia interrompe il processo di estrazione delle caratteristiche.

Metodologia

Il documento propone un nuovo framework di rilevamento di oggetti che integra la crittografia percettiva con la struttura di embedding dei Vision Transformer (ViT). Il metodo è progettato per proteggere le informazioni visive sensibili nelle immagini di test mantenendo un'accuratezza di rilevamento comparabile ai modelli non crittografati.

Framework Core

Il sistema proposto opera su un'architettura client-server che coinvolge un creatore del modello, un utente e un server cloud:

Generazione della Chiave: Un creatore del modello genera una matrice di permutazione casuale ( $E_{enc}$ ) utilizzando una chiave segreta ( $k$ ).
Crittografia del Modello: La matrice di embedding dei patch ( $E$ ) di un modello di rilevamento di oggetti basato su ViT pre-addestrato (specificamente ViTdet) viene crittografata usando $E_{enc}$ per creare un modello crittografato ( $\hat{E} = E_{enc}E$ ). Il modello crittografato viene caricato sul server cloud.
Crittografia dell'Immagine: L'utente crittografa la propria immagine di test utilizzando la stessa $E_{enc}$ . L'immagine viene divisa in blocchi non sovrapposti ( $p \times p$ ), appiattita in vettori e trasformata tramite la matrice di permutazione ( $\hat{b}_i = b_i E_{enc}^T$ ).
Inferenza: L'immagine crittografata viene inviata al server cloud, che esegue l'inferenza utilizzando il modello crittografato. Il server non accede mai all'immagine in chiaro o alla chiave segreta.

Meccanismo Teorico

Il metodo si basa sulle proprietà matematiche dell'architettura ViT e delle matrici ortogonali:

Ortogonalità: La matrice di permutazione casuale $E_{enc}$ è ortogonale, soddisfacendo $E_{enc}^T = E_{enc}^{-1}$ .
Effetto di Cancellazione: Nell'elay di embedding del ViT, il patch di input $x_p$ $x_{p}$ è proiettato dalla matrice di embedding $E$ $E$ . Nel metodo proposto, il patch crittografato $\hat{x}_p$ $\overset{x}{^}_{p}$ è proiettato dalla matrice crittografata $\hat{E}$ $\hat{E}$ .
- La proiezione diventa: $\hat{x}_p \hat{E} = (x_p E_{enc}^T) (E_{enc} E) = x_p (E_{enc}^T E_{enc}) E = x_p E$ .
Risultato: La crittografia applicata all'immagine e la crittografia applicata al modello si annullano a vicenda nel livello di embedding. Di conseguenza, la sequenza di input fornita al Transformer Encoder ( $\hat{z}_0$ ) è matematicamente identica alla sequenza nello scenario non crittografato ( $z_0$ ), garantendo che la logica di rilevamento rimanga invariata.

Contributi Chiave

Prima Applicazione al Rilevamento di Oggetti: Questo lavoro presenta il primo metodo per utilizzare la crittografia percettiva specificamente per compiti di rilevamento di oggetti, espandendo l'ambito oltre la classificazione delle immagini.
Architettura Basata su ViT: Il metodo sfrutta la specifica struttura di embedding dei modelli ViT (ViTdet), utilizzando un backbone ViT semplice con Window Attention e una piramide di caratteristiche semplificata.
Adattamento del Dominio con Chiavi: Lo studio adatta con successo le tecniche di adattamento del dominio che coinvolgono chiavi segrete, precedentemente utilizzate per la classificazione, al dominio più complesso del rilevamento di oggetti.
Strategia di Doppia Crittografia: Il documento dimostra che crittografare sia il livello di embedding del modello che l'immagine di input è necessario per preservare l'accuratezza, poiché crittografare solo l'immagine risulta in una perdita catastrofica delle prestazioni.

Risultati Sperimentali

Il metodo è stato valutato utilizzando modelli ViTdet con tre diversi backbone (ViT-B, ViT-L e ViT-H) sui dataset COCO e LVIS.

Preservazione dell'Accuratezza: Il metodo proposto ha ottenuto un'accuratezza di rilevamento (Average Precision, AP) quasi identica al baseline non crittografato.
- Su COCO, il backbone ViT-H ha ottenuto un AP di 55.843 (Proposto) rispetto a 56.594 (Baseline).
- Su LVIS (che presenta 1.203 categorie), il backbone ViT-H ha ottenuto un AP di 47.811 (Proposto) rispetto a 49.123 (Baseline).
Fallimento della Crittografia Parziale: Quando solo le immagini venivano crittografate senza crittografare il modello, l'accuratezza è scesa quasi a zero (ad esempio, ViT-H su COCO è sceso da 56.594 a 0.406 AP), confermando la necessità dell'approccio a doppia crittografia.
Protezione Visiva: Le immagini crittografate apparivano come blocchi rimescolati, nascondendo efficacemente le informazioni visive sensibili al server cloud, mentre il modello rilevava correttamente gli oggetti.
Piccole Discrepanze: Gli autori notano che la leggera riduzione dell'accuratezza rispetto al baseline (ad esempio, un calo di ~1-2%) è attribuita all'influenza della compressione JPEG inerente al dataset COCO, piuttosto che al metodo di crifografia stesso.

Significato e Rivendicazioni

Il documento sostiene che, sfruttando la struttura di embedding dei Vision Transformer, è possibile ottenere un rilevamento di oggetti preservante la privacy senza compromettere le prestazioni di rilevamento. La significatività risiede nel:

Permettere il deployment di modelli di rilevamento di oggetti su server cloud non fidati dove la privacy dei dati visivi è fondamentale.
Dimostrare che la cancellazione teorica degli effetti di crittografia nel livello di embedding si verifica nella pratica anche per compiti di rilevamento complessi.
Fornire un framework pratico in cui il server cloud può eseguire l'inferenza su dati crittografati senza mai possedere la chiave di decrittazione o l'immagine originale.

Gli autori concludono che il metodo protegge efficacemente le informazioni visive mantenendo un'alta accuratezza di rilevamento, validando la fattibilità del rilevamento di oggetti preservante la privacy utilizzando architetture basate su ViT.