Riepilogo Tecnico: Sarus – Fusione della Percezione Multi-Vendor Preservante la Privacy tramite Crittografia Omomorfica

1. Definizione del Problema

La percezione cooperativa consente ai veicoli autonomi (AV) e alle infrastrutture di aggregare gli output di rilevamento da più agenti, migliorando la consapevolezza situazionale, la robustezza contro l'occlusione e la portata di rilevamento. Tuttavia, nelle implementazioni multi-vendor, la condivisione degli output di rilevamento in chiaro (ad esempio, bounding box, punteggi di confidenza) al momento dell'inferenza crea significativi rischi per la privacy e la sicurezza:

• Estrazione del Modello: Gli avversari possono inferire i confini decisionali proprietari dei modelli o ricostruire modelli surrogati osservando i punteggi di confidenza e i pattern di risposta.
• Leakage dei Dati: Gli output di rilevamento rivelano informazioni ambientali sensibili, inclusa la presenza e il comportamento di individui o oggetti.
• Leakage da Canale Laterale: Dati ausiliari come la temporizzazione, la sparsità dell'output e i pattern di rilevamento possono rivelare informazioni sulla complessità della scena o sulle caratteristiche dei sensori.
• Inferenza Cross-Vendor: I competitor possono analizzare i punti di forza e di debolezza relativi di diversi modelli confrontando gli output sulla stessa scena.

Le soluzioni esistenti spesso si affidano alla condivisione in chiaro o si concentrano sulla privacy durante l'addestramento (ad esempio, il Federated Learning), il che è inadatto alla collaborazione al momento dell'inferenza, dove gli output a livello di istanza devono essere aggregati. Manca un framework scalabile che consenta l'aggregazione sicura di output di percezione strutturati senza rivelare informazioni specifiche del vendor.

2. Metodologia: Il Framework Sarus

Sarus affronta queste sfide trasformando gli output di rilevamento in rappresentazioni statistiche compatte e criptate che possono essere aggregate direttamente nel dominio criptato utilizzando la Crittografia Omomorfica (HE).

2.1 Concetto Core: Gaussian Splatting e Moment Encoding

Invece di condividere bounding box discreti (che richiedono operazioni non lineari come la Non-Maximum Suppression), Sarus converte ogni rilevamento in uno splat Gaussiano.

• Rappresentazione: Un bounding box $b = [x_1, y_1, x_2, y_2]$ è modellato come una distribuzione Gaussiana spaziale $N((\mu_x, \mu_y), \text{diag}(\sigma_x^2, \sigma_y^2))$. La media $(\mu_x, \mu_y)$ corrisponde al centro del box, e la varianza è derivata dalle dimensioni del box con un parametro di scala $\kappa$ regolabile.
• Vettori dei Momenti: Ogni rilevamento è codificato come un vettore di momenti pesato contenente statistiche sufficienti:
  $$\mathbf{m} = w \cdot [1, \mu_x, \mu_x^2, \sigma_x^2, \mu_y, \mu_y^2, \sigma_y^2]$$
  dove $w$ è un punteggio di confidenza pesato per l'affidabilità.
• Linearità: Fondamentalmente, l'aggregazione di questi vettori di momenti attraverso più rilevamenti è un'operazione lineare (sommatoria). Ciò consente al server di fusione di combinare i payload criptati senza decriptarli.

2.2 Binning Spaziale e Soft Assignment

Per garantire la scalabilità e prevenire l'interferenza di oggetti spazialmente distanti, la scena viene discretizzata in un reticolo spaziale condiviso (griglia specifica per classe).

• Soft Assignment: Un rilevamento viene distribuito a un massimo di quattro bin vicini utilizzando pesi di interpolazione bilineare basati sulla posizione del centro Gaussiano rispetto ai centri dei bin.
• Aggregazione Locale: Ogni vendor aggrega localmente i vettori di momenti in accumulatori per bin prima della crittografia. Questo riduce la dimensione del payload da $O(N)$ (dove $N$ è il numero di rilevamenti) a $O(B)$ (dove $B$ è il numero di bin occupati), poiché più rilevamenti spesso cadono nello stesso ipotetico spazio spaziale.

2.3 Workflow del Sistema

1. Lato Vendor:
   • Elaborare i dati sensoriali locali per generare rilevamenti.
   • Convertire i rilevamenti in splat Gaussiani e calcolare i vettori di momenti.
   • Aggregare i momenti nei bin spaziali (specifici per classe).
   • Criptare i vettori di momenti aggregati e le statistiche associate (massa di confidenza, conteggio) utilizzando lo schema CKKS (che supporta l'aritmetica approssimata).
   • Trasmettere il payload criptato al server di fusione.
2. Server di Fusione:
   • Raccoglie i payload criptati da tutti i vendor partecipanti.
   • Calcola l'unione delle chiavi occupate (coppie classe-bin).
   • Esegue l'addizione omomorfica sui vettori di momenti criptati per ogni chiave tra tutti i vendor.
   • Aggrega le statistiche in chiaro (massa e conteggio) per uso successivo.
   • Restituisce il payload criptato fuso.
3. Ricostruzione (Parte Autorizzata):
   • Decripta i vettori di momenti fusi.
   • Inverte i momenti per recuperare i parametri Gaussiani fusi ($\mu, \sigma$).
   • Ricostruisce i bounding box dai parametri Gaussiani.
   • Esegue la fusione per clustering: Costruisce un grafo di consistenza spaziale dove i nodi sono ipotesi a livello di bin. Gli archi collegano i bin adiacenti se soddisfano vincoli di sovrappizione geometrica (IoU) e prossimità statistica (distanza di Mahalanobis). Le componenti connesse vengono unite per produrre i rilevamenti finali fusi.

2.4 Modello di Minaccia

• Server Avversario: Onesto ma curioso (honest-but-curious); segue il protocollo ma tenta di inferire i singoli input dei vendor dai ciphertext.
• Vendor Curiosi: Mutuamente non fidati; possono vedere solo i propri input e l'output finale decriptato.
• Assunzioni: Lo schema di crittografia è semanticamente sicuro; i vendor aderiscono a un sistema di riferimento spaziale e a uno schema di payload condivisi. Gli attacchi attivi e la compromissione delle chiavi sono fuori ambito.

3. Contributi Chiave

• Fusione dei Momenti Criptata: Un framework che consente l'aggregazione della percezione multi-vendor senza rivelare i rilevamenti grezzi, sfruttando la linearità dei momenti Gaussiani.
• Meccanismo di Binning Spaziale: Una strategia che garantisce una fusione scalabile con complessità $O(B \cdot V)$, dove $B$ è il numero di bin occupati e $V$ è il numero di vendor, evitando il matching esplicito tra i vendor.
• Valutazione Completa: Un'analisi delle prestazioni che copre la generazione del payload del vendor, la fusione HE lato server e il post-processing, dimostrando una scalabilità lineare.
• Validazione Empirica: Dimostrazione sul dataset KITTI che mostra come Sarus recuperi efficacemente i rilevamenti complementari tra le modalità camera (YOLOv8) e LiDAR (PointPillars, PV-RCNN), particolarmente nei regimi dipendenti dalla distanza in cui le singole modalità degradano.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti utilizzando il dataset KITTI e una configurazione di test su un veicolo autonomo reale (pista VTTI) con velocità variabili e pioggia artificiale.

• Correttezza: Gli output della fusione omomorfica sono stati confrontati con la fusione in chiaro. L'Intersezione su Unione (IoU) tra i due ha superato mediamente lo 0,99997, con deviazioni del centro del bounding box $\le 0,5$ pixel. Ciò conferma che l'aritmetica approssimata basata su CKKS introduce errori trascurabili per i compiti di percezione.
• Complessità Computazionale:
  • Costruzione del Payload del Vendor: Scala linearmente con il numero di rilevamenti ($O(N)$) e i bin occupati ($O(B)$). La crittografia è il costo dominante.
  • Fusione Lato Server: Scala come $O(B \cdot V)$. Il server elabora i bin aggregati invece dei singoli rilevamenti.
  • Post-processing: Dominato dalla decriptazione e dalla fusione dei cluster basata su grafi, con scalabilità $O(B + \sum B_c^2)$.
• Overhead delle Prestazioni: La crittografia omomorfica introduce un overhead di fattore costante (compreso tra 300x e 1000x rispetto al plaintext) e aumenta la dimensione del payload (fattore di espansione del ciphertext $\approx 3 \times 10^3$). Tuttavia, il sistema mantiene una scalabilità lineare, rendendolo prevedibile e fattibile per il deployment in tempo reale sotto una complessità di scena limitata.
• Consapevolezza Situazionale: Sarus ha migliorato significativamente la copertura della scena, specialmente per i pedoni e a lunghe distanze ($\ge 40$m) dove le prestazioni del LiDAR degradano a causa della scarsità. Ha aggregato con successo rilevamenti complementari dalle modalità camera e LiDAR.

5. Significato e Rivendicazioni

Il paper sostiene che la fusione della percezione multi-vendor preservante la privacy è fattibile per il deployment in tempo reale quando la compressione statistica (codifica dei momenti) e la sparsità spaziale (binning) vengono sfruttate congiuntamente.

• Fattibilità: Nonostante l'overhead computazionale di HE, il comportamento di scalabilità lineare assicura che il sistema rimanga prevedibile e scalabile. Il fattore di overhead costante non preclude l'operatività in tempo reale in scenari con moderata complessità della scena.
• Privacy vs. Utilità: Sarus riesce a separare l'utilità dal leakage della privacy. Consente ai vendor di contribuire a una comprensione unificata della scena senza esporre comportamenti proprietari dei modelli o dati ambientali sensibili.
• Limitazioni: Gli autori riconoscono che l'approssimazione Gaussiana può degradare la localizzazione precisa del bounding box ad alte soglie di IoU. Il framework attualmente assume un controllo di ammissione fidato e non gestisce avversari attivi o scenari complessi di gestione delle chiavi (ad esempio, la decriptazione threshold), che sono lasciati come lavoro futuro.

In conclusione, Sarus colma il divario tra percezione cooperativa e preservazione della privacy, offrendo un percorso pratico per la collaborazione sicura tra più vendor negli ecosistemi della guida autonoma.