Technische Samenvatting: Sarus – Privacy-Preserving Multi-Vendor Perceptie-fusie via Homomorfe Encryptie

1. Probleemstelling

Coöperatieve perceptie stelt autonome voertuigen (AV's) en infrastructuur in staat om detectieresultaten van meerdere agenten te aggregeren, wat het situationeel bewustzijn, de robuustheid tegen occlusie en het detectiebereik verbetert. Echter, in scenario's met meerdere leveranciers (multi-vendor) creëert het delen van ruwe detectieresultaten (bijv. bounding boxes, betrouwbaarheidsscores) tijdens de inferentie fase aanzienlijke privacy- en beveiligingsrisico's:

• Modelextractie: Aanvallers kunnen propriëtaire modelbeslissingsgrenzen afleiden of surrogaatmodellen reconstrueren door het observeren van betrouwbaarheidsscores en reactiepatronen.
• Datalekken: Detectieresultaten onthullen gevoelige omgevingsinformatie, inclusief de aanwezigheid en het gedrag van individuen of objecten.
• Zijkanaal-lekken (Side-Channel Leakage): Hulpparameters zoals timing, output-ijver (sparsity) en detectiepatronen kunnen informatie lekken over de complexiteit van de scène of sensorkarakteristieken.
• Cross-Vendor Inferentie: Concurrenten kunnen de relatieve sterktes en zwaktes van verschillende modellen analyseren door de outputs op dezelfde scène te vergelijken.

Bestaande oplossingen vertrouwen vaak op het delen van plaintext of richten zich op privacy tijdens de training (bijv. Federated Learning), wat ongeschikt is voor samenwerking tijdens de inferentie waarbij instantie-niveau voorspellingen geaggregeerd moeten worden. Er is een gebrek aan schaalbare frameworks die de veilige aggregatie van gestructureerde perceptie-outputs mogelijk maken zonder leveranciersspecifieke informatie te onthullen.

2. Methodologie: Het Sarus Framework

Sarus pakt deze uitdagingen aan door detectieresultaten te transformeren naar compacte, versleutelde statistische representaties die direct in de versleutelde domein geaggregeerd kunnen worden met behulp van Homomorfe Encryptie (HE).

2.1 Kernconcept: Gaussian Splatting en Moment Encoding

In plaats van discrete bounding boxes te delen (die niet-lineaire operaties zoals Non-Maximum Suppression vereisen), converteert Sarus elke detectie naar een Gaussian splat.

• Representatie: Een bounding box $b = [x_1, y_1, x_2, y_2]$ wordt gemodelleerd als een ruimtelijke Gaussische distributie $N((\mu_x, \mu_y), \text{diag}(\sigma_x^2, \sigma_y^2))$. Het gemiddelde $(\mu_x, \mu_y)$ komt overeen met het centrum van de box, en de variantie wordt afgeleid van de box-afmetingen met een instelbare schaalparameter $\kappa$.
• Momentvectoren: Elke detectie wordt gecodeerd als een gewogen momentvector die voldoende statistieken bevat:
  $$\mathbf{m} = w \cdot [1, \mu_x, \mu_x^2, \sigma_x^2, \mu_y, \mu_y^2, \sigma_y^2]$$
  waarbij $w$ een vertrouwensgewogen betrouwbaarheidsscore is.
• Lineariteit: Cruciaal is dat het aggregeren van deze momentvectoren over meerdere detecties een lineaire operatie is (sommatie). Dit stelt de fusieserver in staat om versleutelde payloads te combineren zonder ze te ontsleutelen.

2.2 Ruimtelijke Binning en Soft Assignment

Om schaalbaarheid te garanderen en te voorkomen dat ruimtelijk ver verwijderde objecten elkaar interfereren, wordt de scène gediscretiseerd in een gedeeld ruimtelijk rooster (class-specifieke grid).

• Soft Assignment: Een detectie wordt verdeeld over maximaal vier naburige bins met behulp van bilineaire interpolatiegewichten op basis van de positie van het Gaussische centrum ten opzichte van de bin-centra.
• Lokale Aggregatie: Elke leverancier aggregeert momentvectoren lokaal in per-bin accumulatoren voordat encryptie plaatsvindt. Dit vermindert de payload-omvang van $O(N)$ (waarbij $N$ het aantal detecties is) naar $O(B)$ (waarbij $B$ het aantal bezette bins is), aangezien meerdere detecties vaak in dezelfde ruimtelijke hypothese vallen.

2.3 Systeemworkflow

1. Leverancierszijde (Vendor Side):
   • Verwerk lokale sensordata om detecties te genereren.
   • Converteer detecties naar Gaussian splats en bereken momentvectoren.
   • Deel momenten in binnen ruimtelijke bins (class-specifiek).
   • Versleutel de geaggregeerde momentvectoren en bijbehorende statistieken (vertrouwensmassa, aantal) met het CKKS-schema (dat ondersteuning biedt voor benaderende rekenkunde).
   • Transmitteer de versleutelde payload naar de fusieserver.
2. Fusieserver:
   • Verzamelt versleutelde payloads van alle deelnemende leveranciers.
   • Berekent de unie van bezette sleutels (class-bin paren).
   • Voert homomorfe optelling uit op de versleutelde momentvectoren voor elke sleutel over alle leveranciers heen.
   • Aggregeert plaintext statistieken (massa en aantal) voor later gebruik.
   • Geeft de gefuseerde versleutelde payload terug.
3. Reconstructie (Geautoriseerde Partij):
   • Ontsleutelt de gefuseerde momentvectoren.
   • Inverteert de momenten om de gefuseerde Gaussische parameters ($\mu, \sigma$) te herstellen.
   • Reconstrueert bounding boxes vanuit de Gaussische parameters.
   • Voert cluster-fusie uit: Bouwt een ruimtelijke consistentiegraph waarbij knopen bin-niveau hypothesen zijn. Randen verbinden aangrenzende bins als deze voldoen aan geometrische overlap (IoU) en statistische nabijheid (Mahalanobis afstand) restricties. Verbonden componenten worden samengevoegd om de uiteindelijke gefuseerde detecties te produceren.

2.4 Dreigingsmodel

• Adversarial Server: Honest-but-curious; volgt het protocol maar probeert individuele input van leveranciers af te leiden uit de cijferteksten.
• Nieuwsgierige Leveranciers (Curious Vendors): Onderling onbetrouwbaar; kunnen alleen hun eigen inputs en de uiteindelijke ontsleutelde output zien.
• Aannames: Het encryptieschema is semantisch veilig; leveranciers houden zich aan een gedeeld ruimtelijk referentiekader en een payload-schema. Actieve aanvallen en sleutelcompromis vallen buiten de scope.

3. Belangrijkste Bijdragen

• Versleutelde Moment-gebaseerde Fusie: Een framework dat de aggregatie van multi-vendor perceptie mogelijk maakt zonder ruwe detecties te onthullen, gebruikmakend van de lineariteit van Gaussische momenten.
• Spatial Binning Mechanisme: Een strategie die schaalbare fusie garandeert met een complexiteit van $O(B \cdot V)$, waarbij $B$ het aantal bezette bins is en $V$ het aantal leveranciers, waardoor expliciete cross-vendor matching wordt vermeden.
• Uitgebreide Evaluatie: Een prestatieanalyse die de generatie van de leveranciers-payload, de server-zijde HE-fusie en de postprocessing omvat, wat een lineaire schaling aantoont.
• Empirische Validatie: Demonstratie op de KITTI-dataset die aantoont dat Sarus effectief complementaire detecties van camera (YOLOv8) en LiDAR (PointPillars, PV-RCNN) modaliteiten kan aggregeren, met name in afstandsafhankelijke regimes waar individuele modaliteiten degraderen.

4. Experimentele Resultaten

Experimenten werden uitgevoerd met de KITTI-dataset en een real-world autonome voertuigopstelling (VTTI track) met variërende snelheden en kunstmatige regen.

• Correctheid: De homomorfe fusie-outputs werden vergeleken met plaintext fusie. De Intersection-over-Union (IoU) tussen de twee was gemiddeld groter dan 0,99997, met afwijkingen in de bounding box-centra van $\le 0,5$ pixels. Dit bevestigt dat de CKKS-gebaseerde benaderende rekenkunde verwaarloosbare fouten introduceert voor perceptie-taken.
• Computationele Complexiteit:
  • Constructie van de Vendor Payload: Schaalt lineair met het aantal detecties ($O(N)$) en de bezette bins ($O(B)$). Encryptie is de dominante kostenpost.
  • Server-zijde Fusie: Schaalt als $O(B \cdot V)$. De server verwerkt geaggregeerde bins in plaats van individuele detecties.
  • Postprocessing: Wordt gedomineerd door ontsleuteling en de graph-gebaseerde cluster-fusie, schalend als $O(B + \sum B_c^2)$.
• Prestatie-overhead: Homomorfe encryptie introduceert een constante factor overhead (variërend van 300x tot 1000x vergeleken met plaintext) en vergroot de payload-omvang (ciphertext expansiefactor $\approx 3 \times 10^3$). Echter, het systeem behoudt een lineaire schaling, wat het voorspelbaar en haalbaar maakt voor real-time inzet onder begrensde scènecomplexiteit.
• Situationeel Bewustzijn: Sarus verbeterde de scène-brede dekking aanzienlijk, vooral voor voetgangers en op grotere afstanden ($\ge 40$m) waar de prestaties van LiDAR degraderen door de lage dichtheid (sparsity). Het slaagde er succesvol in om complementaire detecties van camera- en LiDAR-modaliteiten te aggregeren.

5. Betekenis en Claims

Het artikel claimt dat privacy-preserving multi-vendor perceptie-fusie haalbaar is voor real-time inzet wanneer statistische compressie (moment encoding) en ruimtelijke ijver (binning) gezamenlijk worden benut.

• Haalbaarheid: Ondanks de computationele overhead van HE, zorgt het lineaire schaalverloop ervoor dat het systeem voorspelbaar en schaalbaar blijft. De begrensde constante factor overhead staat real-time operaties niet in de weg in scenario's met een matige scènecomplexiteit.
• Privacy vs. Nut (Utility): Sarus ontkoppelt het nut succesvol van de privacy-lekken. Het stelt leveranciers in staat om bij te dragen aan een verenigd begrip van de scène zonder propriëtaire modelgedragingen of gevoelige omgevingsgegevens bloot te leggen.
• Beperkingen: De auteurs erkennen dat de Gaussische benadering de precieze bounding-box lokalisatie bij hoge IoU-drempels kan verslechteren. Het framework gaat momenteel uit van gecontroleerde toegang (admission control) en behandelt geen actieve aanvallers of complexe sleutelbeheer-scenario's (bijv. threshold decryption), wat onder toekomstig werk wordt beschouwd.

Concluderend overbrugt Sarus de kloof tussen coöperatieve perceptie en privacybehoud, en biedt het een praktisch pad voor veilige, multi-vendor samenwerking in ecosystemen voor autonoom rijden.