Privacy-Concealing Cooperative Perception for BEV Scene Segmentation

1. Problématique

Les systèmes de perception coopérative pour la conduite autonome visent à surmonter les limites de la portée visuelle d'un véhicule unique en partageant des informations de détection avec les agents voisins. Bien que l'utilisation de caractéristiques de vue en perspective aérienne (BEV - Bird's Eye View) soit devenue la norme pour équilibrer performance et bande passante, cela soulève un problème critique de fuite de vie privée.

Les caractéristiques BEV partagées, bien que conçues pour la fusion de données, possèdent une capacité de représentation si puissante qu'elles permettent de reconstruire avec précision les images d'origine (vue perspective). Un agent malveillant pourrait ainsi récupérer des détails sensibles (type de véhicule, couleur, plaque d'immatriculation) pour suivre des cibles spécifiques, comme des véhicules de police, sans être physiquement présent. Il existe donc un besoin urgent de concevoir un système qui préserve la haute performance de la perception tout en empêchant la reconstruction d'images sensibles à partir des données partagées.

2. Méthodologie

Les auteurs proposent un cadre novateur appelé Coopération à Dissimulation de Vie Privée (PCC - Privacy-Concealing Cooperation). Ce cadre repose sur un mécanisme d'apprentissage adversarial intégrant trois composants principaux :

• Réseau de Reconstruction (R) : Son objectif est de tenter de reconstruire l'image d'origine ($\hat{I}$) à partir des caractéristiques BEV partagées ($B_s$). Il utilise un décodeur MAE simple et est entraîné à minimiser l'erreur de reconstruction (perte de distance absolue moyenne et perte perceptuelle).
• Réseau de Dissimulation (H) : C'est un réseau léger (plug-and-play) composé de six couches de convolution (avec des noyaux 1x1) et de couches d'instanciation normalisée (InstanceNorm). Son rôle est de transformer les caractéristiques BEV brutes ($B_o$) en caractéristiques protégées ($B_s$) de manière à masquer les indices visuels, rendant la tâche de reconstruction aussi difficile que possible.
• Réseau de Perception (P) : Il s'agit du réseau de segmentation sémantique BEV (basé sur CoBEVT). Pour compenser la dégradation potentielle des caractéristiques causée par le réseau de dissimulation, ce réseau est réentraîné conjointement avec le réseau de dissimulation.

Stratégie d'Apprentissage Adversarial :
Le système est formulé comme un jeu minimax où les réseaux $R$ et $H$ s'affrontent :

1. Le réseau de reconstruction $R$ cherche à minimiser l'erreur de reconstruction ($L_{Rec}$).
2. Le réseau de dissimulation $H$ cherche à maximiser cette erreur tout en minimisant la perte de segmentation ($L_{Coop}$) pour maintenir la précision de la tâche principale.
3. La fonction de perte globale pour $H$ combine ces deux objectifs : $L_H = L_{Coop} - \lambda L_{Rec}$, où $\lambda$ ajuste le compromis entre la protection de la vie privée et la performance de perception.

3. Contributions Clés

• Cadre PCC : Proposition d'un premier cadre de coopération qui dissimule activement le contenu visuel dans les caractéristiques BEV partagées sans sacrifier la fonctionnalité de perception.
• Apprentissage Adversarial Intégré : Utilisation d'une compétition entre un attaquant (reconstruction) et un défenseur (dissimulation) pour apprendre à masquer les indices visuels tout en réadaptant le modèle de perception pour maintenir sa précision.
• Efficacité et Légereté : Le réseau de dissimulation est extrêmement léger (seulement 214,4 K paramètres) et peut être intégré dans les systèmes existants avec un surcoût computationnel négligeable lors de l'inférence.
• Validation sur l'État de l'Art : Le cadre est validé sur le modèle de segmentation sémantique coopérative BEV le plus avancé (CoBEVT) utilisant le jeu de données OPV2V.

4. Résultats Expérimentaux

Les expériences menées sur le jeu de données de validation OPV2V démontrent l'efficacité du cadre PCC :

• Protection de la Vie Privée (Dégradation de la reconstruction) :

  • Les images reconstruites à partir des caractéristiques BEV protégées montrent une qualité nettement inférieure par rapport aux reconstructions à partir de caractéristiques brutes.
  • Les métriques de similarité (SSIM, PSNR) indiquent une forte baisse de la fidélité visuelle.
  • Le score FID (Fréchet Inception Distance) augmente significativement (de 281,5 à 378,1), indiquant une plus grande divergence entre les images reconstruites et les images réelles.
  • La métrique PHV (Privacy-Hiding Value) s'améliore, confirmant que les détails visuels (comme la couleur ou le type de véhicule) ne peuvent plus être récupérés.

• Performance de Perception (Préservation de la tâche) :

  • La métrique IoU (Intersection over Union) pour la segmentation sémantique reste quasi identique : 57,29 % pour le modèle original contre 57,27 % pour le modèle PCC.
  • Cela confirme que la dissimulation des indices visuels n'a qu'un impact négligeable sur la capacité du véhicule à comprendre l'environnement et à segmenter la scène.

• Temps d'Inférence : L'ajout du réseau de dissimulation augmente légèrement le temps d'inférence (de 158,75 ms à 174,23 ms), ce qui reste acceptable pour des applications temps réel.

5. Signification

Ce travail est significatif car il résout le dilemme fondamental entre partage de données et confidentialité dans les systèmes de véhicules autonomes coopératifs. En démontrant qu'il est possible de "casser" la capacité de reconstruction d'un réseau neuronal sans détruire sa capacité de perception, les auteurs ouvrent la voie à des déploiements réels de systèmes coopératifs plus sûrs. Le cadre PCC garantit que les véhicules peuvent collaborer pour une conduite plus sûre sans exposer les données sensibles des passagers ou des piétons à des acteurs malveillants, équilibrant ainsi la sécurité routière et la protection de la vie privée.