Résumé Technique : Evita – Apprentissage de Représentations Harmoniques-Géométriques Unifiées pour le Parsing Dense RGB-Événement

1. Énoncé du Problème

L'intégration des trames RGB standards avec les flux d'événements asynchrones est devenue un paradigme critique pour une perception robuste dans les environnements dégradés (ex: mouvement élevé, illumination extrême). Cependant, les approches existantes font face à trois goulots d'étranglement fondamentaux :

1. Redondance Computationnelle : Les méthodes prévalentes reposent sur des architectures à double encodeur découplées, doublant de fait la surcharge de calcul et le nombre de paramètres.
2. Désalignement Géométrique : Les délais capteurs asynchrones et la parallaxe spatiale provoquent des désalignements géométriques implicites entre les données RGB et les événements, que les architectures à double flux négligent souvent lors de l'agrégation de caractéristiques.
3. Aliasing Cross-Spectral : La division représentationnelle entre les grilles d'intensité absolue denses (RGB) et les pics cinématiques épars (événements) conduit à un aliasing sémantique sévère et à un bruit haute fréquence lorsque l'agrégation spatiale simple est appliquée.

Bien que les backbones unifiés aient réussi dans les domaines RGB-Profondeur et RGB-Thermique, ils échouent dans le domaine RGB-Événement car ils traitent les modalités hétérogènes comme des tokens homogènes, négligeant l'extrême parcimonie et l'asynchronie des données d'événements.

2. Méthodologie : Le Framework Evita

Les auteurs proposent Evita, le premier backbone unifié spécifiquement conçu pour le parsing dense RGB-Événement. Contrairement aux travaux antérieurs qui fusionnent les caractéristiques aux stades précoces ou tardifs, Evita intègre les interactions cross-modales directement dans chaque couche de l'encodeur via une architecture hiérarchique symétrique et entrelacée.

2.1 Composants Architecturaux Cores

Chaque bloc Evita intègre trois modules de co-apprentissage pivots :

• Rectification de la Parallaxe Géométrique : Pour traiter les écarts spatiaux sans calibration de profondeur explicite, les auteurs introduisent un opérateur d'alignement déformable cross-modal non paramétrique. Ce module génère dynamiquement des décalages spatiaux et des masques de modulation basés sur la concaténation des caractéristiques RGB et d'événements, garantissant que les bords cinématiques sont ancrés avec précision aux frontières photométriques.
• Résonance Spectrale Harmonique : Pour surmonter l'hétérogénéité des modalités et éviter les artefacts de bruit spatial, le transfert de texture est exécuté exclusivement dans le domaine fréquentiel complexe. En utilisant des Transformées de Fourier Discrètes (DFT), la méthode décompose l'amplitude et la phase. Elle module le spectre d'amplitude RGB avec les amplitudes dérivées des événements (régulées par un mécanisme appris) tout en préservant la structure de phase RGB, injectant ainsi efficacement des matrices de changement haute fréquence invariantes sans introduire d'aliasing spatial.
• Routage Global Transitoire : Ce module formule un mécanisme d'attention cross-modal asymétrique. Les caractéristiques d'événements cinématiques servent de requêtes (queries) dynamiques, tandis que les caractéristiques RGB fournissent les clés (keys) et les valeurs (values). Crucialement, un « a priori transitoire » explicite dérivé du flux d'événements est ajouté aux logits d'attention, permettant au réseau de router activement le contexte photométrique macroscopique vers les frontières de mouvement tout en filtrant le bruit de fond statique.

2.2 Stratégie de Pré-entraînement et N-ImageNetV2

Pour assurer une extraction de caractéristiques robuste et découpler les représentations des encodages d'événements spécifiques, les auteurs introduisent N-ImageNetV2, un dataset à grande échelle de plus de 1,2 million de paires RGB-événement strictement alignées.

• Pipeline d'Alignement : Un pipeline de recalage guidé par la sémantique (Algorithme 1) mappe les événements épars vers la Surface of Active Events (SAE), extrait les points clés via SuperPoint, et les fait correspondre avec LightGlue. Une stratégie de relaxation adaptative itérative estime des matrices d'homographie robustes pour déformer les flux d'événements dans l'espace de coordonnées RGB.
• Pré-entraînement Stochastique : Pendant le pré-entraînement, le réseau est exposé à un objectif de formation hybride où 60 % des paires sont strictement alignées, et 40 % sont intentionnellement désalignées via un jitter spatial stochastique. Cela force le réseau à apprendre des caractéristiques structurelles invariantes robustes plutôt qu'à faire du surapprentissage sur des correspondances statiques.
• Mélange de Représentations : L'architecture accepte des représentations d'événements échantillonnées aléatoirement (ex: Binaire, Voxel, SAE) à partir d'un référentiel pendant le pré-entraînement, permettant une accommodation fluide de formats d'événements arbitraires lors du fine-tuning en aval.

3. Contributions Clés

1. Unified Backbone (Evita) : Le premier architecture unifiée pour le parsing dense RGB-Événement qui élimine l'inflation de paramètres des paradigmes découplés en intégrant les interactions cross-modales dans chaque couche de l'encodeur.
2. Nouveaux Modules de Co-apprentissage : L'introduction de la Rectification de la Parallaxe Géométrique, de la Résonance Spectrale Harmonique et du Routage Global Transitoire pour traiter respectivement la parallaxe géométrique, l'aliasing cross-spectral et le routage de contexte dynamique.
3. N-ImageNetV2 et Protocole de Pré-entraînement : Un nouveau dataset avec des paires strictement alignées et un protocole de mélange stochastique qui comble le décalage de distribution entre l'intensité absolue et le contraste relatif, permettant des performances agnostiques au format.
4. Performance État de l'Art : Établissement de nouvelles métriques sur plusieurs benchmarks avec un compromis précision-latence supérieur.

4. Résultats Expérimentaux

Les évaluations ont été menées sur les benchmarks DELIVER, DDD17 et DSEC.

• Benchmark DELIVER : Le modèle phare Evita-L a atteint un nouvel état de l'art de 59,57 % mIoU. Notamment, il a surpassé le solide baseline CMNeXt-B4 (58,87 %) tout en utilisant seulement 38 % de ses paramètres et environ la moitié des FLOPs. La version légère Evita-S a atteint 56,79 % mIoU avec seulement 21,9M de paramètres.
• Benchmarks DDD17 et DSEC : Evita-L a établi de nouveaux records avec 80,12 % mIoU sur DDD17 et 76,80 % mIoU sur DSEC. Sur DSEC, Evita-L n'a requis que 82,7 GFLOPs, soit presque la moitié de la charge de calcul de MambaSeg (159,5 GFLOPs), tout en délivrant une amélioration absolue de la précision de 2,0 %.
• Efficacité : Evita-S opère à une latence de 22,4 ms sur une RTX 3090, surpassant nettement des modèles plus lourds comme OmniSegmentor et CMNeXt dans les scénarios de déploiement en bordure (edge) en temps réel.
• Robustesse : Sous des désalignements spatiaux simulés (jusqu'à 48 pixels), Evita-L a démontré une résilience exceptionnelle avec une dégradation de seulement 0,18 % mIoU, contre des chutes de >1,0 % dans les modèles concurrents, qu'ils soient unifiés ou découplés.
• Généralisation : Le protocole de pré-entraînement s'est transféré avec succès aux tâches RGB-Thermique (MFNet) et RGB-LiDAR (KITTI-360), produisant des gains de performance par rapport à une initialisation RGB-seule, suggérant que les priors appris sont fondamentaux pour la fusion cross-modale.

5. Signification et Revendications

L'article affirme qu'Evita comble fondamentalement le « fossé de représentation extrême » entre les grilles d'intensité denses et les pics cinématiques épars. En rectifiant explicitement la parallaxe géométrique et en intégrant les harmoniques cross-spectrales, le framework établit un fondement structurel robuste pour la perception multimodale.

Les auteurs affirment que leur approche :

• Élimine la Redondance Computationnelle : En s'éloignant de l'inférence à double flux, Evita atteint un équilibre optimal précision-latence.
• Assure l'Agnosticisme de Format : Grâce au mélange de représentation stochastique, le réseau peut gérer des encodages d'événements arbitraires sans ré-entraînement.
• Fournit une Perception Résiliente : Les priors harmoniques-géométriques appris permettent une compréhension de scène robuste dans des environnements non contraints, particulièrement sous des conditions météorologiques défavorables et du flou de mouvement où les capteurs RGB standards échouent.

Ce travail positionne Evita non pas seulement comme un modèle de segmentation, mais comme une étape fondamentale vers une architecture multimodale universellement agnostique capable de gérer diverses modalités de capteurs via un apprentissage géométrique et spectral unifié.