Technische Samenvatting: Evita – Unified Harmonic-Geometric Representation Learning voor Dense RGB-Event Parsing

1. Probleemstelling

De integratie van standaard RGB-frames met asynchrone event-stromen is een cruciaal paradigma geworden voor robuuste perceptie in gedegradeerde omgevingen (bijv. hoge beweging, extreme verlichting). Bestaande benaderingen kampen echter met drie fundamentele knelpunten:

1. Computationele Redundantie: Heersende methoden vertrouwen op ontkoppelde dual-encoder architecturen, wat effectief de computationele overhead en het aantal parameters verdubbelt.
2. Geometrische Misuitlijning: Asynchrone sensorgestelde vertragingen en spatiale parallax veroorzaken impliciete geometrische misuitlijningen tussen RGB- en event-data, die dual-stream architecturen vaak negeren tijdens feature aggregatie.
3. Cross-Spectrale Aliasing: De representationele kloof tussen dichte absolute intensiteitsgrids (RGB) en ijle kinematische spikes (events) leidt tot ernstige semantische aliasing en hoogfrequente ruis wanneer eenvoudige spatiale aggregatie wordt toegepast.

Hoewel unified backbones succesvol zijn in de RGB-Depth en RGB-Thermal domeinen, falen ze in het RGB-Event domein omdat ze heterogene modaliteiten behandelen als homogene tokens, waarbij ze de extreme ijleheid en asynchroniteit van event-data over het hoofd zien.

2. Methodologie: Het Evita Framework

De auteurs stellen Evita voor, de eerste unified backbone die specif으로 is ontworig voor dense RGB-Event parsing. In tegen tegenstelling tot voorgaande werken die features fuseren in vroege of late stadia, embedt Evita cross-modale interacties direct in elke encoder-laag via een symmetische, verweven hiërarchische architectuur.

2.1 Kerncomponenten van de Architectuur

Elke Evita-block integreert drie cruciale co-learning modules:

• Geometric Parallax Rectification: Om spatiale discrepanties aan te pakken zonder expliciete dieptekalibratie, introduceren de auteurs een non-parametrische, cross-modale deformable alignment operator. Deze module genereert dynamisch spatiale offsets en modulatie-masks op basis van de concatenatie van RGB- en event-features, waardoor kinematische randen nauwkeurig worden verankerd aan fotometrische grenzen.
• Harmonic Spectral Resonance: Om modaliteit-heterogeniteit te overwinnen en spatiale ruis-artefacten te vermijden, wordt texture transfer exclusief uitgevoerd in het complexe frequentiedomein. Met behulp van Discrete Fourier Transforms (DFT) ontkoppelt de methode amplitude en fase. Het moduleert het RGB-amplitude spectrum met event-afgeleide amplitudes (gestuurd door een geleerd mechanisme) terwijl de RGB-fasestructuur behouden blijft, waardoor invariant hoogfrequente veranderingsmatrices worden geïnjecteerd zonder spatiale aliasing te introduceren.
• Transient Global Routing: Deze module formuleert een asymmetrisch cross-modaal aandachtmechanisme. Kinematische event-features dienen als dynamische queries, terwijl RGB-features keys en values leveren. Cruciaal is dat een expliciete "transient prior" afgeleid van de event-stroom wordt toegevoegd aan de attention logits, waardoor het netwerk actief macroscopische fotometrische context naar bewegingsgrenzen kan routeren terwijl statische achtergrondruis wordt gefilterd.

2.2 Pretraining Strategie en N-ImageNetV2

Om robuuste feature extractie te garanderen en representaties te ontkoppelen van specifieke event-encodings, introduceren de auteurs N-ImageNetV2, een grootschalige dataset van meer dan 1,2 miljoen strikt uitgelijnde RGB-event paren.

• Alignment Pipeline: Een semantisch gestuurde registratie-pipeline (Algoritme 1) brengt ijle events in kaart naar Surface of Active Events (SAE), extraheert keypoints via SuperPoint, en matcht deze met LightGlue. Een iteratieve adaptieve relaxatiestrategie schat robuuste homografie-matrices in om de event-stromen te warpen naar de RGB-coördinatenruimte.
• Stochastische Pretraining: Tijdens de pretraining wordt het netwerk blootgesteld aan een hybride trainingsdoel waarbij 60% van de paren strikt uitgelijnd is, en 40% opzettelijk misuitgelijnd is via stochastische spatiale jitter. Dit dwingt het netwerk om robuuste invariante structurele features te leren in plaats van te overfitten op statische correspondenties.
• Representation Mixing: De architectuur accepteert willekeurig gesamplede event-representaties (bijv. Binary, Voxel, SAE) uit een repository tijdens de pretraining, wat naadloze accommodatie van willekeurige event-formaten mogelijk maakt tijdens downstream fine-tuning.

3. Belangrijkste Bijdragen

1. Unified Backbone (Evita): De eerste unified architectuur voor dense RGB-Event parsing die de parameter-inflatie van ontkoppelde paradigma's elimineert door cross-modale interacties in elke encoder-laag te embedden.
2. Nieuwe Co-Learning Modules: De introductie van Geometric Parallax Rectification, Harmonic Spectral Resonance, en Transient Global Routing om respectievelijk geometrische parallax, cross-spectrale aliasing en dynamische context routing aan te pakken.
3. N-ImageNetV2 en Pretraining Protocol: Een nieuwe dataset met strikt uitgelijnde paren en een stochastisch mixing protocol dat de distributieverschuiving tussen absolute intensiteit en relatieve contrast overbrugt, wat een format-agnostische downstream performance mogelijk maakt.
4. State-of-the-Art Prestaties: Vaststelling van nieuwe metrieken over meerdere benchmarks met een superieure nauwkeurigheid-latentie trade-off.

4. Experimentele Resultaten

Evaluaties werden uitgevoerd op de DELIVER, DDD17, en DSEC benchmarks.

• DELIVER Benchmark: De vlaggenschip Evita-L bereikte een nieuwe state-of-the-art van 59.57% mIoU. Opmerkelijk genoeg overtrof het de sterke baseline CMNeXt-B4 (58.87%) terwijl het slechts 38% van de parameters en ongeveer de helft van de FLOPs gebruikte. De lichtgewicht Evita-S bereikte 56.79% mIoU met slechts 21.9M parameters.
• DDD17 en DSEC Benchmarks: Evita-L vestigde nieuwe records met 80.12% mIoU op DDD17 en 76.80% mIoU op DSEC. Op DSEC vereiste Evita-L slechts 82.7 GFLOPs, bijna de helft van de computationele last van MambaSeg (159.5 GFLOPs), terwijl het een absolute nauwkeurigheidsverbetering van 2.0% leverde.
• Efficiëntie: Evita-S opereert met een latentie van 22.4ms op een RTX 3090, waarmee het zwaardere modellen zoals OmniSegmentor en CMNeXt aanzienlijk verslaat in real-time edge deployment scenario's.
• Robuustheid: Onder gesimuleerde spatiale misuitlijningen (tot 48 pixels), demonstreerde Evita-L een uitzonderlijke veerkracht met een degradatie van slechts 0.18% mIoU, vergeleken met dalingen van >1.0% in concurrerende unified of decoupled modellen.
• Generalisatie: Het pretraining protocol werd succesvol getransfereerd naar RGB-Thermal (MFNet) en RGB-LiDAR (KITTI-360) taken, wat prestatiewinsten opleverde ten opzichte van RGB-only initialisatie, wat suggereert dat de geleerde priors fundamenteel zijn voor cross-modale fusie.

5. Betekenis en Claims

Het artikel beweert dat Evita fundamenteel de "extreme representation divide" tussen dichte intensiteitsgrids en ijle kinematische spikes overbrugt. Door expliciet geometrische parallax te corrigeren en cross-spectrale harmonieken te integreren, legt het framework een robuuste structurele basis voor multimodale perceptie.

De auteurs beweren dat hun aanpak:

• Computationele Redundantie Elimineert: Door af te stappen van dual-stream inferentie, bereikt Evita een optimaal nauwkeurigheid-latentie evenwicht.
• Format Agnosticisme Garandeert: Door stochastische representation mixing kan het netwerk willekeurige event-encodings afhandelen zonder hertraining.
• Veerkrachtige Perceptie Biedt: De geleerde harmonische-geometrische priors maken robuust scènebegrip mogelijk in onbeperkte omgevingen, met name onder ongunstige weersomstandigheden en bewegingsonscherpte waar standaard RGB-sensoren falen.

Het werk positioneert Evita niet alleen als een segmentatiemodel, maar als een fundamentele stap naar een universeel agnostische multimodale architectuur die in staat is diverse sensor-modaliteiten te verwerken via unified geometrisch en spectraal leren.