Technische Samenvatting: AdaFuse-Det

Probleemstelling

Betrouwbare objectdetectie onder extreme omstandigheden met weinig licht blijft een kritieke uitdaging in computer vision, vooral voor veiligheidskritieke toepassingen zoals nachtelijke surveillance en zoek- en reddingsrobotica. Conventionele RGB-camera's lijden onder ernstige degradatie bij een lage fotonenflux, waarbij het signaal-ruisverhouding (SNR) significant daalt ($SNR \propto \sqrt{N_p}$). Hoewel langere belichtingstijden de SNR kunnen verbeteren, introduceren ze bewegingsonscherpte, wat een gecombineerde degradatie creëert waarmee standaard detectoren moeite hebben om om te gaan.

Omgekeerd bieden event-camera's een complementaire waarnemingsmodus. Ze registreren asynchrone per-pixel helderheidsveranderingen met een microseconde temporele resolutie en een dynamisch bereik van meer dan 120 dB, waardoor ze grotendeels onafhankelijk zijn van verlichting en robuust tegen bewegingsonscherpte. Event-data is echter schaars, mist fotometrische textuur en heeft moeite met statische scènes of fijnmazige classificatie. Het kernprobleem dat door dit artikel wordt aangepakt, is hoe deze twee modaliteiten effectief kunnen worden samengevoegd—RGB (semantisch rijk maar verlichtingsgevoelig) en events (structureel informatief maar semantisch dun)—zodat de bijdrage van elke modaliteit dynamisch schaalt met zijn lokale betrouwbaarheid, in plaats van te vertrouwen op vaste fusiegewichten.

Methodologie: AdaFuse-Det

De auteurs stellen AdaFuse-Det voor, een tweestromenframework dat CLAHE-versterkte RGB-frames integreert met voxeliseerde event-tensors via een nieuw Adaptief Cross-Modaal Fusie (ACMF)-module.

1. Data Voorverwerking

• Event-stroom: Ruwe asynchrone events worden omgezet in dichte tensors via temporele voxelisatie. De stroom wordt verdeeld in $B=4$ temporele bins per polariteit (totaal 8 kanalen). De auteurs bewijzen formeel dat deze voxelisatie het totale aantal events behoudt (Lemma II.1) en stellen een temporele resolutiegrens vast $\delta t = \Delta t / (B-1)$ (Lemma II.2). Na voxelisatie verwijderen hot-pixel- en dichtheidsfilters ruis.
• RGB-stroom: RGB-frames met weinig licht worden verwerkt met Contrast Limited Adaptive Histogram Equalization (CLAHE) om fotonenflux-verzwakking en heteroscedastische sensorruis gedeeltelijk te compenseren.

2. Feature-extractie

Beide modaliteiten worden gecodeerd met onafhankelijke ResNet-18-backbones die vier-schaal feature-pyramides produceren.

• RGB-Encoder: Gebruikt standaard ImageNet-vooraf getrainde gewichten.
• Event-Encoder: De eerste convolutielaag is aangepast om 8 kanalen te accepteren. Om stabiele convergentie te garanderen op de relatief kleine trainingsset, worden de gewichten geïnitieerd door de drie vooraf getrainde RGB-kanalen te middelen en deze te repliceren over alle acht event-kanalen.

3. Adaptief Cross-Modaal Fusie (ACMF)

De kerninnovatie is de ACMF-module, die is gebaseerd op theorie van lineaire schatting met minimale variantie.

• Theoretische Basis: De auteurs modelleren de fusie als het schatten van een latente feature-tensor $F^*$ uit twee ruizige waarnemingen ($F_{img}$ en $F_{evt}$). Zij leiden af dat de Minimum-Variance Linear Unbiased Estimator (MVLUE) gewichten vereist die omgekeerd evenredig zijn met de ruisvariantie van elke modaliteit (Stelling II.3).
• Verlichtingsadaptatie: Een belangrijke corollarium (II.4) stelt dat bij extreme omstandigheden met weinig licht (waar RGB-ruis domineert), het optimale gewicht verschuift naar event-features, en vice versa bij goed verlichte omstandigheden.
• Implementatie: De ACMF-module leert een ruimtelijk variërende attentiekaart $\alpha_s$ op elke schaal van de feature-pyramide. Het voegt features van beide stromen samen, voert ze door een lichtgewicht tweelaagsnetwerk (1x1 en 3x3 convoluties) en geeft een met sigmoid gewogen kaart uit. De finale gefuseerde feature is een gewogen som: $F_{fused} = \alpha \odot F_{img} + (1-\alpha) \odot F_{evt}$.
• Theoretische Eigenschappen: De auteurs bewijzen dat dit mechanisme unimodale en uniforme fusie omvat als limietgevallen (Propositie II.5) en convergeert naar een gewicht van 0,5 wanneer features niet te onderscheiden zijn (Propositie II.6).

4. Detectiehoofd

De gefuseerde features worden verwerkt door een YOLO-stijl, op ankers gebaseerd hoofd dat werkt over vier schalen. De trainingsdoelstelling combineert box-regressie, objectheid en classificatieverliezen, met nabewerking die vertrouwensdrempels en Non-Maximum Suppression (NMS) omvat.

Belangrijkste Bijdragen

Het artikel levert vier specifieke bijdragen:

1. Formele Fusietheorie: Een behandeling van multimodale fusie als lineaire schatting met minimale variantie, wat leidt tot gesloten-formule optimale attentiegewichten en de waargenomen asymmetrie tussen recall en precisie verklaart via een verlichtingsadaptatie-corollarium.
2. Karakterisering van Voxelisatie: Theoretische bewijzen met betrekking tot eventbehoud en temporele resolutiegrenzen in de voxelisatiefase.
3. ACMF-module: Een principiële fusiemechanisme dat strikt unimodale en uniforme fusie omvat, met bewezen gedrag op locaties met gelijke features.
4. Empirische Evaluatie: Uitgebreide testen op de LLE-VOS benchmark, een gesynchroniseerde RGB-event dataset opgenomen onder gecontroleerde extreme omstandigheden met weinig licht (<1 lux).

Experimentele Resultaten

Geëvalueerd op de LLE-VOS testset (IoU-drempel 0,4), toont AdaFuse-Det superieure prestaties in vergelijking met baselines voor enkele modaliteiten en naïeve fusiestrategieën:

• AdaFuse-Det: Recall 65,54%, Precisie 53,85%, F1-score 59,12%.
• Alleen RGB: Recall 49,83%, Precisie 47,21%, F1 48,48%.
• Alleen Events: Recall 57,12%, Precisie 38,64%, F1 46,10%.
• Concatenatie-fusie: Recall 61,47%, Precisie 50,33%, F1 55,33%.

Het model bereikt een significante verbetering in recall ten opzichte van detectoren met enkele modaliteit. De auteurs schrijven een matige daling in precisie ten opzichte van de alleen-RGB-baseline toe aan de afhankelijkheid van het model van event-signalen in extreme duisternis, wat de gevoeligheid verhoogt maar valse positieven introduceert door event-sensorruis in gebieden met hoge beweging. Ablatiestudies bevestigen dat de geleerde adaptieve attentie (ACMF) een winst van 3,79% in F1 oplevert ten opzichte van uniforme fusie.

Betekenis en Claims

Het artikel claimt dat AdaFuse-Det een theoretisch onderbouwde oplossing biedt voor de faalmodi van RGB-camera's in extreme omstandigheden met weinig licht. Door de geleerde attentiemechanisme formeel te koppelen aan de Gauss-Markov optimale schatter, zorgt het framework ervoor dat de fusiestrategie zich aanpast aan lokale verlichtingsomstandigheden zonder handmatige afstemming.

De auteurs benadrukken dat het systeem succesvol objecten (voetgangers, fietsen, dieren) lokaliseert in bijna duisternis waar RGB-contrast verwaarloosbaar is, door gebruik te maken van van events afgeleide randhandtekeningen. Ze erkennen bescheiden beperkingen, waarbij ze opmerken dat de prestaties verslechteren wanneer onderwerpen te langzaam bewegen om event-drempels te triggeren, waardoor het systeem terugvalt naar prestatieniveaus van alleen RGB. Het artikel concludeert dat hoewel de huidige aanpak effectief is, toekomstig werk expliciete onzekerheidsschatting, temporele recurrentie voor scènes met traagheid en geavanceerde verliesfuncties om klassenongelijkheid aan te pakken, zou kunnen verkennen.