MobileRACMA: Reliability-Aware Cross-Modal Attention for Efficient RGB–Thermal Monocular Depth Measurement on Edge Platforms

Technische Samenvatting: MobileRACMA

Probleemstelling
Monoculaire diepte-inschatting is een cruciale capaciteit voor intelligente instrumentatie, die toepassingen ondersteunt variërend van robotnavigatie tot hulpmiddelen voor assistentie. Hoewel deep learning de weg heeft vrijgemaakt voor RGB-only diepte-inschatting, blijven deze systemen kwetsbaar onder fotometrische degradatie zoals mist, regen, lage verlichting, bewegingsonscherpte en sensorruis. Thermische infraroodbeelden bieden een complementaire modaliteit die uitgezonden straling vastlegt in plaats van gereflecteerd licht, waardoor de bruikbaarheid behouden blijft onder ongunstige omstandigheden. Echter, naïeve fusie van RGB- en thermische gegevens introduceert aanzienlijke uitdagingen: verhoogde computationele kosten, potentiële instabiliteit wanneer één sensor gedegradeerd is, en een gebrek aan formele garanties dat de kruismodale informatie-uitwisseling begrensd blijft. Bestaande fusiemechanismen falen vaak in het expliciet beperken van de kruismodale invloed, wat het risico op aandachtssaturatie of "modale instorting" met zich meebrengt, waarbij een ruisende sensor de gefuseerde output corrumpeert. Bovendien zijn veel multimodale architecturen te computationeel duur voor real-time implementatie op consumenten-edge GPU's.

Methodologie
Het artikel stelt MobileRACMA (Reliability-Aware Cross-Modal Attention) voor, een lichtgewicht architectuur die is ontworpen voor efficiënte RGB-thermische dieptemeting op edge-platforms. Het framework is gebouwd op drie kernprincipes: betrouwbaarheidsbewuste fusie, begrensde kruismodale invloed en inzetbare efficiëntie.

1. Architectuur: Het model maakt gebruik van parallelle, lichtgewicht encoders voor RGB- en thermische inputs, waarbij gebruik wordt gemaakt van depthwise-separable convoluties om de computationele last te minimaliseren. Een compacte decoder reconstrueert de dichte metrieke dieptekaart.
2. Betrouwbaarheidschatingsvertakking: Een specifieke, lichtgewicht vertakking voorspelt pixelgewijze betrouwbaarheidskaarten ($R_R$ en $R_T$) voor beide modaliteiten. Deze kaarten, begrensd tot $[0, 1]$ via een sigmoid-activatiefunctie, geven de lokale betrouwbaarheid van kenmerken voor diepte-inschatting aan.
3. RACMA-module: De kerninnovatie is de Reliability-Aware Cross-Modal Attention (RACMA) module. In plaats van standaard cross-attention, berekent RACMA een gesigneerde betrouwbaarheidsbias gedefinieerd als $R_{bias} = \lambda(R_T - R_R)$, waarbij $0 < \lambda < 1$. Deze bias wordt toegevoegd aan de attention scores vóór de softmax-operatie.
   • Als de thermische betrouwbaarheid groter is dan de RGB-betrouwbaarheid, stimuleert de bias de thermische bijdrage.
   • Als RGB betrouwbaarder is, wordt de thermische invloed onderdrukt.
   • Cruciaal is dat de omvang van deze invloed strikt begrensd wordt door $\lambda$.
4. Theoretische Garantie: De auteurs leveren een formeel bewijs (Stelling 1) dat voor alle toegestane inputs de gesigneerde bias voldoet aan $|R_{bias}| < \lambda < 1$. Dit zorgt ervoor dat het aandachtsmecanisme niet onbegrensd kan groeien, wat theoretisch aandachtssaturatie en modale instorting tijdens gedegradeerde werking voorkomt.
5. Degradatiebewuste Training: De trainingsstrategie stelt het netwerk bloot aan zes synthetische corruptieklassen (laag licht, mist, regen, onscherpte, ruis, contrastverlies) die onafhankelijk op de RGB- en thermische stromen worden toegepast. Deze curriculum learning-aanpak dwingt de betrouwbaarheidsvertakking om lokale sensorkwaliteit te leren in plaats van vaste modaliteitspreferenties te memoriseren.

Belangrijkste Bijdragen

• MobileRACMA Architectuur: Een lichtgewicht RGB-thermisch diepte-inschattingsframework dat specifiek is ontworpen voor edge-implementatie, gebruikmakend van depthwise-separable backbones om de computationele kosten te beperken tot 1,73 GFLOPs.
• RACMA-module: Een nieuw begrensd kruismodaal aandachtsmecanisme dat de uitwisseling van kenmerken reguleert met behulp van pixelgewijze betrouwbaarheidsscores, waardoor wordt gegarandeerd dat geen enkele modaliteit het fusieproces ongecontroleerd kan domineren.
• Formeel Stabiliteitsbewijs: Een theoretische demonstratie dat de gesigneerde betrouwbaarheidsbias begrensd is door $\lambda$, wat een garantie biedt tegen de instabiliteit die vaak geassocieerd wordt met onbeperkte aandachtsmecanismen in multimodale fusie.
• Uitgebreid Evaluatieprotocol: Een voorgesteld experimenteel protocol dat de prestaties op schone benchmarks, robuustheid onder degradatie, ablatie-studies, statistische validatie, cross-dataset transfer en edge-latentie-evaluatie dekt.

Resultaten (Synthetische Placeholder)
Opmerking: Het artikel vermeldt expliciet dat alle gepresenteerde numerieke waarden synthetische placeholders zijn gegenereerd voor de manuscriptontwikkeling en vóór indiening moeten worden vervangen door werkelijke experimentele gegevens.

Gebruikmakend van deze illustratieve waarden op de NYU Depth V2 dataset, bereikte MobileRACMA:

• RMSE: 0,342 m
• $\delta_1$ Nauwkeurigheid: 0,897
• SSIM: 0,924
• Edge Prestaties: 45 FPS op een NVIDIA MX250 2 GB GPU met een mediane latentie van 26 ms.

Het model presteerde beter dan zeven ablatievarianten (inclusief "No Reliability", "No Bound" en "Standard Fusion") en vijf lichtgewicht baselines (bijv. FastDepth, MobileViT-Depth). In cross-dataset transfertests op DIODE en zero-shot kwalitatieve evaluaties op LLVIP behield het model een superieur rangnummer, wat suggereert dat de betrouwbaarheidsbewuste fusie leert om lokaal nuttige cues te selecteren in plaats van dataset-specifieke verschijningsvormen te memoriseren. De robuustheidsanalyse gaf aan dat MobileRACMA de toename van fouten onder lage lichtomstandigheden en mist aanzienlijk verminderde in vergelijking met RGB-only varianten.

Betekenis en Claims
Het artikel claimt dat MobileRACMA de kloof overbrugt tussen hoge-accuraatheid multimodale fusie en de strikte beperkingen van edge-instrumentatie. Door te bewijzen dat begrensde betrouwbaarheidsbewuste fusie de robuustheid kan verbeteren zonder de efficiëntie op te offeren, biedt dit werk een praktische richting voor de inzet van dieptesensoren in real-world, gedegradeerde omgevingen. De auteurs benadrukken dat de begrensde aard van de aandachtsbias een niveau van stabiliteit en verklaarbaarheid biedt dat vaak ontbreekt in conventionele aandacht-gebaseerde fusie, wat het systeem geschikter maakt voor veiligheidskritische instrumentatie waar metingen stabiel moeten blijven bij sensor-degradatie.

De auteurs sluiten af met een bescheiden disclaimer: het huidige manuscript dient als een structureel en theoretisch voorstel. De specifieke prestatie-indicatoren zijn placeholders, en de geldigheid van de claims met betrekking tot robuustheid en efficiëntie hangt af van de succesvolle regeneratie van deze resultaten met behulp van werkelijke experimentele gegevens en real-world sensor-alignments voorafgaand aan de indiening bij een tijdschrift.