MobileRACMA: Reliability-Aware Cross-Modal Attention for Efficient RGB–Thermal Monocular Depth Measurement on Edge Platforms

Sintesi Tecnica: MobileRACMA

Problematica
La stima della profondità monoculare è una capacità critica per la strumentazione intelligente, che supporta applicazioni che vanno dalla navigazione robotica ai dispositivi di assistenza. Sebbene l'apprendimento profondo abbia fatto progressi nella stima della profondità basata solo su RGB, questi sistemi rimangono fragili sotto degradazione fotometrica come nebbia, pioggia, scarsa illuminazione, sfocatura da movimento e rumore del sensore. L'imaging a infrarossi termici offre una modalità complementare che cattura la radiazione emessa piuttosto che la luce riflessa, mantenendo l'utilità in condizioni avverse. Tuttavia, la fusione ingenua di dati RGB e termici introduce sfide significative: aumento del costo computazionale, potenziale instabilità quando un sensore è degradato e mancanza di garanzie formali che lo scambio di informazioni cross-modali rimanga limitato. I meccanismi di fusione esistenti spesso non riescono a vincolare esplicitamente l'influenza cross-modale, rischiando la saturazione dell'attenzione o il "collasso modale", in cui un sensore rumoroso corrompe l'output fuso. Inoltre, molte architetture multimodali sono troppo costose dal punto di vista computazionale per l'implementazione in tempo reale su GPU edge di consumo.

Metodologia
Il documento propone MobileRACMA (Reliability-Aware Cross-Modal Attention), un'architettura leggera progettata per la misurazione efficiente della profondità RGB–termica su piattaforme edge. Il framework si basa su tre principi fondamentali: fusione consapevole dell'affidabilità, influenza cross-modale limitata ed efficienza implementabile.

1. Architettura: Il modello utilizza encoder leggeri e paralleli per gli input RGB e termici, impiegando convoluzioni depthwise-separable per minimizzare il carico computazionale. Un decoder compatto ricostruisce la mappa di profondità metrica densa.
2. Ramo di Stima dell'Affidabilità: Un ramo dedicato e leggero predice mappe di affidabilità pixel-wise ($R_R$ e $R_T$) per entrambe le modalità. Queste mappe, vincolate a $[0, 1]$ tramite attivazione sigmoidale, indicano l'affidabilità locale delle caratteristiche per la stima della profondità.
3. Modulo RACMA: L'innovazione principale è il modulo Reliability-Aware Cross-Modal Attention (RACMA). Invece della classica cross-attention, RACMA calcola un bias di affidabilità con segno definito come $R_{bias} = \lambda(R_T - R_R)$, dove $0 < \lambda < 1$. Questo bias viene aggiunto ai punteggi di attenzione prima dell'operazione softmax.
   • Se l'affidabilità termica supera quella RGB, il bias incoraggia il contributo termico.
   • Se l'RGB è più affidabile, l'influenza termica viene soppressa.
   • Fondamentalmente, l'entità di questa influenza è strettamente limitata da $\lambda$.
4. Garanzia Teorica: Gli autori forniscono una prova formale (Teorema 1) dimostrando che, per tutti gli input ammissibili, il bias con segno soddisfa $|R_{bias}| < \lambda < 1$. Ciò assicura che il meccanismo di attenzione non cresca illimitatamente, prevenendo teoricamente la saturazione dell'attenzione e il collasso modale durante operazioni degradate.
5. Addestramento Consapevole della Degradazione: La strategia di addestramento espone la rete a sei classi di corruzione sintetica (scarsa illuminazione, nebbia, pioggia, sfocatura, rumore, perdita di contrasto) applicate indipendentemente ai flussi RGB e termici. Questo approccio di curriculum learning costringe il ramo dell'affidabilità a imparare la qualità locale del sensore piuttosto che memorizzare preferenze fisse della modalità.

Contributi Chiave

• Architettura MobileRACMA: Un framework leggero per la stima della profondità RGB–termica progettato specificamente per l'implementazione edge, che utilizza backbone depthwise-separable per limitare il costo computazionale a 1,73 GFLOPs.
• Modulo RACMA: Un nuovo meccanismo di attenzione cross-modale limitato che regola lo scambio di caratteristiche utilizzando punteggi di affidabilità pixel-wise, garantendo che nessuna singola modalità possa dominare il processo di fusione in modo incontrollato.
• Prova di Stabilità Formale: Una dimostrazione teorica che il bias di affidabilità con segno è limitato da $\lambda$, fornendo una garanzia contro l'instabilità spesso associata ai meccanismi di attenzione non vincolati nella fusione multimodale.
• Protocollo di Valutazione Completo: Un protocollo sperimentale proposto che copre le prestazioni sui benchmark puliti, la robustezza sotto degradazione, studi di ablazione, validazione statistica, trasferimento tra dataset ed valutazione della latenza edge.

Risultati (Segnaposto Sintetico)
Nota: Il documento dichiara esplicitamente che tutti i valori numerici presentati sono segnaposti sintetici generati per lo sviluppo del manoscritto e devono essere sostituiti da dati sperimentali reali prima della sottomissione.

Utilizzando questi valori illustrativi sul dataset NYU Depth V2, MobileRACMA ha ottenuto:

• RMSE: 0,342 m
• Accuratezza $\delta_1$: 0,897
• SSIM: 0,924
• Performance Edge: 45 FPS su una NVIDIA MX250 2 GB GPU con una latenza mediana di 26 ms.

Il modello ha superato sette varianti di ablazione (inclusi "No Reliability", "No Bound" e "Standard Fusion") e cinque baseline leggere (ad esempio, FastDepth, MobileViT-Depth). Nei test di trasferimento tra dataset su DIODE e nelle valutazioni qualitative zero-shot su LLVIP, il modello ha mantenuto un ranking superiore, suggerendo che la fusione consapevole dell'affidabilità impara a selezionare indizi localmente utili piuttosto che memorizzare l'aspetto specifico del dataset. L'analisi della robustezza ha indicato che MobileRACMA riduce significativamente l'aumento dell'errore in condizioni di scarsa illuminazione e nebbia rispetto alle varianti solo RGB.

Significato e Rivendicazioni
Il documento afferma che MobileRACMA colma il divario tra l'alta accuratezza della fusione multimodale e i vincoli rigorosi della strumentazione edge. Dimostrando che la fusione consapevole dell'affidabilità limitata può migliorare la robustezza senza sacrificare l'efficienza, il lavoro offre una direzione pratica per l'implementazione di sensori di profondità in ambienti reali degradati. Gli autori sottolineano che la natura limitata del bias di attenzione fornisce un livello di stabilità e spiegabilità spesso assente nelle convenzionali fusion basate su attenzione, rendendo il sistema più adatto alla strumentazione critiche per la sicurezza dove le misurazioni devono rimanere stabili sotto degradazione del sensore.

Gli autori concludono con un modesto disclaimer: l'attuale manoscritto funge da proposta strutturale e teorica. Le specifiche metriche di prestazione sono segnaposto e la validità delle rivendicazioni riguardanti la robustezza e l'efficienza dipende dal successo della rigenerazione di tali risultati utilizzando dati sperimentali reali e allineamenti dei sensori reali prima della sottomissione al giornale.