Sintesi Tecnica: InfraNet: Guida RGB-Aware per l'Efficace Rilevamento di Oggetti a Infrarossi

1. Definizione del Problema

Il rilevamento robusto di oggetti in condizioni visive avverse (ad es., scarsa illuminazione, abbagliamento, nebbia) rimane una sfida significativa per i sistemi di percezione multi-modali. Sebbene la sensoristica a infrarossi (IR) offra robustezza catturando la radiazione termica indipendentemente dalla luce ambientale, gli esistenti metodi basati sulla fusione trattano tipicamente le modalità RGB e IR allo stesso modo durante l'addestramento e l'inferenza. Questa ipotesi di "trattamento uguale" trascura un difetto critico: l'inaffidabilità della modalità RGB in condizioni degradate.

Quando le immagini RGB sono severamente degradate (ad es., diventando scure o rumorose), la fusione indiscriminata con le caratteristiche IR affidabili può introdurre informazioni irrilevanti o dannose, portando a un "trasferimento negativo" che compromette l'accuratezza complessiva del rilevamento. Inoltre, la maggior parte dei metodi di fusione allo stato dell'arte (SOTA) richiede l'input duale durante l'inferenza, rendendoli impraticabili quando i sensori RGB non sono disponibili o sono corrotti. Esiste la necessità di un framework che sfrutti l'RGB come segnale di guida durante l'addestramento per migliorare l'apprendimento IR, consentendo al contempo un dispiegamento efficiente e ad alta accuratezza in modalità solo-IR.

2. Metodologia

Framework Core: InfraNet

Gli autori propongono InfraNet, un framework centrato sull'IR e consapevole della qualità, progettato per regolare la guida RGB durante l'addestramento pur supportando un dispiegamento flessibile in modalità RGB–IR o solo-IR. InfraNet impiega un'architettura asimmetrica composta da:

1. Percorso IR Primario: Estrae caratteristiche infrarosse multi-scala per le predizioni.
2. Percorso RGB Ausiliario: Fornisce segnali di supervisione controllati dalla affidabilità durante l'addestramento.

Componente Chiave: QualGate

L'innovazione principale di InfraNet è QualGate, un modulo di fusione consapevole della qualità distribuito a più scale all'interno della rete. QualGate apprende un segnale di controllo orientato al compito per regolare dinamicamente le interazioni cross-modali. La sua operazione prevede due meccanismi paralleli:

• Punteggio di Controllo della Affidabilità ($q$): Uno score scalare $q \in (0, 1)$ viene predetto dalle caratteristiche ausiliarie RGB ($A_{in}$) utilizzando un MLP leggero. Questo punteggio è ottimizzato per l'obiettivo di rilevamento piuttosto che servire come metrica di qualità dell'immagine predefinita.
• Gate di Soppressione RGB: Il contributo ausiliario è pesato da $w_{rgb}(q) = q$. Quando la qualità dell'RGB è scarsa (basso $q$), la guida RGB viene ridimensionata per prevenire l'iniezione di rumore.
• Gate di Amplificazione IR: Simultaneamente, un guadagno di affidabilità inverso $\alpha(q)$ viene applicato allo stream IR. Definito come $\alpha(q) = \text{clip}(1.5 - q; 1.0, 1.5)$, questo meccanismo aumenta il contributo delle caratteristiche IR quando la guida RGB è debole, garantendo che la rappresentazione IR rimanga robusta.
• Fusione: L'output finale $A_{out}$ è una fusione del termine ausiliario soppresso e dell'iniezione IR amplificata:
  $$A_{out} = w_{rgb}(q) \cdot A_{in} + \sum_{k=1}^{K} \alpha(q) \cdot g_k \cdot F_k$$
  dove $F_k$ rappresenta le caratteristiche IR allineate e $g_k$ è un gate di contenuto.

Varianti Architetturali

Sulla base di InfraNet, sono progettate due architetture specifiche:

1. InfraNet-IR: Una rete a singolo ramo leggera, ottimizzata per l'efficienza computazionale. Viene addestrata con input accoppiati RGB–IR (usando l'RGB come supervisione ausiliaria privilegiata) ma viene dispiegata con inferenza solo-IR. Il ramo RGB e tutti i moduli di fusione vengono rimossi al tempo di test, comportando un overhead aggiuntivo pari a zero.
2. InfraNet-RGB-IR: Una struttura a doppio ramo con maggiore capacità che elabora input sia RGB che IR durante l'addestramento e l'inferenza, utilizzando QualGate per la fusione cross-modale controllata dalla affidabilità.

Strategia di Addestramento

Il framework utilizza una funzione di perdita asimmetrica:
$$\mathcal{L} = \mathcal{L}^{(\text{main})}_{\text{det}} + w_{\text{aux}} \mathcal{L}^{(\text{aux})}_{\text{det}}$$
dove il peso della perdita ausiliaria $w_{\text{aux}}$ è impostato a 0.25. Ciò assicura che l'ottimizzazione sia dominata dal percorso infrarosso, mentre il ramo ausiliario fornisce una guida adattiva per migliorare le rappresentazioni IR.

3. Contributi Chiave

• Framework InfraNet: Un framework di rilevamento di oggetti a infrarossi consapevole della qualità e guidato dall'RGB che tratta l'RGB come un segnale ausiliario controllato dalla affidabilità durante l'addestramento, consentendo un dispiegamento flessibile solo-IR.
• Modulo QualGate: Un nuovo meccanismo di fusione che apprende un segnale di controllo orientato al compito per sopprimere la guida RGB inaffidabile e compensare le caratteristiche IR, mitigando il rischio di trasferimento negativo dai dati RGB degradati.
• Dispiegamento Dual-Mode: Il design di due varianti (InfraNet-IR e InfraNet-RGB-IR) che ottengono prestazioni competitive sia nell'inferenza a singolo modulo efficiente che nella fusione ad alta capacità dual-modale.

4. Risultati Sperimentali

Il metodo è stato valutato su quattro dataset benchmark: LLVIP, FLIR-Aligned, M3FD e DroneVehicle.

• Prestazioni: InfraNet ha ottenuto un'accuratezza forte o competitiva su tutti i dataset.
  • Su LLVIP, la variante RGB–IR (YOLOv8) ha raggiunto il 70,5% di mAP, superando lo SOTA WaveMamba (66,0%). La variante solo-IR ha raggiunto il 68,8% di mAP senza overhead di inferenza.
  • Su FLIR-Aligned, la variante solo-IR (ResNet50) ha raggiunto un tempo di inferenza di 9,4ms con il 53,0% di mAP, essendo significativamente più veloce dei competitor dual-modal pur mantenendo un'accuratezza competitiva.
  • Su DroneVehicle, la variante solo-IR YOLOv12 ha raggiunto l'84,7% di mAP50, superando WaveMamba di un guadagno assoluto di +4,9%, con miglioramenti notevoli nel rilevamento di piccoli oggetti (es. auto, autobus).
  • Su M3FD, il metodo ha dimostrato robustezza nei subset notturni e di sfida, dove la visibilità RGB è severamente compromessa.
• Efficienza: InfraNet-IR mantiene un'alta efficienza nell'inferenza solo-IR, rimuovendo completamente il ramo RGB e i moduli di fusione al momento del dispiegamento.
• Studi di Ablazione: Gli esperimenti hanno confermato che sia il ramo di soppressione RGB che quello di amplificazione IR di QualGate sono necessari; rimuoverne uno porta a cali di prestazione; lo score di controllo $q$ appreso si è dimostrato capace di adattarsi efficacemente a degradazioni controllate dell'RGB (nebbia, luminosità) senza annotazioni esplicite della qualità.

5. Significato e Rivendicazioni

Il paper sostiene che InfraNet affronti il problema di lunga data dell'inaffidabilità dell'RGB nelle condizioni avverse spostando il paradigma dalla "fusione uguale" alla "guida consapevole della qualità centrata sull'IR".

• Robustezza: Sopprimendo i segnali RGB inaffidabili e amplificando le caratteristiche IR, il metodo previene la contaminazione delle rappresentazioni IR, portando a un rilevamento più stabile in condizioni di scarsa illuminazione e meteo avverso.
• Flessibilità di Dispiegamento: A differenza dei metodi di fusione esistenti che richiedono input dual-modali all'inferenza, InfraNet-IR offre una soluzione pratica per scenari in cui i sensori RGB non sono disponibili o sono corrotti, ottenendo un'alta accuratezza senza il costo computazionale di mantenere un'architettura a due stream durante l'esecuzione.
• Efficienza: Il framework dimostra che la supervisione ausiliaria durante l'addestramento può aumentare significativamente le prestazioni solo-IR senza incorrere in overhead di dispiegamento, rendendolo adatto ad applicazioni a risorse limitate come la guida autonoma e la sorveglianza tramite UAV.