CLEAR-IR: Clarity-Enhanced Active Reconstruction of Infrared Imagery

Il paper presenta CLEAR-IR, un nuovo approccio basato su un'architettura Deep Multi-scale Aware Overcomplete che ricostruisce immagini a infrarossi pulite da segnali disturbati da emettitori attivi, migliorando la qualità visiva e abilitando compiti robotici complessi in condizioni di scarsa illuminazione senza bisogno di illuminazione a bordo.

L'essenziale

Immagina di essere un robot esploratore che deve muoversi in una grotta buia o in un tunnel crollato dopo un terremoto. Il tuo "cervello" (il sistema di visione) è abituato a lavorare con la luce normale, come quella dei nostri occhi. Ma qui c'è il buio totale.

Cosa fai? Accendi una torcia?
Il problema è che se accendi una torcia potente in un ambiente polveroso o fumoso, la luce rimbalza su tutto, creando un "effetto nebbia" che acceca la tua telecamera. È come cercare di leggere un libro mentre qualcuno ti punta un faretto direttamente negli occhi: vedi solo bagliori e non riesci a distinguere gli oggetti.

Ecco dove entra in gioco il lavoro di CLEAR-IR descritto in questo articolo.

Il Problema: La "Pioggia di Punti"

Per vedere nel buio senza usare torce che accecano, i robot usano spesso telecamere a infrarossi (IR). Queste telecamere funzionano come "torce invisibili": proiettano una luce che noi non vediamo, ma che la telecamera sì.

Tuttavia, c'è un difetto fastidioso. Per funzionare bene, queste telecamere proiettano un pattern di milioni di puntini luminosi (come una pioggia di stelle) sulla scena.

• L'analogia: Immagina di guardare un paesaggio attraverso una finestra piena di gocce d'acqua o di nebbia. La telecamera vede tutto, ma è coperta da questi puntini. Per un computer, questi puntini sembrano "rumore" o texture strane. Il computer pensa: "Quel puntino è un muro? O è un oggetto? O è solo un puntino?". Si confonde e smette di funzionare. Non riesce a riconoscere un'auto, un ostacolo o un segnale di sicurezza.

La Soluzione: Il "Filtro Magico" CLEAR-IR

Gli autori del paper hanno creato un sistema chiamato CLEAR-IR. Pensalo come un filtro magico per foto o un restauratore d'arte digitale super intelligente.

1. L'Architettura (Il Cuore del Sistema):
   Hanno usato una rete neurale (un tipo di intelligenza artificiale) ispirata a un modello chiamato DeepMAO, ma l'hanno adattata. Immagina che questa rete abbia due "cervelli" che lavorano insieme:

   • Il Cervello "Contesto" (U-Net): Guarda l'immagine intera per capire la forma generale delle cose (dove sono i muri, dove è il pavimento). È come guardare un quadro da lontano per capire il soggetto.
   • Il Cervello "Dettaglio" (Overcomplete): Guarda l'immagine senza mai perdere un pixel di risoluzione. È come un restauratore che guarda da vicino ogni singolo pennellata per assicurarsi che i bordi siano nitidi.
   • La Fusione: I due cervelli uniscono le loro forze. Uno rimuove la "pioggia di puntini" (il rumore), mentre l'altro si assicura che i bordi degli oggetti rimangano netti e precisi.

2. Il Risultato:
   L'input è un'immagine IR piena di puntini confusi. L'output è un'immagine pulita, nitida e "bella", che sembra quasi una foto normale fatta di giorno, anche se è stata scattata nel buio pesto.

Perché è una Rivoluzione per i Robot?

Fino ad ora, se un robot doveva fare compiti complessi (come riconoscere un ostacolo, trovare un segnale di emergenza o mappare una stanza) nel buio, falliva perché i puntini dell'infrarosso lo confondevano.

Con CLEAR-IR, succede la magia:

• Riconoscimento Oggetti: Il robot può ora "vedere" un secchio o un'auto nel buio totale, perché l'IA ha rimosso i puntini di disturbo.
• Navigazione (SLAM): I robot usano punti di riferimento per non perdersi. I puntini dell'infrarosso creavano "falsi punti di riferimento" (fantasmi) che facevano perdere la rotta al robot. CLEAR-IR elimina questi fantasmi, permettendo al robot di camminare sicuro anche al buio.
• Nessuna luce aggiuntiva: Il robot non ha bisogno di accendere torce che disturbano l'ambiente o consumano molta batteria. Usa solo la sua telecamera IR e il "filtro magico".

In Sintesi

Immagina di avere un paio di occhiali speciali. Quando li indossi, se guardi una stanza buia piena di puntini di luce fastidiosi, i tuoi occhi (il computer) vedono solo la stanza pulita, con tutti gli oggetti chiaramente definiti, come se fosse giorno.

Questo lavoro permette ai robot di essere indipendenti dalla luce. Possono operare in miniere, in zone di disastro o in spazi sotterranei senza bisogno di illuminazione esterna, rendendoli più sicuri e capaci di salvare vite umane o ispezionare luoghi pericolosi che prima erano "ciechi" per le macchine.

È come dare agli occhi del robot la capacità di "pulire" la nebbia digitale, trasformando un caos di puntini in una mappa chiara e affidabile.

Sommario tecnico

1. Il Problema

Le prestazioni dei sistemi di visione robotica basati su telecamere RGB degradano significativamente in condizioni di scarsa illuminazione o buio totale a causa del rumore del sensore, della corrente di buio e della necessità di tempi di esposizione lunghi che causano sfocature da movimento.
Una soluzione alternativa è l'uso di sistemi a infrarossi (IR) attivi, che illuminano l'ambiente con una sorgente dedicata. Tuttavia, questi sistemi presentano un limite critico: utilizzano spesso pattern di luce strutturata (punti o griglie proiettate) per migliorare la percezione della profondità o la penetrazione in ambienti polverosi.
Questi pattern di emettitori attivi creano artefatti ad alta frequenza che vengono erroneamente interpretati dagli algoritmi di visione computerizzata come texture della scena o oggetti reali. Questo interferisce con compiti ad alto livello come:

• Rilevamento e segmentazione di oggetti.
• Localizzazione e mappatura simultanea (SLAM).
• Rilevamento di marcatori fiduciali (es. ArUco).

L'obiettivo del lavoro è ricostruire immagini IR "pulite" rimuovendo questi pattern strutturati, preservando al contempo i dettagli spaziali e testurali necessari per la robotica, permettendo così l'uso di pipeline di visione standard (addestrate su RGB) in ambienti bui.

2. Metodologia

Il framework proposto, CLEAR-IR, si basa su un'architettura di deep learning ibrida a due rami, ispirata a DeepMAO (Deep Multi-scale Aware Overcomplete), ma adattata specificamente per la ricostruzione di immagini IR.

Architettura della Rete

L'approccio utilizza una struttura simmetrica modificata rispetto alle tradizionali architetture Encoder-Decoder:

1. Stream Contestuale (Backbone U-Net):
   • Sostituisce l'encoder pesante di EfficientNet con un backbone U-Net più leggero.
   • Utilizza blocchi convoluzionali gerarchici e pooling per catturare il contesto globale e le informazioni strutturali a bassa frequenza.
   • Include meccanismi di regolarizzazione (dropout) per prevenire l'overfitting sui pattern specifici degli emettitori.
2. Stream di Dettaglio (Ramo Overcomplete):
   • Agisce come un percorso parallelo che mantiene la risoluzione spaziale completa (1:1) senza operazioni di downsampling o pooling.
   • Il suo scopo è isolare e preservare i bordi ad alta frequenza e le texture fini della scena, che verrebbero altrimenti distrutti dal pooling dello stream U-Net.
   • Separa efficacemente i bordi reali dal rumore strutturato della luce.
3. Fusione delle Caratteristiche:
   • Le uscite dei due rami vengono fuse tramite una strategia di fusione additiva residua ($F_{fused} = F_{unet} \oplus F_{overcomplete}$).
   • Questo permette di combinare le previsioni strutturali pulite dello stream U-Net con le correzioni testurali dello stream overcomplete.

Funzione di Perdita (Loss Function)

A causa delle discrepanze spettrali e della mancanza di allineamento perfetto pixel-per-pixel tra le immagini IR e RGB (ground truth), viene utilizzata una funzione di perdita composita che privilegia la qualità percettiva e l'integrità strutturale rispetto alla semplice accuratezza pixel-wise. La perdita totale è una somma pesata di sei componenti:

• Fedeltà Spaziale: MAE (Mean Absolute Error) e SSIM (Structural Similarity Index).
• Preservazione dei Dettagli: Perdita basata su filtri Laplaciani ($L_{freq}$) e gradienti di Sobel ($L_{sobel}$).
• Qualità Percettiva: Perdita basata su feature maps estratte da una rete VGG19 pre-addestrata ($L_{perceptual}$).
• Regolarizzazione: Perdita di Variazione Totale (TV) per ridurre il rumore spurio.

Dataset e Addestramento

• Dataset personalizzato creato con una camera Intel RealSense D455, contenente 6.719 coppie iniziali di immagini IR attive e RGB in scala di grigi.
• Il dataset è stato aumentato (rotazioni, flipping, trasformazioni affini) fino a 33.595 immagini.
• Il modello è stato addestrato per mappare gli input IR a un ground truth in stile RGB, permettendo l'uso di modelli di visione addestrati su RGB.

3. Contributi Chiave

1. CLEAR-IR: Introduzione di un'architettura DeepMAO adattata per la rimozione degli artefatti della luce strutturata dalle immagini IR, ricostruendo immagini visivamente coerenti.
2. Funzione di Perdita Composita: Sviluppo di una loss specifica per gestire le discrepanze spettrali e di allineamento tra IR e RGB, garantendo la rimozione robusta dei pattern senza perdere dettagli critici.
3. Valutazione Robotica: Presentazione di una valutazione completa che dimostra miglioramenti significativi in compiti reali come rilevamento di oggetti, rilevamento di marcatori ArUco e SLAM visivo.
4. Superamento delle SOTA: Confronto che dimostra come CLEAR-IR superi le tecniche di enhancement RGB esistenti (sia classiche che basate su Deep Learning) in scenari di luce estremamente scarsa.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su tre compiti principali:

• Rilevamento e Segmentazione di Oggetti (YOLOv26):

  • Su immagini IR grezze, il modello fallisce nel rilevare oggetti a causa dei pattern di luce.
  • Con CLEAR-IR, il modello riesce a rilevare e segmentare correttamente gli oggetti (anche se con alcune errori di classificazione dovuti alla natura in bianco e nero, la presenza fisica degli oggetti è rilevata con successo).
  • Dati quantitativi: CLEAR-IR rileva 11 oggetti (su 11 totali), mentre le altre tecniche (Retinex, CLAHE, Zero-DCE, ecc.) ne rilevano 0 o 1, e l'IR grezzo ne rileva 0.

• Rilevamento di Marcatori ArUco:

  • I pattern strutturati nell'IR grezzo oscurano la griglia dei marcatori, rendendoli inutilizzabili per la localizzazione.
  • CLEAR-IR rimuove i punti spurii, rendendo i marcatori chiaramente rilevabili, permettendo una localizzazione robusta senza bisogno di materiali retro-riflettenti speciali.

• SLAM Visivo (V-SLAM con ORB-SLAM3 modificato):

  • Condizioni di Luce Bassa (LL): CLEAR-IR performa in modo paragonabile ai metodi di enhancement RGB, con un RMSE (Root Mean Square Error) di 0.070m.
  • Condizioni di Luce Estremamente Bassa (ELL): Tutti i metodi basati su RGB falliscono (non si inizializzano) perché le immagini RGB sono troppo scure. L'IR grezzo fallisce a causa dei "falsi punti" del pattern.
  • Risultato: Solo CLEAR-IR e la baseline U-Net permettono il funzionamento completo del SLAM. CLEAR-IR ottiene il miglior RMSE (0.092m) e la migliore stabilità nel tempo (loop closure), dimostrando di ricostruire strutture geometricamente consistenti.
  • Latenza: CLEAR-IR offre un buon compromesso tra accuratezza e velocità di inferenza (~46ms), superando i modelli basati su Transformer (LLFormer) che sono troppo lenti.

5. Significato e Impatto

Il lavoro CLEAR-IR rappresenta un passo avanti fondamentale per la percezione robotica in ambienti ostili:

• Abilitazione del "Dark Vision": Permette ai robot di operare in ambienti completamente bui (es. miniere, zone di disastro, impianti nucleari) senza bisogno di illuminazione attiva visibile che potrebbe disturbare l'ambiente o causare riflessi indesiderati.
• Compatibilità con Pipeline Esistenti: Trasforma il flusso IR in un formato "simile al RGB", permettendo l'uso diretto di modelli di visione computerizzata pre-addestrati (addestrati su RGB) senza necessità di ri-addestramento massiccio su dati IR.
• Robustezza: Risolve il problema specifico dei pattern di luce strutturata, che era un collo di bottiglia per l'uso di sensori IR attivi nella robotica mobile, trasformando un ostacolo in un vantaggio per la percezione in condizioni di scarsa illuminazione.

In sintesi, CLEAR-IR stabilisce un nuovo standard per l'elaborazione delle immagini IR, trasformando dati grezzi rumorosi in input affidabili per sistemi autonomi, superando le limitazioni sia delle telecamere RGB tradizionali che delle tecniche di enhancement esistenti.