Missing No More: Dictionary-Guided Cross-Modal Image Fusion under Missing Infrared

Each language version is independently generated for its own context, not a direct translation.

Immagina di essere un investigatore privato che deve risolvere un caso di notte. Di solito, ha due strumenti:

Una fotocamera normale (Visibile): vede i dettagli, i colori e le forme, ma al buio totale non vede nulla.
Una termocamera (Infrarosso): vede il calore (le persone, i motori caldi) anche al buio, ma l'immagine è sfocata, senza dettagli e spesso "sporca".

L'obiettivo è unire queste due foto per avere un'immagine perfetta: dettagliata come quella normale e capace di vedere al buio come quella termica.

Il Problema: "La Termocamera è Sparita!"

Nella vita reale, spesso succede che la termocamera si rompa o non ci sia. L'investigatore ha solo la foto normale (di giorno) e deve immaginare cosa ci sarebbe stato nella foto termica (di notte) per fare il suo lavoro.

I metodi attuali provano a inventare (generare) la foto termica dal nulla, come se un pittore cercasse di dipingere un quadro basandosi solo sulla descrizione. Spesso questi pittori fanno errori: creano "allucinazioni" (dettagli che non esistono), colori sbagliati o immagini instabili. È come cercare di indovinare il contenuto di una scatola chiusa senza mai averla aperta.

La Soluzione: "Il Dizionario Magico"

Gli autori di questo paper hanno detto: "Basta inventare pixel a caso! Usiamo la logica."

Hanno creato un sistema basato su un Dizionario Condiviso. Ecco come funziona, passo dopo passo, con un'analogia:

1. Il Dizionario Condiviso (La "Cassetta degli Attrezzi")

Immagina che invece di guardare l'immagine come un blocco unico di pixel, la scomponiamo in mattoncini Lego (chiamati "atomi").

Il sistema impara un dizionario di mattoncini che servono sia per costruire la foto normale che per costruire quella termica.
Se vedi un "albero" nella foto normale, il sistema sa esattamente quali mattoncini usare per costruirlo.
Il trucco: Se il sistema vede un "albero" nella foto normale, sa che nella foto termica quell'albero sarà fatto con quasi gli stessi mattoncini, ma con un colore diverso (più scuro/freddo).

2. Il Traduttore Intelligente (Inferenza Guidata)

Quando manca la termocamera, il sistema non "disegna" la foto termica. Invece, prende i mattoncini della foto normale e li traduce in mattoncini termici.

È come se avessi una ricetta in italiano (foto normale) e volessi sapere come suona in francese (foto termica). Invece di inventare parole a caso, usi un dizionario bilingue per tradurre parola per parola.
Questo avviene in uno "spazio matematico" (coefficienti), non direttamente sui pixel dell'immagine, il che rende tutto molto più preciso e controllabile.

3. L'Assistente con la "Cultura Generale" (Il LLM)

Qui entra in gioco l'innovazione più divertente. Hanno usato un Modello Linguistico (LLM), come un Chatbot intelligente, ma non per scrivere testi.

Immagina che il Chatbot sia un esperto di fisica che guarda la tua foto normale e dice: "Ehi, se c'è un motore caldo qui, dovrebbe esserci un alone di calore qui sotto, anche se non lo vedo!".
Questo esperto non "disegna" l'immagine, ma fa da regista: dice al sistema "attenua un po' questo mattoncino, esalta quell'altro". È un suggerimento sottile che aiuta a riempire i buchi logici senza creare errori.

4. La Ricostruzione (Il Montaggio Finale)

Infine, il sistema prende i mattoncini tradotti (la parte termica inventata logicamente) e li unisce ai mattoncini originali (la parte visibile).

Il risultato è una foto che ha i dettagli nitidi della foto normale, ma che "vede" anche il calore, tutto senza aver mai generato una foto termica dal nulla.

Perché è così speciale?

Niente Allucinazioni: Poiché non "inventa" l'immagine pixel per pixel, non crea fantasmi o oggetti che non esistono.
Interpretabile: Sappiamo esattamente come è stata presa la decisione (tramite i mattoncini del dizionario), a differenza delle "scatole nere" attuali dove non si sa come l'AI abbia fatto.
Efficiente: È molto più veloce e leggero dei metodi attuali che usano modelli pesantissimi per generare immagini.

In Sintesi

Invece di cercare di dipingere una foto termica che non esiste (e rischiare di sbagliare), questo metodo traduce la foto che hai già in una versione termica logica, usando un dizionario comune e l'aiuto di un esperto virtuale. È come passare da un'ipotesi a una deduzione scientifica: molto più affidabile e sicuro.

Il titolo "Missing No More" (Nessun missing più) significa che anche se la termocamera manca, il sistema riesce comunque a ricostruire la scena perfetta, salvando l'investigatore (o il robot, o il sistema di sicurezza) dal buio.

Each language version is independently generated for its own context, not a direct translation.

1. Il Problema

La fusione di immagini Infrarosso (IR) e Visibile (VIS) è fondamentale per la percezione robusta in settori come la sorveglianza, la robotica e i sistemi autonomi. Tuttavia, la maggior parte dei metodi esistenti assume che entrambe le modalità siano disponibili sia durante l'addestramento che l'inferenza.
In scenari reali, la modalità IR può essere assente (ad esempio, guasti del sensore o condizioni di acquisizione limitate). Quando l'IR manca, le soluzioni attuali tendono a generare immagini IR sintetiche nello spazio dei pixel (pixel-space) utilizzando modelli generativi (GAN, Diffusion). Questi approcci presentano gravi limitazioni:

Mancanza di controllabilità: La generazione nello spazio dei pixel è spesso un "processo a scatola nera" difficile da controllare.
Scarsa interpretabilità: È difficile garantire la coerenza fisica e preservare i dettagli strutturali.
Artefatti: Tendono a produrre completamenti termici instabili, perdita di dettagli strutturali o pattern allucinati.

2. Metodologia Proposta

Gli autori propongono un framework innovativo guidato da un dizionario condiviso che opera interamente nel dominio dei coefficienti (coefficient-domain), evitando la generazione diretta nello spazio dei pixel. Il flusso di lavoro segue una pipeline chiusa: Codifica → Trasferimento → Fusione → Ricostruzione.

Il sistema è composto da tre moduli principali:

A. Joint Shared-dictionary Representation Learning (JSRL)

Questo modulo apprende uno spazio di atomi condiviso e interpretabile per entrambe le modalità IR e VIS.

Utilizza un dizionario convoluzionale condiviso ( $D$ ) per proiettare le immagini VIS e IR in una mappa di coefficienti comune ( $S_{vis}$ e $S_{ir}$ ).
L'obiettivo è minimizzare l'errore di ricostruzione per entrambe le modalità, imponendo vincoli di sparsità e regolarizzazione sul dizionario.
Viene implementato attraverso un'architettura di "unfolding" (svolgimento) che trasforma l'ottimizzazione iterativa in una rete neurale profonda, apprendendo i coefficienti e il dizionario direttamente dai dati.

B. VIS-Guided IR Inference (VGII)

Questo modulo esegue l'inferenza della modalità mancante (IR) basandosi solo sull'immagine VIS.

Trasferimento nei coefficienti: Invece di generare un'immagine IR, la rete mappa i coefficienti VIS ( $\tilde{S}_{vis}$ ) in coefficienti IR pseudo ( $S^{(0)}_{pir}$ ) utilizzando una rete di inferenza (RIN). Questo preserva la coerenza strutturale definita dal dizionario condiviso.
Affinamento con LLM: Per migliorare i dettagli termici sottili (es. contrasti di temperatura bassi), viene introdotto un Large Language Model (LLM) congelato come "prior semantico debole". L'LLM analizza l'immagine VIS e la pseudo-IR, generando parametri di modulazione lineare ( $\gamma, \beta$ ) che affinano i coefficienti VIS prima di un secondo passaggio di inferenza. Questo evita l'uso di pesanti testine generative.

C. Adaptive Fusion via Representation Inference (AFRI)

Questo modulo fonde le informazioni strutturali VIS con le informazioni semantiche IR inferite.

Utilizza una rete di fusione (RFN) che integra l'attenzione a finestre (window attention) e il mixing convoluzionale a livello di atomi.
Un meccanismo di "gating" adattivo decide quanto pesare i coefficienti VIS rispetto a quelli IR inferiti per ogni atomo del dizionario (es. privilegiando i bordi strutturali da VIS e le regioni termiche da IR).
L'immagine finale viene ricostruita applicando il dizionario condiviso ai coefficienti fusi.

3. Contributi Chiave

Paradigma guidato dal dizionario nel dominio dei coefficienti: È il primo framework che apprende un dizionario condiviso e esegue inferenza e fusione nel dominio dei coefficienti, chiudendo il ciclo encode-transfer-fuse-reconstruct senza passare per la generazione a scatola nera nello spazio dei pixel.
Completamento controllato con prior semantico debole: L'uso di un LLM congelato come modulazione lineare leggera permette di correggere i trasferimenti VIS→IR in modo controllabile, migliorando la copertura termica senza introdurre artefatti o instabilità tipiche dei modelli generativi pesanti.
Efficienza e Semplicità: Il metodo non richiede immagini IR reali durante l'inferenza (solo l'immagine VIS e il dizionario). L'addestramento utilizza funzioni di perdita semplici (ricostruzione e consistenza), evitando la complessità e l'instabilità dei modelli GAN o Diffusion.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su dataset standard (FLIR, MSRS, KAIST) e valutati per compiti a valle (rilevamento oggetti e segmentazione semantica su M3FD e FMB).

Qualità della Fusione: Il metodo supera o è competitivo rispetto ai metodi state-of-the-art (come U2Fusion, CDDFuse, TarDAL) che richiedono entrambe le modalità in input, anche quando l'IR è mancante. Migliora metriche come Gradiente Medio (AG), Entropia dell'Immagine (EN) e Frequenza Spaziale (SF).
Performance a Valle: Nei task di rilevamento oggetti (YOLOv5) e segmentazione (SegFormer), le immagini fuse generate dal metodo proposto ottengono prestazioni (mAP e mIoU) paragonabili o superiori alla fusione completa (con IR reale), dimostrando che le informazioni termiche sono state recuperate efficacemente.
Studio Ablativo: L'analisi dimostra che sia il dizionario condiviso che la modulazione LLM sono essenziali: senza di essi, il modello fallisce nel recuperare informazioni termiche o produce risultati sfocati.
Efficienza Computazionale: Rispetto ai metodi basati sulla generazione di immagini IR (che spesso usano Diffusion o GAN complessi), il metodo proposto ha un numero di parametri molto inferiore e tempi di inferenza più rapidi, mantenendo prestazioni superiori.

5. Significato e Impatto

Questo lavoro rappresenta un cambio di paradigma nella fusione multimodale in condizioni incomplete. Spostando l'elaborazione dallo spazio dei pixel allo spazio dei coefficienti guidato da un dizionario, gli autori risolvono il problema della mancanza di interpretabilità e controllabilità dei metodi generativi attuali.
La capacità di inferire informazioni termiche critiche partendo solo da una singola immagine visibile, mantenendo alta la qualità strutturale e migliorando le prestazioni dei task di visione artificiale, rende questa tecnologia promettente per applicazioni reali in cui i sensori possono fallire o essere assenti, garantendo robustezza e affidabilità nei sistemi di percezione autonomi.