Bridging Human Evaluation to Infrared and Visible Image Fusion

Questo paper propone un quadro di rinforzo feedback che, sfruttando il primo dataset su larga scala di valutazioni umane per la fusione di immagini infrarosse e visibili, allinea le prestazioni del modello agli standard estetici umani attraverso un modello di ricompensa e l'ottimizzazione della politica.

L'essenziale

Immagina di dover cucinare il piatto perfetto unendo due ingredienti molto diversi: uno è un fotografo notturno (la telecamera a infrarossi) che vede benissimo al buio e rileva il calore, ma non vede i colori e i dettagli fini; l'altro è un fotografo diurno (la telecamera visibile) che cattura colori e texture meravigliosi, ma si perde nel buio o nella nebbia.

L'obiettivo della Fusione di Immagini Infrarossi e Visibili è mescolare questi due ingredienti per creare un'unica foto "super" che abbia il meglio di entrambi.

Il problema? Fino a oggi, gli scienziati cercavano di creare questa foto "super" seguendo regole matematiche rigide (come misurare la luminosità o il contrasto). Era come se un cuoco seguisse una ricetta basata solo sul peso degli ingredienti, senza mai assaggiare il piatto. Il risultato era tecnicamente corretto, ma spesso non piaceva all'occhio umano: poteva sembrare sfocato, avere "artefatti" (macchie strane) o perdere dettagli importanti.

Ecco cosa propone questo paper, spiegato in modo semplice:

1. Il Problema: "Il Cuoco che non assaggia"

I metodi attuali sono come robot che cucinano seguendo un manuale di istruzioni matematiche. Non chiedono mai a una persona reale: "Ma questa foto è bella? Si vede bene il pedone nella nebbia?". Di conseguenza, le immagini fuse spesso non corrispondono a ciò che noi umani troviamo gradevole o utile.

2. La Soluzione: Creare un "Panel di Assaggiatori" (Il Dataset)

Per risolvere il problema, gli autori hanno fatto la cosa più importante: hanno creato il primo grande database di "feedback umano" per questo tipo di immagini.

• Cosa hanno fatto: Hanno preso migliaia di immagini fuse create da diversi algoritmi.
• Chi le ha valutate: Hanno coinvolto esperti umani e un'intelligenza artificiale avanzata (GPT-4o) che ha imparato a "pensare" come un esperto.
• Cosa hanno valutato: Non solo un voto generale, ma hanno dato un voto specifico su 4 aspetti:
  1. Quanto calore è stato mantenuto? (Per vedere i pedoni al buio).
  2. Quanto dettaglio della texture è rimasto? (Per vedere i dettagli degli edifici).
  3. Ci sono "macchie" o errori visivi? (Gli artefatti).
  4. Quanto è nitida l'immagine?
• L'analogia: È come se avessero creato un menu di degustazione con 9.000 piatti, dove ogni piatto è stato valutato da un critico culinario esperto per dire esattamente cosa mancava o cosa era troppo.

3. L'Insegnante Intelligente (Il Modello di Ricompensa)

Una volta raccolti tutti questi voti, hanno addestrato un "insegnante" digitale (chiamato Reward Model).

• Questo insegnante non guarda solo i numeri, ma capisce cosa piace all'occhio umano.
• Se un'immagine ha un'ombra strana o ha perso il calore di un pedone, l'insegnante dice: "Brutto lavoro, questo non piace alle persone".
• Se l'immagine è nitida e chiara, dice: "Ottimo, proprio quello che cerchiamo!".

4. L'Allenamento con il Feedback (RLHF e GRPO)

Qui entra in gioco la parte più innovativa. Invece di far imparare al sistema di fusione con le vecchie regole matematiche, lo hanno fatto allenare come un atleta che riceve feedback dal suo allenatore.

• Usano una tecnica chiamata RLHF (Apprendimento per Rinforzo basato sul Feedback Umano).
• Il sistema prova a fondere un'immagine, l'"insegnante" (il modello di ricompensa) la valuta e gli dice: "Quella zona è troppo scura, prova a illuminarla".
• Usano una strategia intelligente chiamata GRPO (Ottimizzazione della Politica Relativa di Gruppo): immagina di dividere l'immagine in tanti piccoli pezzi (come un puzzle) e valutare ogni pezzo separatamente per capire esattamente dove migliorare, invece di dare un voto generico all'intera foto.

5. Il Risultato: Foto che "Hanno Senso" per Noi

Grazie a questo metodo, le nuove immagini fuse:

• Sembrano più naturali: Non sembrano "finte" o piene di errori.
• Sono più utili: In situazioni di sicurezza (come le auto a guida autonoma o le telecamere di sorveglianza), riescono a vedere meglio i pedoni nella nebbia o i dettagli degli edifici al buio rispetto ai metodi precedenti.
• Piacciono di più: Se chiedessi a 100 persone di scegliere la foto migliore tra quelle vecchie e quelle nuove, quasi tutti sceglierebbero le nuove perché sono più chiare e piacevoli da guardare.

In Sintesi

Questo paper dice: "Smettete di farvi guidare solo dai numeri. Chiedete alle persone cosa vogliono vedere, create un database di queste preferenze, e usate un'intelligenza artificiale per insegnare al computer a creare immagini che piacciano davvero agli occhi umani."

È come passare dal cucinare seguendo solo una bilancia, all'ascoltare i consigli di un maestro cuoco che assaggia ogni boccone per perfezionare il sapore.

Sommario tecnico

1. Il Problema

La fusione di immagini infrarosse e visibili (IVIF) è una tecnica fondamentale per migliorare la percezione della scena in applicazioni critiche come la guida autonoma, la sorveglianza di sicurezza e il riconoscimento militare. Tuttavia, i metodi attuali presentano due limitazioni fondamentali:

• Disallineamento con la percezione umana: Le tecniche esistenti ottimizzano prevalentemente funzioni di perdita "handcrafted" e metriche oggettive (come entropia, similarità strutturale o gradienti). Queste metriche matematiche spesso non riflettono le preferenze visive reali degli esseri umani, portando a risultati di fusione che possono apparire artificiali o privi di dettagli importanti per l'osservatore.
• Natura mal posta (Ill-posed): Non esiste un "ground truth" unico per il risultato di fusione ideale, il che rende difficile definire un obiettivo di ottimizzazione oggettivo.
• Mancanza di dati e metriche: Non esisteva un dataset su larga scala contenente feedback umano multidimensionale (punteggi soggettivi e annotazioni di artefatti) specifico per l'IVIF, né un meccanismo automatico per quantificare la qualità percettiva.

2. Metodologia Proposta

Gli autori propongono un Framework di Rinforzo con Feedback (Feedback Reinforcement Framework) che integra direttamente la valutazione soggettiva umana nel processo di fusione. L'approccio si articola in tre fasi principali:

A. Costruzione del Dataset di Feedback Umano

Per colmare il divario di dati, è stato creato il primo dataset su larga scala per l'IVIF basato sul feedback umano:

• Raccolta: Sono state selezionate 850 coppie di immagini (infrarosse e visibili) da 8 dataset diversi (es. FMB, LLVIP, M3FD), pulite e filtrate tramite CLIP ed esperti.
• Generazione: 11 modelli di fusione all'avanguardia (SOTA) sono stati eseguiti su queste coppie, generando 9.350 immagini fuse.
• Annotazione Ibrida (Umano + LLM):
  • Un piccolo set di 100 immagini è stato valutato da esperti senior con punteggi granulari (1-5) su quattro dimensioni: Ritenzione termica, Ritenzione della texture, Livello di artefatti, Nitidezza, oltre a mappe di calore per gli artefatti.
  • Il modello GPT-4o è stato fine-tunato su questo "seed dataset" per apprendere i criteri di valutazione umana.
  • GPT-4o ha poi annotato automaticamente tutte le 9.350 immagini, con una revisione finale da parte di ricercatori esperti per garantire la qualità.

B. Modello di Ricompensa Orientato alla Fusione (Reward Model)

Sul dataset annotato è stato addestrato un modello di ricompensa per quantificare la qualità percettiva:

• Architettura: Basata su un modello Vision-Language (ViT). Riceve in input l'immagine infrarossa, quella visibile e quella fuse.
• Funzionamento: Utilizza un encoder ViT condiviso per estrarre rappresentazioni semantiche, che vengono fuse attraverso un secondo ViT.
• Output: Il modello genera due branch di previsione:
  1. Punteggi: Prevede i 4 punteggi granulari e il punteggio medio.
  2. Mappa di Calore: Identifica la distribuzione spaziale degli artefatti strutturali nell'immagine fuse.
• Addestramento: Ottimizzato minimizzando l'errore quadratico medio (MSE) sia sui punteggi che sulle mappe di calore.

C. Ottimizzazione della Politica tramite RLHF (GRPO)

Il modello di fusione di base (basato su DCEvo) viene affinato (fine-tuned) utilizzando l'apprendimento per rinforzo guidato dal feedback umano:

• Segmentazione Semantica: Viene utilizzato il modello SAM (Segment Anything Model) per segmentare l'immagine fuse in regioni semantiche chiave (es. veicoli, persone, edifici).
• Valutazione a Livello di Regione: Ogni regione segmentata viene valutata dal Reward Model addestrato.
• Algoritmo GRPO: Viene applicata l'ottimizzazione della politica relativa di gruppo (Group Relative Policy Optimization). Invece di usare un singolo punteggio globale, si calcola il vantaggio relativo normalizzato tra le diverse regioni generate per lo stesso input.
• Obiettivo: Massimizzare la ricompensa aggregata mantenendo la coerenza con la politica di riferimento (tramite regolarizzazione KL), guidando la rete a produrre immagini che massimizzano le preferenze umane su tutte le regioni semantiche.

3. Contributi Chiave

1. Framework di Rinforzo con Feedback: Un approccio innovativo che integra esplicitamente le preferenze soggettive umane nel ciclo di ottimizzazione della fusione IVIF.
2. Primo Dataset di Feedback Umano per IVIF: Un dataset su larga scala (9.350 campioni) con punteggi multidimensionali e annotazioni dettagliate degli artefatti, essenziale per l'addestramento di modelli basati su preferenze.
3. Strategia di Apprendimento per Rinforzo Specifica: Sviluppo di una funzione di ricompensa e di una strategia di ottimizzazione (GRPO + SAM) che permette ai modelli di fusione di catturare meglio le preferenze visive umane rispetto ai metodi tradizionali.

4. Risultati Sperimentali

Il metodo è stato valutato su tre dataset benchmark (TNO, RoadScene, M3FD) e confrontato con 13 metodi SOTA.

• Metriche Oggettive: Il metodo proposto ha ottenuto risultati all'avanguardia (SOTA) in termini di Correlazione Incrociata (CC) e PSNR, superando i metodi esistenti su tutti i dataset. Ha anche ottenuto i migliori risultati nelle metriche senza riferimento (NIQE e BRISQUE), indicando una migliore qualità percepita.
• Valutazione Soggettiva: In un esperimento di ranking con partecipanti umani (esperti e non esperti), le immagini generate dal metodo proposto sono state classificate come preferibili rispetto a tutte le altre tecniche, confermando l'allineamento con l'estetica umana.
• Applicazioni a Valle (Downstream):
  • Segmentazione Semantica: Migliore accuratezza nella classificazione di oggetti in condizioni di scarsa illuminazione e nebbia.
  • Rilevamento Oggetti: Il metodo ha dimostrato una capacità superiore nel rilevare oggetti critici (es. motocicli in condizioni di scarsa luce, persone nella nebbia fitta) dove altri metodi fallivano o producevano falsi negativi.
• Studi di Ablazione: La rimozione di qualsiasi componente (branch di punteggio, mappa di calore, o segmentazione SAM) ha portato a un calo delle prestazioni, validando l'efficacia di ogni parte del framework.

5. Significato e Impatto

Questo lavoro rappresenta un cambio di paradigma nel campo della fusione di immagini:

• Superamento del divario Metrica-Umano: Dimostra che l'ottimizzazione basata su metriche matematiche tradizionali è insufficiente per applicazioni reali e che l'integrazione del feedback umano tramite RLHF è la strada da seguire.
• Standardizzazione dei Dati: La creazione di un dataset di feedback umano di alta qualità fornisce una risorsa fondamentale per la futura ricerca nell'IVIF, permettendo lo sviluppo di modelli più robusti e orientati all'utente.
• Miglioramento Operativo: Le immagini fuse risultano più utili per sistemi di sicurezza e guida autonoma, poiché preservano meglio i dettagli critici e riducono gli artefatti che potrebbero confondere gli algoritmi di visione artificiale o gli operatori umani.

In sintesi, il paper introduce un metodo che non si limita a fondere pixel, ma "impara" a fondere immagini in base a ciò che è visivamente più efficace e piacevole per l'occhio umano, ponendo le basi per sistemi di visione artificiale più affidabili e sicuri.