Sintesi Tecnica: FuScore – Portare i Modelli Linguistici Multimodali su Larga Scala alla Valutazione della Qualità della Fusione di Immagini Infrarosso-Visibile

1. Enunciato del Problema

La Fusione di Immagini Infrarosso-Visibile (IVIF) mira a integrare informazioni termiche e strutture spaziali dettagliate in un'unica immagine fusa. Tuttavia, la valutazione della qualità di queste immagini fuse rimane una sfida significativa. Gli approcci di valutazione esistenti soffrono di due limitazioni primarie:

1. Disallineamento con la Percezione Umana: Le metriche tradizionali senza riferimento basate su progettazione manuale (ad esempio, Entropia, Informazione Mutua, VIF) e le metriche con riferimento completo (che trattano le coppie sorgenti come pseudo-verità di base, ad esempio SSIM, PSNR) spesso non riescono a riflettere le preferenze percettive umane. Possono persino assegnare punteggi più alti a immagini fuse visivamente inferiori.
2. Limitazioni degli Approcci Basati su MLLM: I recenti sforzi per utilizzare Modelli Linguistici Multimodali su Larga Scala (MLLM) per la valutazione della qualità IVIF si basano tipicamente su supervisione one-hot discreta (prevedere un singolo livello di qualità) o regressione scalare su punteggi aggregati.
   • Supervisione Discreta: Forza immagini fuse di qualità simile in livelli di valutazione distinti e rigidi (ad esempio, Livello 4 vs. Livello 3), collassando differenze percettive sottili.
   • Regressione Scalare: Impara dai punteggi umani ma non riesce a sfruttare le capacità di ragionamento degli MLLM o a codificare il consenso (o l'ambiguità) dei giudizi umani per immagini specifiche.

La domanda centrale affrontata è: Come possono gli MLLM produrre punteggi di qualità IVIF continui sotto una supervisione che codifica il consenso di annotazione per immagine?

2. Metodologia: FuScore

Gli autori propongono FuScore, un valutatore basato su MLLM che genera punteggi di qualità continui anziché livelli discreti. Il framework è composto da tre componenti principali:

A. Generazione di Punteggi Continui tramite Output Distribuzionale

Invece di addestrare l'MLLM a emettere un singolo token di qualità, FuScore utilizza le probabilità di decodifica su cinque token di livello di qualità predefiniti ($L = \{1, 2, 3, 4, 5\}$).

• Il modello restituisce una distribuzione categorica $q_i(l)$ su questi token.
• Il punteggio continuo finale $\hat{y}_i$ è calcolato come il valore atteso di questa distribuzione: $\hat{y}_i = \sum l \cdot q_i(l)$.
• Ciò permette al modello di assegnare punteggi real-valori fini e granulari nell'intervallo $[1, 5]$, catturando differenze di qualità sottili che la supervisione discreta mancherebbe.

B. Costruzione di Etichette Morbide Consapevoli delle Sottodimensioni

Per supervisionare la distribuzione prevista, FuScore costruisce un'"etichetta morbida" $p_i$ per ogni immagine. Il centro di questa etichetta è il punteggio umano complessivo, ma la sua nitidezza (larghezza) è modulata dinamicamente dall'accordo tra quattro sottodimensioni specifiche per IVIF:

1. Conservazione Termica
2. Conservazione della Texture
3. Artefatti
4. Nitidezza

Gli autori definiscono un segnale di consenso $\delta_i$ come la deviazione standard di questi quattro punteggi delle sottodimensioni.

• Alto Consenso (Basso $\delta_i$): Quando le sottodimensioni concordano, l'etichetta morbida è fortemente concentrata attorno al punteggio complessivo.
• Basso Consenso (Alto $\delta_i$): Quando le sottodimensioni non concordano, l'etichetta viene ampliata per riflettere il fatto che il giudizio complessivo è meno consensuale.
  Questo approccio garantisce che l'obiettivo di supervisione rifletta fedelmente l'ambiguità intrinseca nell'annotazione umana per immagini specifiche.

C. Obiettivo di Addestramento Tripartito

FuScore impiega una funzione di perdita composita per affrontare il ranking a diversi ambiti:

1. Supervisione Distribuzionale per Immagine ($\mathcal{L}_{KL}$): Allinea la distribuzione prevista con l'etichetta gaussiana morbida utilizzando la divergenza di Kullback–Leibler.
2. Fedeltà all'interno della Coppia Sorgente ($\mathcal{L}_{fid}$): Impone fedeltà pairwise in stile Thurstone per immagini provenienti dalla stessa coppia sorgente (stessa scena). Ciò cattura l'ordinamento a livello di metodo. Il margine pairwise è derivato dalle larghezze delle etichette morbide, rendendo il confronto consapevole dell'incertezza.
3. Fedeltà tra Coppie Sorgente ($\mathcal{L}_{xfid}$): Impone fedeltà in stile Thurstone tra diverse coppie sorgente (scene diverse). Ciò cattura le variazioni di difficoltà a livello di scena e garantisce che il modello generalizzi attraverso le scene.

La perdita totale è una somma ponderata: $\mathcal{L} = \mathcal{L}_{KL} + \lambda_{fid}\mathcal{L}_{fid} + \lambda_{xfid}\mathcal{L}_{xfid}$.

3. Contributi Chiave

1. FuScore: Il primo valutatore di qualità IVIF basato su MLLM addestrato con supervisione a livello di distribuzione, capace di generare punteggi continui per immagini fuse.
2. Etichette Morbide Consapevoli delle Sottodimensioni: Un metodo innovativo di costruzione delle etichette che modula la nitidezza dell'etichetta in base all'accordo tra quattro sottodimensioni specifiche per IVIF, permettendo alla supervisione di riflettere il consenso del giudizio umano.
3. Obiettivo di Addestramento Tripartito: Una strategia di ottimizzazione congiunta che combina l'adattamento distribuzionale per immagine, la fedeltà all'interno della coppia sorgente e la fedeltà tra coppie sorgente, utilizzando margini consapevoli dell'incertezza derivati dall'accordo delle sottodimensioni.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sul benchmark EVAFusion (9.350 immagini fuse, 850 coppie sorgenti) e su un nuovo dataset pilota SemanticRT 5-expert.

• Correlazione State-of-the-Art: FuScore ha raggiunto la correlazione più alta con le preferenze visive umane su tutte le metriche di ranking riportate (SRCC, PLCC, KRCC, PairAcc, Per-SP $\tau$).
  • Su EVAFusion, l'ensemble a 3 semi ha raggiunto un SRCC di 0,648, superando la baseline esterna più forte (ViT-L+MLP) di +0,094.
  • Ha superato significativamente i modelli IQA per immagini naturali zero-shot (ad esempio, Q-Align, DeQA-Score) e le metriche basate su progettazione manuale, indicando che il pre-addestramento su immagini naturali non si trasferisce bene all'IVIF senza supervisione nel dominio.
• Generalizzazione:
  • Cross-Method: In una valutazione leave-K-method-out, FuScore ha mantenuto un'alta correlazione (SRCC 0,628), solo 0,020 al di sotto delle sue prestazioni in-distribution.
  • Cross-Dataset: Sul pilota SemanticRT (dati non visti), FuScore ha raggiunto un SRCC di 0,561, superando la baseline ViT-L+MLP (0,471) di +0,090.
• Studi di Ablazione:
  • L'obiettivo tripartito (in particolare la fedeltà tra coppie sorgente) è stato dimostrato essere il principale motore dei guadagni nel ranking.
  • Le etichette morbide consapevoli delle sottodimensioni hanno modellato con successo l'ambiguità di annotazione. Gli autori hanno dimostrato che l'incertezza prevista ($\hat{\sigma}$) correla positivamente con il disaccordo inter-valutatore umano sul pilota SemanticRT ($\rho = 0,42$), confermando che il conflitto ad alta dimensionalità ($\delta_i$) riflette un'ambiguità umana genuina e non solo compromessi multi-attributo.
  • È stato osservato un "pavimento lato dati": su immagini con alto disaccordo tra sottodimensioni (alto-$\delta$), tutti i 11 metodi valutati (incluso FuScore) hanno raggiunto un plateau in una banda SRCC bassa, suggerendo un limite imposto dall'inconsistenza intrinseca delle annotazioni umane per queste immagini specifiche.

5. Significato e Affermazioni

Il documento afferma che FuScore rappresenta un passo significativo in avanti nella valutazione della qualità IVIF attraverso:

• Colmare il Divario di Allineamento Umano: Superare livelli discreti rigidi e regressione scalare per catturare la sfumatura della percezione umana e il consenso del giudizio esperto.
• Sfruttare il Ragionamento MLLM: Utilizzare le capacità di ragionamento linguistico e visivo degli MLLM (in particolare Qwen3-VL) in modo specificamente adattato al dominio IVIF attraverso una supervisione consapevole delle sottodimensioni.
• Affrontare l'Ambiguità di Annotazione: Modellare esplicitamente l'incertezza nei punteggi umani, il che permette al modello di apprendere in modo più robusto da dati esperti rumorosi o conflittuali.

Gli autori notano che, sebbene FuScore raggiunga risultati state-of-the-art, il tetto di prestazioni sulle immagini ad alta ambiguità suggerisce che i futuri miglioramenti potrebbero dipendere da annotazioni multi-valutatore più ricche che possano distinguere gli artefatti di aggregazione dall'ambiguità umana intrinseca. Il documento riconosce anche il costo di inferenza dell'uso di grandi MLLM, suggerendo che il dispiegamento in tempo reale richiederebbe backbones più piccoli.