Technische Samenvatting: FuScore – Het Toepassen van Multimodale Grootte Taalmodellen op Kwaliteitsbeoordeling van Infrarood-Zichtbare Beeldfusie

1. Probleemstelling

Infrarood-Zichtbare Beeldfusie (IVIF) heeft tot doel thermische informatie en gedetailleerde ruimtelijke structuren te integreren in één samengevoegd beeld. Het beoordelen van de kwaliteit van deze samengevoegde beelden blijft echter een aanzienlijke uitdaging. Bestaande evaluatiebenaderingen lijden onder twee primaire beperkingen:

1. Misalignering met Menselijke Perceptie: Traditionele handgemaakte no-reference-metrics (zoals Entropie, wederzijdse informatie, VIF) en full-reference-metrics (die bronparen behandelen als pseudo-ground truths, bijvoorbeeld SSIM, PSNR) slagen er vaak niet in menselijke perceptieve voorkeuren weer te geven. Ze kunnen zelfs hogere scores toekennen aan visueel inferieure samengevoegde beelden.
2. Beperkingen van Huidige MLLM-gebaseerde Benaderingen: Recente inspanningen om Multimodale Grootte Taalmodellen (MLLM's) te gebruiken voor IVIF-kwaliteitsbeoordeling vertrouwen doorgaans op discrete one-hot-supervisie (het voorspellen van één kwaliteitsniveau) of scalair regressie op geaggregeerde scores.
   • Discrete Supervisie: Dwingt samengevoegde beelden met vergelijkbare kwaliteit in distincte, rigide beoordelingsniveaus (bijvoorbeeld Niveau 4 versus Niveau 3), waardoor subtiele perceptuele verschillen worden samengevoegd.
   • Scalair Regressie: Leert van menselijke beoordelingen, maar faalt erin de redeneercapaciteiten van MLL's te benutten of het consensus (of de ambiguïteit) van menselijke oordelen voor specifieke beelden te coderen.

De kernvraag die wordt aangepakt is: Hoe kunnen MLLM's continue IVIF-kwaliteitsscores produceren onder supervisie die per-beeld annotatieconsensus codeert?

2. Methodologie: FuScore

De auteurs stellen FuScore voor, een MLLM-gebaseerde scorer die continue kwaliteitsscores genereert in plaats van discrete niveaus. Het kader bestaat uit drie hoofdbestanddelen:

A. Continue Scoregeneratie via Distributie-uitvoer

In plaats van de MLLM te trainen om een enkele kwaliteitstoken uit te zenden, maakt FuScore gebruik van de decoderingskansen over vijf vooraf gedefinieerde kwaliteitsniveautokens ($L = \{1, 2, 3, 4, 5\}$).

• Het model voert een categorische verdeling $q_i(l)$ over deze tokens uit.
• De uiteindelijke continue score $\hat{y}_i$ wordt berekend als de verwachting van deze verdeling: $\hat{y}_i = \sum l \cdot q_i(l)$.
• Hierdoor kan het model fijnmazige, reële waarden toekennen binnen het bereik $[1, 5]$, waardoor subtiele kwaliteitsverschillen worden vastgelegd die discrete supervisie zou missen.

B. Sub-dimensie-bewuste Zachte Labelconstructie

Om de voorspelde verdeling te superviseren, construeert FuScore een "zacht label" $p_i$ voor elk beeld. Het centrum van dit label is de algehele menselijke score, maar de scherpte (breedte) wordt dynamisch gemoduleerd door de overeenstemming tussen vier IVIF-specifieke sub-dimensies:

1. Thermische Behoud
2. Textuurbehoud
3. Artefacten
4. Scherpte

De auteurs definiëren een consensus-signaal $\delta_i$ als de standaardafwijking van deze vier sub-dimensiescores.

• Hoge Consensus (Lage $\delta_i$): Wanneer sub-dimensies overeenstemmen, is het zachte label scherp geconcentreerd rond de algehele score.
• Lage Consensus (Hoge $\delta_i$): Wanneer sub-dimensies het oneens zijn, wordt het label verbreed om weer te geven dat het algehele oordeel minder consensueel is.
  Deze aanpak zorgt ervoor dat het supervisie-doel de ambiguïteit die inherent is aan menselijke annotatie voor specifieke beelden, getrouw weerspiegelt.

C. Tripartiete Trainingsdoelstelling

FuScore maakt gebruik van een samengestelde verliesfunctie om ranking op verschillende schalen aan te pakken:

1. Per-beeld Distributie-supervisie ($\mathcal{L}_{KL}$): Aligneert de voorspelde verdeling met het zachte Gaussische label met behulp van Kullback-Leibler-divergentie.
2. Binnen-bronpaar Fideliteit ($\mathcal{L}_{fid}$): Handhaaft Thurstone-stijl paarsgewijze fideliteit voor beelden uit hetzelfde bronpaar (zelfde scène). Dit vangt methoden-niveau ordening. De paarsgewijze marge is afgeleid van de zachte-label-breedtes, waardoor de vergelijking onzekerheidsbewust wordt.
3. Kruis-bronpaar Fideliteit ($\mathcal{L}_{xfid}$): Handhaaft Thurstone-stijl fideliteit over verschillende bronparen (verschillende scènes). Dit vangt variaties in sceneniveau-moeilijkheid en zorgt ervoor dat het model generaliseert over scènes.

Het totale verlies is een gewogen som: $\mathcal{L} = \mathcal{L}_{KL} + \lambda_{fid}\mathcal{L}_{fid} + \lambda_{xfid}\mathcal{L}_{xfid}$.

3. Belangrijkste Bijdragen

1. FuScore: De eerste MLLM-gebaseerde IVIF-kwaliteitsscorer die is getraind met distributie-niveau supervisie, en die in staat is continue scores te genereren voor samengevoegde beelden.
2. Sub-dimensie-bewuste Zachte Labels: Een nieuwe labelconstructiemethode die de scherpte van labels moduleert op basis van de overeenstemming tussen vier IVIF-specifieke sub-dimensies, waardoor supervisie het consensus van menselijke oordelen kan weerspiegelen.
3. Tripartiete Trainingsdoelstelling: Een gezamenlijke optimalisatiestrategie die per-beeld distributiematching, binnen-bronpaar fideliteit en kruis-bronpaar fideliteit combineert, gebruikmakend van onzekerheidsbewuste marges die zijn afgeleid van sub-dimensie-overeenstemming.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op de EVAFusion-benchmark (9.350 samengevoegde beelden, 850 bronparen) en een nieuwe SemanticRT 5-expert pilot-dataset.

• State-of-the-Art Correlatie: FuScore behaalde de hoogste correlatie met menselijke visuele voorkeuren over alle gerapporteerde rangschikking-metrics (SRCC, PLCC, KRCC, PairAcc, Per-SP $\tau$).
  • Op EVAFusion behaalde het ensemble van 3 zaden een SRCC van 0,648, wat de sterkste externe baseline (ViT-L+MLP) met +0,094 overtrof.
  • Het presteerde aanzienlijk beter dan zero-shot natural-image IQA-modellen (bijvoorbeeld Q-Align, DeQA-Score) en handgemaakte metrics, wat aangeeft dat pretraining op natuurlijke beelden niet goed overdraagt naar IVIF zonder domeinspecifieke supervisie.
• Generalisatie:
  • Cross-Methode: In een leave-K-methode-uit-evaluatie behield FuScore een hoge correlatie (SRCC 0,628), slechts 0,020 onder zijn prestaties binnen de verdeling.
  • Cross-Dataset: Op de SemanticRT pilot (ongezien data) behaalde FuScore een SRCC van 0,561, wat de ViT-L+MLP baseline (0,471) met +0,090 overtrof.
• Ablatiestudies:
  • De tripartiete doelstelling (specifiek de kruis-bronpaar fideliteit) bleek de primaire drijver voor rankingwinsten.
  • De sub-dimensie-bewuste zachte labels modelleerden annotatie-ambiguïteit succesvol. De auteurs toonden aan dat de voorspelde onzekerheid ($\hat{\sigma}$) positief correleert met menselijke inter-rater-onenigheid op de SemanticRT pilot ($\rho = 0,42$), wat bevestigt dat hoge-dimensionale conflicten ($\delta_i$) echte menselijke ambiguïteit weerspiegelen en niet alleen multi-attribuut trade-offs.
  • Er werd een "data-zijde vloer" waargenomen: op beelden met hoge sub-dimensie-onenigheid (hoge-$\delta$) platte alle 11 geëvalueerde methoden (inclusief FuScore) af op een lage SRCC-band, wat wijst op een limiet die wordt opgelegd door de inherente inconsistentie van menselijke annotaties voor deze specifieke beelden.

5. Betekenis en Claims

Het artikel claimt dat FuScore een aanzienlijke stap voorwaarts betekent in IVIF-kwaliteitsbeoordeling door:

• De Mens-Aligneringkloof te Overbruggen: Voorbij rigide discrete niveaus en scalair regressie te gaan om de nuance van menselijke perceptie en het consensus van expertoordeelen vast te leggen.
• MLLM-Redenering te Benutten: Het gebruik van de linguïstische en visuele redeneercapaciteiten van MLLM's (specifiek Qwen3-VL) op een manier die specifiek is toegesneden op het IVIF-domein via sub-dimensie-bewuste supervisie.
• Annotatie-Ambiguïteit aan te Pakken: Het expliciet modelleren van de onzekerheid in menselijke beoordelingen, waardoor het model robuuster kan leren van ruisachtige of conflicterende expertdata.

De auteurs merken op dat, hoewel FuScore state-of-the-art resultaten behaalt, het prestatiedak op beelden met hoge ambiguïteit suggereert dat toekomstige verbeteringen kunnen afhangen van rijkere multi-rater-annotaties die aggregatie-artefacten kunnen ontwarren van inherente menselijke ambiguïteit. Het artikel erkent ook de inferentiekost van het gebruik van grote MLLM's, en suggereert dat real-time implementatie kleinere backbones vereist.