💻 computer science

Bringing Multimodal Large Language Models to Infrared-Visible Image Fusion Quality Assessment

Dieser Beitrag stellt FuScore vor, ein neuartiges Bewertungsframework für die Infrarot-Sichtbar-Bildfusion, das Multimodale Große Sprachmodelle nutzt, um kontinuierliche Qualitätsbewertungen zu generieren und ein dreiteiliges Ziel mit weichen Labels anwendet, wodurch durch die Überwindung der Einschränkungen bestehender diskreter und skalärer Bewertungsmethoden eine state-of-the-art-Korrelation mit menschlichen visuellen Präferenzen erreicht wird.

Ursprüngliche Autoren: Yuchen Guo, Junli Gong, Yao Lu, Xintong Xu, Yiuming Cheung, Weifeng Su

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yuchen Guo, Junli Gong, Yao Lu, Xintong Xu, Yiuming Cheung, Weifeng Su

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Zwei Kameras zu einer mischen

Stellen Sie sich vor, Sie haben zwei Kameras, die nachts dasselbe Szenario aufnehmen.

Kamera A (Infrarot): Sieht Wärme. Sie kann eine Person im Dunkeln ausmachen, weil sie warm ist, aber das Bild wirkt unscharf und detailarm.
Kamera B (Sichtbar): Sieht Licht. Sie zeigt scharfe Details wie Astzweige oder Straßenschilder, aber wenn es zu dunkel ist, ist das Bild stockfinster.

Bildfusion ist der Prozess, bei dem diese beiden Fotos zu einem einzigen „Superfoto" kombiniert werden, das sowohl die Wärmeerkennung als auch die scharfen Details vereint. Dies ist entscheidend für Dinge wie selbstfahrende Autos oder Sicherheitssysteme.

Das Problem: Wie wissen wir, ob das „Superfoto" gut ist?

Das Papier argumentiert, dass die aktuellen Methoden, mit denen wir diese „Superfotos" bewerten, kaputt sind.

Der alte Weg (Mathematische Formeln): Wissenschaftler verwendeten früher starre mathematische Formeln (wie das Zählen, wie viel „Information" im Bild steckt). Das Papier sagt, dies sei wie das Bewerten eines Suppenrezepts allein durch das Zählen der Anzahl der Karotten und Kartoffeln. Sie könnten viele Zutaten haben, aber die Suppe könnte trotzdem schrecklich schmecken. Diese Formeln vergeben oft hohe Punktzahlen an hässliche, unscharfe Bilder.
Die „One-Hot"-KI-Methode: Kürzlich versuchten Leute, KI (Large Language Models) zu nutzen, um die Fotos zu bewerten. Aber sie zwangen die KI, eine Note wie in einem Schulzeugnis zu vergeben: „1, 2, 3, 4 oder 5".
- Der Fehler: Stellen Sie sich vor, zwei Schüler erhalten Noten von 94,5 und 94,8. Wenn Sie sie in Kategorien wie „A" oder „B" zwingen, verlieren Sie die Nuancen. Das Papier sagt, dass das Zwingen der KI, ein einzelnes ganzzahliges Niveau zu wählen (wie „Level 4"), dazu führt, dass sie winzige, aber wichtige Unterschiede zwischen zwei sehr ähnlichen Bildern übersieht. Es ist, als würde man sagen, zwei fast identische Gemälde gehörten in völlig verschiedene Kunstgalerien, nur weil das eine eine „4" und das andere eine „3" bekam.

Die Lösung: FuScore

Die Autoren schufen FuScore, einen neuen KI-Richter, der eher wie ein menschlicher Experte agiert.

1. Die Analogie des „kontinuierlichen Scores"

Anstatt die KI zu fragen: „Ist dies eine 4 oder eine 5?", fragt FuScore: „Auf einer Skala von 1 bis 5, wo genau landet dies?"

Alte KI: „Das ist eine 4." (Diskret)
FuScore: „Das ist eine 4,75." (Kontinuierlich)
Dies ermöglicht es der KI, den Unterschied zwischen zwei fast identischen Bildern zu erkennen, was für die Feinabstimmung der Fusionstechnologie entscheidend ist.

2. Die Analogie der „Gruppenkonsens"

Wie weiß FuScore, wie präzise seine Bewertung sein sollte? Es betrachtet vier spezifische Kriterien, die zur Bewertung dieser Bilder verwendet werden:

Wärmeerhalt: Hat es die warmen Stellen behalten?
Textur: Sind die Details scharf?
Artefakte: Gibt es seltsame Störungen oder Rauschen?
Schärfe: Ist das Bild klar?

Szenario A (Einigkeit): Wenn alle vier Kriterien sagen: „Das ist ein tolles Bild", gibt FuScore einen sehr scharfen, selbstbewussten Score (z. B. 4,8).
Szenario B (Uneinigkeit): Wenn das Bild eine tolle Wärme, aber schreckliche Störungen aufweist, streiten die vier Kriterien miteinander. FuScore merkt: „Hmm, Menschen könnten bei diesem uneinig sein." Also gibt es einen breiteren, verschwommeneren Score-Bereich, um diese Unsicherheit widerzuspiegeln. Es ist wie ein Lehrer, der sagt: „Dieser Aufsatz ist gut, aber da Grammatik und Geschichte sich widersprechen, bin ich nicht zu 100 % sicher, wo ich ihn einstufen soll."

3. Das „Dreiteilige Training"

Um diese KI zu unterrichten, zeigten die Autoren ihr nicht einfach nur ein Foto nach dem anderen. Sie nutzten eine Dreiteilige-Trainingsstrategie:

Teil 1 (Das Individuum): Lehren Sie der KI, den richtigen Score für ein einzelnes Foto basierend auf dem „Konsens" der vier Kriterien zu vergeben.
Teil 2 (Dasselbe Szenario): Zeigen Sie der KI zwei Fotos derselben Szene, die mit verschiedenen Methoden erstellt wurden. Fragen Sie: „Welches ist besser?" Dies lehrt sie, Methoden fair zu rangieren.
Teil 3 (Verschiedene Szenarien): Zeigen Sie der KI Fotos aus verschiedenen Szenen (z. B. ein Wald versus eine Stadt). Dies lehrt sie, dass einige Szenen einfach schwieriger zu fusionieren sind als andere, damit sie sich nicht durch die Schwierigkeit des Hintergrunds verwirren lässt.

Die Ergebnisse

Das Papier testete FuScore gegen:

Alte mathematische Formeln.
Andere KI-Richter.
Menschliche Experten.

Das Ergebnis: FuScore entsprach den menschlichen Präferenzen besser als jede andere Methode. Es war besonders gut darin, die winzigen Unterschiede zwischen hochwertigen Bildern zu erkennen, die andere Methoden übersehen haben. Es bewies auch, dass, wenn die vier Kriterien (Wärme, Textur usw.) uneinig waren, auch menschliche Experten uneiniger waren, was beweist, dass die „Unsicherheits"-Funktion von FuScore real und nützlich ist.

Zusammenfassung

FuScore ist ein neuer KI-Richter für fusionierte Bilder, der aufhört, Qualität wie einen Multiple-Choice-Test zu behandeln. Stattdessen agiert es wie ein nuancierter menschlicher Kritiker, der präzise Dezimalscores vergibt und zugibt, wenn ein Bild schwer zu bewerten ist, weil verschiedene Teile davon im Widerspruch stehen. Es lernt, indem es die Übereinstimmung zwischen verschiedenen Qualitätsfaktoren betrachtet und Bilder nebeneinander vergleicht, was zu einem System führt, das menschlichen Geschmack viel besser versteht als die alten mathematischen Formeln oder starren KI-Bewerter.

Technische Zusammenfassung: FuScore – Einführung multimodaler großer Sprachmodelle in die Qualitätsbewertung der Infrarot-Sichtbar-Bildfusion

1. Problemstellung

Die Infrarot-Sichtbar-Bildfusion (IVIF) zielt darauf ab, thermische Informationen und detaillierte räumliche Strukturen in ein einziges fusioniertes Bild zu integrieren. Die Bewertung der Qualität dieser fusionierten Bilder bleibt jedoch eine erhebliche Herausforderung. Bestehende Bewertungsansätze leiden unter zwei primären Einschränkungen:

Fehlende Übereinstimmung mit der menschlichen Wahrnehmung: Traditionelle, manuell entworfene Referenz-freie Metriken (z. B. Entropie, gegenseitige Information, VIF) und Referenz-volle Metriken (die Quellpaare als Pseudo-Wahrheiten behandeln, z. B. SSIM, PSNR) spiegeln oft nicht die menschlichen Wahrnehmungsvorlieben wider. Sie können sogar visuell minderwertigen fusionierten Bildern höhere Scores zuweisen.
Einschränkungen aktueller MLLM-basierter Ansätze: Jüngste Bemühungen, Multimodale Große Sprachmodelle (MLLMs) für die IVIF-Qualitätsbewertung einzusetzen, verlassen sich typischerweise auf diskrete One-Hot-Überwachung (Vorhersage eines einzelnen Qualitätsniveaus) oder skalare Regression auf aggregierten Scores.
- Diskrete Überwachung: Zwingt fusionierte Bilder ähnlicher Qualität in diskrete, starre Bewertungsstufen (z. B. Stufe 4 vs. Stufe 3) und eliminiert dabei subtile wahrgenommene Unterschiede.
- Skalare Regression: Lernt zwar aus menschlichen Bewertungen, versagt jedoch darin, die推理fähigkeiten (Reasoning) von MLLMs zu nutzen oder den Konsens (oder die Ambiguität) menschlicher Urteile für spezifische Bilder zu kodieren.

Die zentrale Frage lautet: Wie können MLLMs kontinuierliche IVIF-Qualitätsscores unter einer Überwachung erzeugen, die den pro-Bild-Annotierungskonsens kodiert?

2. Methodik: FuScore

Die Autoren schlagen FuScore vor, einen MLLM-basierten Scorer, der kontinuierliche Qualitätsscores anstelle diskreter Stufen generiert. Das Framework besteht aus drei Hauptkomponenten:

A. Generierung kontinuierlicher Scores durch distributionale Ausgabe

Anstatt das MLLM zu trainieren, einen einzelnen Qualitätstoken auszugeben, nutzt FuScore die Dekodierungswahrscheinlichkeiten über fünf vordefinierte Qualitätslevel-Tokens ( $L = \{1, 2, 3, 4, 5\}$ ).

Das Modell gibt eine kategorische Verteilung $q_i(l)$ über diese Tokens aus.
Der endgültige kontinuierliche Score $\hat{y}_i$ wird als Erwartungswert dieser Verteilung berechnet: $\hat{y}_i = \sum l \cdot q_i(l)$ .
Dies ermöglicht dem Modell, feinabgestufte, reellwertige Scores im Bereich $[1, 5]$ zuzuweisen und subtile Qualitätsunterschiede zu erfassen, die eine diskrete Überwachung übersehen würde.

B. Subdimensionen-bewusste Konstruktion weicher Labels

Um die vorhergesagte Verteilung zu überwachen, konstruiert FuScore für jedes Bild ein „weiches Label" $p_i$ . Das Zentrum dieses Labels ist der gesamte menschliche Score, aber seine Schärfe (Breite) wird dynamisch durch die Übereinstimmung unter vier IVIF-spezifischen Subdimensionen moduliert:

Thermische Erhaltung
Texturerhaltung
Artefakte
Schärfe

Die Autoren definieren ein Konsenssignal $\delta_i$ als die Standardabweichung dieser vier Subdimensionsscores.

Hoher Konsens (Niedriges $\delta_i$ ): Wenn die Subdimensionen übereinstimmen, ist das weiche Label scharf um den Gesamtscore konzentriert.
Niedriger Konsens (Hohes $\delta_i$ ): Wenn die Subdimensionen nicht übereinstimmen, wird das Label verbreitert, um widerzuspiegeln, dass das Gesamsurteil weniger konsensual ist.
Dieser Ansatz stellt sicher, dass das Überwachungsziel die Ambiguität, die bei der menschlichen Annotation spezifischer Bilder inhärent ist, treu widerspiegelt.

C. Tripartites Trainingsziel

FuScore verwendet eine zusammengesetzte Verlustfunktion, um das Ranking in verschiedenen Bereichen zu adressieren:

Pro-Bild-distributionale Überwachung ( $\mathcal{L}_{KL}$ ): Bringt die vorhergesagte Verteilung mit dem weichen Gauß-Label unter Verwendung der Kullback-Leibler-Divergenz in Übereinstimmung.
Fidelity innerhalb von Quellpaaren ( $\mathcal{L}_{fid}$ ): Erzwingt Thurstone-artige paarweise Fidelity für Bilder aus dem gleichen Quellpaar (gleiche Szene). Dies erfasst die Methodenebenen-Ordnung. Der paarweise Rand wird aus den Breiten der weichen Labels abgeleitet, wodurch der Vergleich unsicherheitsbewusst wird.
Fidelity über Quellpaare hinweg ( $\mathcal{L}_{xfid}$ ): Erzwingt Thurstone-artige Fidelity über unterschiedliche Quellpaare (unterschiedliche Szenen) hinweg. Dies erfasst Variationen der Szenenschwierigkeit und stellt sicher, dass das Modell über Szenen hinweg generalisiert.

Der Gesamtverlust ist eine gewichtete Summe: $\mathcal{L} = \mathcal{L}_{KL} + \lambda_{fid}\mathcal{L}_{fid} + \lambda_{xfid}\mathcal{L}_{xfid}$ .

3. Hauptbeiträge

FuScore: Der erste MLLM-basierte IVIF-Qualitätsscorer, der mit distributionsebene-Überwachung trainiert wurde und in der Lage ist, kontinuierliche Scores für fusionierte Bilder zu generieren.
Subdimensionen-bewusste weiche Labels: Eine neuartige Methode zur Label-Konstruktion, die die Label-Schärfe basierend auf der Übereinstimmung unter vier IVIF-spezifischen Subdimensionen moduliert und es der Überwachung ermöglicht, den Konsens menschlicher Urteile widerzuspiegeln.
Tripartites Trainingsziel: Eine gemeinsame Optimierungsstrategie, die pro-Bild-distributionale Anpassung, Fidelity innerhalb von Quellpaaren und Fidelity über Quellpaare hinweg kombiniert und unsicherheitsbewusste Ränder nutzt, die aus der Subdimensionen-Übereinstimmung abgeleitet sind.

4. Experimentelle Ergebnisse

Experimente wurden auf dem EVAFusion-Benchmark (9.350 fusionierte Bilder, 850 Quellpaare) und einem neuen SemanticRT 5-Experten-Pilot-Datensatz durchgeführt.

State-of-the-Art-Korrelation: FuScore erzielte die höchste Korrelation mit menschlichen visuellen Vorlieben über alle berichteten Rangmetriken (SRCC, PLCC, KRCC, PairAcc, Per-SP $\tau$ $τ$ ).
- Auf EVAFusion erreichte das 3-Samen-Ensemble einen SRCC von 0,648 und übertraf die stärkste externe Baseline (ViT-L+MLP) um +0,094.
- Es übertraf Zero-Shot-IQA-Modelle für Naturbilder (z. B. Q-Align, DeQA-Score) und manuell entworfene Metriken signifikant, was darauf hindeutet, dass das Pretraining auf Naturbilder ohne domänenspezifische Überwachung nicht gut auf IVIF übertragbar ist.
Generalisierung:
- Über Methoden hinweg: In einer Leave-K-Methoden-heraus-Evaluation behielt FuScore eine hohe Korrelation bei (SRCC 0,628), nur 0,020 unter seiner Performance innerhalb der Verteilung.
- Über Datensätze hinweg: Auf dem SemanticRT-Pilot (ungesehene Daten) erreichte FuScore einen SRCC von 0,561 und übertraf die ViT-L+MLP-Baseline (0,471) um +0,090.
Ablationsstudien:
- Das tripartite Ziel (insbesondere die Fidelity über Quellpaare hinweg) erwies sich als primärer Treiber für Ranking-Gewinne.
- Die subdimensionen-bewussten weichen Labels modellierten die Annotationsambiguität erfolgreich. Die Autoren zeigten, dass die vorhergesagte Unsicherheit ( $\hat{\sigma}$ ) positiv mit der Diskrepanz zwischen menschlichen Bewertern auf dem SemanticRT-Pilot korreliert ( $\rho = 0,42$ ), was bestätigt, dass hochdimensionale Konflikte ( $\delta_i$ ) echte menschliche Ambiguität widerspiegeln und nicht nur Mehr-Attribut-Trade-offs.
- Ein „Boden auf der Datenseite" wurde beobachtet: Bei Bildern mit hoher Subdimensionen-Diskrepanz (hoch- $\delta$ ) stagnierten alle 11 bewerteten Methoden (einschließlich FuScore) in einem niedrigen SRCC-Bereich, was auf eine Grenze hindeutet, die durch die inhärente Inkonsistenz menschlicher Annotationen für diese spezifischen Bilder auferlegt wird.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass FuScore einen bedeutenden Schritt nach vorne in der IVIF-Qualitätsbewertung darstellt durch:

Überbrückung der Lücke zur menschlichen Ausrichtung: Überwindung starrer diskreter Stufen und skalarer Regression, um die Nuancen der menschlichen Wahrnehmung und den Konsens von Expertenurteilen zu erfassen.
Nutzung von MLLM-Reasoning: Ausnutzung der linguistischen und visuellen推理fähigkeiten von MLLMs (speziell Qwen3-VL) in einer Weise, die durch subdimensionen-bewusste Überwachung speziell auf den IVIF-Bereich zugeschnitten ist.
Adressierung von Annotationsambiguität: Explizite Modellierung der Unsicherheit in menschlichen Bewertungen, was es dem Modell ermöglicht, robuster aus verrauschten oder konfliktbehafteten Expertendaten zu lernen.

Die Autoren merken an, dass FuScore zwar State-of-the-Art-Ergebnisse erzielt, die Performance-Obergrenze bei Bildern mit hoher Ambiguität jedoch darauf hindeutet, dass zukünftige Verbesserungen von reichhaltigeren Multi-Bewerter-Annotationen abhängen könnten, die Aggregationsartefakte von inhärenter menschlicher Ambiguität entwirren können. Die Arbeit erkennt zudem die Inferenzkosten bei der Verwendung großer MLLMs an und schlägt vor, dass eine Echtzeit-Bereitstellung kleinere Backbones erfordern würde.