Bridging Human Evaluation to Infrared and Visible Image Fusion

Die Autoren stellen einen Feedback-Reinforcement-Learning-Rahmen vor, der durch die Einführung des ersten groß angelegten menschlichen Feedback-Datensatzes für die Infrarot- und sichtbare Bildfusion sowie die Optimierung mittels eines Belohnungsmodells und Group Relative Policy Optimization die Qualität fusionierter Bilder an menschliche ästhetische Präferenzen anpasst.

Das Wesentliche

Das Problem: Der "Roboter-Maler", der die Menschen nicht versteht

Stell dir vor, du hast zwei sehr unterschiedliche Fotografen:

1. Der Infrarot-Fotograf: Er sieht die Wärme. Er kann Autos im Nebel oder Menschen in der Dunkelheit perfekt erkennen, aber sein Bild sieht aus wie ein verschwommener Wärmebild-Scan ohne Details.
2. Der Sichtbarkeits-Fotograf: Er sieht die Welt, wie wir sie kennen – mit Farben, Texturen und scharfen Kanten. Aber bei Nacht oder im Nebel ist er blind.

Die Aufgabe der Bildfusion (IVIF) ist es, diese beiden Fotografen zu einem Super-Fotografen zu vereinen, der ein Bild macht, das beides kann: scharfe Details bei Nacht.

Das Problem bisher:
Bisher haben Computer-Algorithmen versucht, diese Bilder zu verbessern, indem sie mathematische Formeln benutzt haben. Sie haben gemessen: "Ist das Bild statistisch gesehen gut? Ist der Kontrast hoch?"
Das ist, als würde ein Koch ein Gericht nur nach dem Gewicht der Zutaten beurteilen, ohne zu schmecken. Das Ergebnis war oft technisch "perfekt" nach Formeln, sah aber für uns Menschen seltsam aus, war zu dunkel, hatte seltsame Artefakte (Störungen) oder wirkte unnatürlich. Die Computer wusten nicht, was ein Mensch eigentlich schön findet.

Die Lösung: Ein "Geschmacks-Panel" für Bilder

Die Autoren dieses Papers haben eine geniale Idee gehabt: Warum nicht den Computer so trainieren, wie wir Menschen urteilen?

Sie haben einen dreistufigen Plan entwickelt, den man sich wie folgt vorstellen kann:

1. Der "Geschmacks-Test" (Das neue Datenset)

Statt nur Zahlen zu sammeln, haben die Forscher ein riesiges Panel aus echten Menschen (Experten) und einer sehr intelligenten KI (GPT-4o) zusammengebracht.

• Die Aufgabe: Sie haben Tausende von fusionierten Bildern angeschaut.
• Die Bewertung: Sie haben nicht nur "gut" oder "schlecht" gesagt, sondern detailliert bewertet: "Ist die Wärme noch da?", "Sind die Texturen scharf?", "Gibt es hässliche Flecken (Artefakte)?".
• Das Ergebnis: Sie haben den ersten riesigen Datensatz erstellt, der nicht auf Mathematik, sondern auf menschlichem Gefühl basiert. Es ist wie ein riesiges Kochbuch, das nicht nur Rezepte, sondern auch die Kommentare von 10.000 Gourmets enthält.

2. Der "Kritiker" (Das Belohnungs-Modell)

Mit diesen Daten haben sie eine spezielle KI trainiert, nennen wir sie den "Kritiker".

• Dieser Kritiker sieht sich ein fusioniertes Bild an und sagt sofort: "Hey, hier ist die Wärme zu schwach" oder "Hier ist das Bild zu unscharf".
• Er gibt dem Bild eine Punktzahl, genau so, wie ein Filmkritiker einem Film eine 1-5-Sterne-Bewertung gibt.
• Der Clou: Dieser Kritiker versteht, was Menschen schön finden, nicht nur, was mathematisch korrekt ist.

3. Der "Lernende Maler" (Die Verbesserung durch Feedback)

Jetzt kommt der spannendste Teil. Der eigentliche Algorithmus, der die Bilder erstellt (der "Maler"), wird nicht mehr nur mit Formeln trainiert.

• Der Maler erstellt ein Bild.
• Der Kritiker schaut es sich an und gibt Feedback: "Das war gut, aber mach die Kanten schärfer!"
• Der Maler probiert es nochmal, diesmal etwas anders.
• Dieser Prozess wird millionenfach wiederholt (eine Technik namens Reinforcement Learning). Der Maler lernt aus jedem Feedback, bis er Bilder malt, die der Kritiker (und damit wir Menschen) lieben.

Warum ist das so wichtig?

Stell dir vor, du fährst nachts im Nebel.

• Der alte Computer: Zeigt dir ein Bild, das mathematisch "optimal" ist, aber du erkennst den Fußgänger am Straßenrand trotzdem nicht, weil die Farben zu seltsam sind.
• Der neue Computer (dieses Paper): Zeigt dir ein Bild, das sich "richtig" anfühlt. Du siehst die Wärme des Fußgängers und seine Konturen klar. Es fühlt sich natürlich an, als würdest du selbst hinschauen.

Zusammenfassung in einem Satz

Die Forscher haben den Computern beigebracht, nicht nur nach Formeln zu malen, sondern sich einen menschlichen Kritiker an die Seite zu holen, der ihnen sagt, was wirklich schön und sicher aussieht. Das Ergebnis sind Bilder, die nicht nur technisch korrekt, sondern auch für uns Menschen viel besser zu verstehen sind – besonders in kritischen Situationen wie Autofahren oder Überwachung.

Technische Zusammenfassung

1. Problemstellung

Die Infrarot- und sichtbare Bildfusion (IVIF) zielt darauf ab, komplementäre Modalitäten zu integrieren, um die Szenenwahrnehmung zu verbessern. Trotz erheblicher Fortschritte besteht ein fundamentales Problem: Die meisten aktuellen Methoden optimieren handgefertigte Verlustfunktionen und objektive Metriken (wie Entropie oder strukturelle Ähnlichkeit). Dies führt oft zu Fusionsergebnissen, die nicht mit den menschlichen visuellen Präferenzen übereinstimmen.

Da die IVIF-Aufgabe von Natur aus schlecht gestellt ist (es gibt kein einziges „Ground-Truth"-Ergebnis), fehlt es der Forschung an:

• Menschzentrierten Evaluationsmetriken: Die Diskrepanz zwischen mathematischen Proxy-Werten und echter menschlicher Wahrnehmung.
• Daten: Es existieren keine großen Datensätze mit menschlichem Feedback zu Fusionsqualität und Artefakten.
• Optimierungsmechanismen: Ein fehlender automatischer Belohnungsmechanismus, der die Lernprozesse der Modelle an menschliche Ästhetik anpasst.

2. Methodik

Die Autoren schlagen einen Feedback-Reinforcement-Framework vor, der menschliche Bewertungen direkt in den Fusionsprozess integriert. Der Ansatz besteht aus drei Hauptkomponenten:

A. Erstellung eines menschlichen Feedback-Datensatzes (Human Feedback Dataset)

Um das Fehlen von Daten zu beheben, wurde der erste groß angelegte Datensatz für IVIF erstellt:

• Umfang: 9.350 fusionierte Bilder, generiert aus 850 Paaren von Infrarot- und sichtbaren Bildern (aus 8 verschiedenen Benchmarks wie FMB, LLVIP, M3FD etc.) mittels 11 repräsentativer State-of-the-Art-Modelle.
• Annotation: Jeder Fusionsbild erhält multidimensionale subjektive Scores (1–5 Skala) für vier Kriterien:
  1. Thermische Retention (Erhaltung von Infrarot-Informationen).
  2. Texturerhaltung (Erhaltung von sichtbaren Details).
  3. Artefakt-Level (Störungen/Verzerrungen).
  4. Schärfe.
• Prozess: Ein Seed-Datensatz wurde von Experten annotiert. Anschließend wurde ein auf RLHF trainiertes GPT-4o-Modell verwendet, um den gesamten Datensatz automatisch zu bewerten und Artefakt-Regionen (Heatmaps) zu markieren. Experten überprüften die Ergebnisse zur Qualitätssicherung.

B. Fusionsorientiertes Belohnungsmodell (Reward Model)

Basierend auf dem neuen Datensatz wurde ein spezialisiertes Belohnungsmodell trainiert:

• Architektur: Ein auf Vision-Language-Modellen (ViT) basierender Ansatz. Die Eingabe besteht aus dem Infrarotbild, dem sichtbaren Bild und dem fusionierten Bild.
• Funktionen: Das Modell sagt nicht nur die vier Fein-Scores vorher, sondern generiert auch eine Artefakt-Heatmap, die Regionen mit strukturellen Mängeln hervorhebt.
• Training: Es werden zwei Verlustfunktionen kombiniert: Mean Squared Error (MSE) für die Scores und MSE für die Heatmap-Vorhersage.

C. Policy-Optimierung mittels GRPO

Das eigentliche Fusionsnetzwerk wird nicht mehr nur mit traditionellen Verlusten, sondern durch Reinforcement Learning from Human Feedback (RLHF) feinabgestimmt:

• Basis: Ein bestehendes Fusionsnetzwerk (DCEvo) dient als Startpunkt.
• Strategie: Es wird Group Relative Policy Optimization (GRPO) verwendet.
• Segmentierung: Mit Hilfe des Segment Anything Model (SAM) werden die fusionierten Bilder in semantische Regionen unterteilt.
• Belohnung: Das trainierte Reward-Modell bewertet jede Region separat. Basierend auf diesen Scores werden relative Vorteilswerte (Advantage Values) innerhalb einer Gruppe berechnet.
• Update: Das Fusionsnetzwerk wird optimiert, um die erwartete Belohnung zu maximieren, unter Berücksichtigung einer KL-Divergenz-Regularisierung, um zu starke Abweichungen vom Referenzmodell zu verhindern.

3. Hauptbeiträge

1. Feedback-Reinforcement-Framework: Ein neuer Ansatz, der subjektive menschliche Präferenzen explizit in den IVIF-Prozess integriert und die Lücke zwischen objektiven Metriken und menschlicher Wahrnehmung schließt.
2. Erster großer IVIF-Human-Feedback-Datensatz: Ein Datensatz mit 9.350 Bildern, multidimensionalen Scores und detaillierten Artefakt-Annotationen, der durch Experten und KI (GPT-4o) erstellt wurde.
3. Spezialisierte Reward-Funktion und RL-Strategie: Entwicklung eines Belohnungsmodells und einer GRPO-basierten Feinabstimmung, die es Fusionsmodellen ermöglicht, menschliche visuelle Präferenzen besser zu erfassen und State-of-the-Art-Leistung zu erzielen.

4. Ergebnisse

Die Methode wurde auf drei Benchmark-Datensätzen (TNO, RoadScene, M3FD) gegen 13 State-of-the-Art-Methoden getestet:

• Quantitative Ergebnisse: Die Methode erzielt in allen Referenzmetriken (CC, PSNR, Qabf, SSIM) sowie in referenzfreien Metriken (NIQE, BRISQUE) die besten oder zweitbesten Werte. Besonders hervorzuheben ist die hohe Korrelation (CC) und der PSNR-Wert.
• Menschliche Präferenz: In einer Blindstudie mit 15 Teilnehmern (Experten und Laien) wurde die gefundene Methode in den Rankings am häufigsten als bevorzugt eingestuft (dargestellt durch gelbe Bereiche in den Heatmaps).
• Downstream-Aufgaben: Die fusionierten Bilder führen zu besseren Ergebnissen bei nachgelagerten Aufgaben:
  • Semantische Segmentierung: Höhere Genauigkeit bei Objekten wie Personen, Fahrzeugen und Gebäuden, besonders bei schlechten Lichtverhältnissen.
  • Objekterkennung: Höhere mAP-Werte; die Methode erkennt Objekte (z. B. Motorräder im Dunkeln, Personen im Nebel) zuverlässiger als andere Methoden.
• Ablationsstudien: Das Entfernen von Komponenten (Score-Vorhersage, Heatmap-Vorhersage oder SAM-Segmentierung) führte zu einem deutlichen Leistungsabfall, was die Notwendigkeit jedes Moduls bestätigt. Der Vergleich mit DPO und PPO zeigt, dass die GRPO-basierte Strategie überlegen ist.

5. Bedeutung und Fazit

Dieses Paper adressiert eine kritische Lücke in der Bildverarbeitungsforschung: Die Diskrepanz zwischen mathematisch optimierten Fusionsbildern und dem, was Menschen tatsächlich als „gut" empfinden.

• Paradigmenwechsel: Der Ansatz verschiebt den Fokus von rein objektiven Metriken hin zu einer menschzentrierten Optimierung durch RLHF.
• Praktische Relevanz: Da IVIF in sicherheitskritischen Anwendungen (autonomes Fahren, Überwachung, Militär) eingesetzt wird, ist die Übereinstimmung mit der menschlichen Wahrnehmung entscheidend. Die Methode verbessert die Erkennbarkeit von Zielen und die visuelle Klarheit in schwierigen Umgebungen.
• Ressourcen: Durch die Bereitstellung des ersten großen menschlichen Feedback-Datensatzes und des Codes (GitHub) legt die Arbeit den Grundstein für zukünftige Forschung in der menschzentrierten Bildfusion.

Zusammenfassend demonstriert die Arbeit, dass die Integration von menschlichem Feedback via Reinforcement Learning die Qualität von Infrarot- und sichtbaren Fusionsbildern signifikant steigern und besser an ästhetische sowie funktionale menschliche Anforderungen anpassen kann.