💻 computer science

Fusion in Your Way: Aligning Image Fusion with Heterogeneous Demands via Direct Preference Optimization

Dieser Artikel stellt DPOFusion vor, ein Framework zur direkten Präferenzoptimierung, das eigenschaftsangepasste und präferenzsteuerbare latente Diffusionsmodelle integriert, um eine adaptive Infrarot- und Sichtbildfusion zu erreichen, die in der Lage ist, heterogenen menschlichen und maschinellen Sehbedürfnissen zu entsprechen.

Ursprüngliche Autoren: Weijian Su, Songqian Zhang, Yuqi Han, Jian Zhuang, Yongdong Huang, Qiang Zhang

Veröffentlicht 2026-05-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Weijian Su, Songqian Zhang, Yuqi Han, Jian Zhuang, Yongdong Huang, Qiang Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben zwei Kameras, die gleichzeitig dasselbe Szenario aufnehmen. Eine ist eine sichtbare Kamera (wie Ihr Smartphone), die zwar großartige Farben und Texturen erfasst, aber im Dunkeln Schwierigkeiten hat. Die andere ist eine Infrarotkamera, die Wärmesignaturen im Dunkeln klar erkennt, aber wie ein verschwommener, schwarz-weißes Wärmegespenst aussieht.

Bildfusion ist die Kunst, diese beiden Fotos zu einem perfekten Bild zu verschmelzen, das das Beste aus beiden Welten vereint.

Das Problem: „Einheitsgröße passt nicht für alle"

Die Studie weist auf ein großes Problem bei aktuellen Fusionsmethoden hin: sie sind starr.

Stellen Sie sich vor, Sie bitten einen Koch, ein Steak zuzubereiten.

Ein Mensch könnte sagen: „Ich möchte es medium-rare mit einer schönen Kruste."
Ein Sicherheitsmitarbeiter könnte sagen: „Der Geschmack ist mir egal; ich muss nur das Gesicht der Person klar erkennen, um sie zu identifizieren."
Ein autonom fahrendes Auto könnte sagen: „Ich muss den Straßenrand perfekt erkennen, um einen Fußgänger nicht zu überfahren."

Aktuelle Fusionsmodelle sind wie ein Koch, der nur eine bestimmte Zubereitungsart beherrscht. Wenn Sie ein anderes Ergebnis wünschen, müssen Sie einen völlig neuen Koch einstellen (ein neues KI-Modell trainieren) mit einem neuen Rezept. Das ist langsam, teuer und unflexibel.

Die Lösung: „Fusion nach Ihrem Geschmack"

Die Autoren schlagen ein neues System namens DPOFusion vor. Stellen Sie sich dies als einen Superkoch mit einem „Geschmacksnerven"-Regler vor.

Anstatt für jeden Kunden ein neues Gericht von Grund auf neu zu kochen, beginnt dieser Koch mit einem hochwertigen Grundgericht und passt es dann sofort genau nach Ihren Wünschen an.

So funktioniert es, aufgeschlüsselt in einfache Schritte:

1. Der „Degustationsmenü"-Generator (PALDM)

Zuerst erstellt das System ein „Degustationsmenü" mit vielen verschiedenen Fusionsergebnissen.

Es nimmt die beiden Quellfotos (sichtbar und Infrarot).
Es verwendet eine spezielle KI (ein Latent Diffusion Model), um eine breite Palette verschmolzener Bilder zu generieren. Manche könnten zu 90 % Infrarot sein, andere 50/50, manche mit zusätzlicher Textur, andere mit besserem Kontrast.
Analogie: Stellen Sie sich einen Maler vor, der schnell 50 verschiedene Versionen einer Landschaft skizziert, jede mit leicht unterschiedlicher Beleuchtung oder Fokussierung. Dies bietet dem System einen riesigen Pool an Optionen, aus dem es wählen kann.

2. Der „Geschmackstest" (Sammeln von Präferenzen)

Nun muss das System wissen, welche Version die „beste" ist. Doch „beste" hängt davon ab, wer fragt.

Für Menschen: Eine Person betrachtet die Skizzen und sagt: „Ich mag die Textur am Auto hier, aber der Himmel sieht seltsam aus." Sie markiert die guten und die schlechten Bereiche.
Für Maschinen: Eine Überwachungskamera (Objekterkennungs-KI) betrachtet die Skizzen und sagt: „Ich kann die Person auf diesem Bild nicht sehen, aber auf jenem hier klar."
Für KI-Kritiker: Ein intelligentes Sprachmodell (VLM) agiert wie ein Food-Kritiker und bewertet die Bilder nach technischer Qualität (Schärfe, kein Rauschen, natürliche Farben).

3. Der „Magische Regler" (Direkte Präferenzoptimierung - IDPO)

Dies ist das Geheimrezept der Studie. Anstatt den gesamten Koch neu zu trainieren, verwenden sie eine Technik namens Direct Preference Optimization (DPO).

Der alte Weg: Um ein Modell eine neue Präferenz zu lehren, muss man es normalerweise von Grund auf neu trainieren, was so ist, als würde man den Koch für ein Jahr zurück in die Kochschule schicken.
Der DPO-Weg: Das System betrachtet das „gewinnende" Bild (was Ihnen gefallen hat) und das „verlierende" Bild (was Ihnen nicht gefallen hat). Anschließend nimmt es eine winzige, präzise Anpassung am Gehirn des Kochs vor, damit das nächste Bild mehr dem Gewinner ähnelt.

Der „Masken"-Trick (Instance Direct Preference Optimization):
Manchmal möchten Sie nur einen Teil des Bildes ändern.

Beispiel: „Machen Sie das Auto klarer, aber berühren Sie den Himmel nicht."
Das System verwendet eine Maske (wie eine Schablone). Es sagt der KI: „Passen Sie nur die Pixel innerhalb dieser Schablone an die Präferenz an. Lassen Sie alles außerhalb der Schablone genau gleich."
Dies stellt sicher, dass Sie, wenn Sie nach besseren Autodetails fragen, nicht versehentlich den Himmel oder den Hintergrund ruinieren.

Die Ergebnisse

Die Studie testete dieses „Magische Regler"-System an realen Datensätzen (wie nächtlichen Straßenszenen).

Menschliches Feedback: Wenn gebeten wurde, Bilder natürlicher aussehen zu lassen, passte das System Farben und Texturen perfekt an.
Maschinelles Feedback: Wenn gebeten wurde, einem autonomen Fahrzeug zu helfen, besser zu „sehen", justierte das System das Bild, um Fußgänger und Autos hervorzuheben, wodurch die Erkennungssoftware des Fahrzeugs deutlich genauer wurde.
Vielseitigkeit: Dasselbe Basismodell konnte zwischen „Mensch-Modus", „Sicherheits-Modus" und „Fahr-Modus" wechseln, einfach durch Ändern des Prompts, ohne dass ein Neutrainieren erforderlich war.

Zusammenfassung

DPOFusion ist ein flexibler Bildmischer, der aus Feedback lernt. Egal, ob Sie ein Mensch sind, der ein hübsches Foto wünscht, ein Sicherheitssystem, das klare Details benötigt, oder ein Roboter, der Hindernissen ausweichen muss – dieses System kann das Fusionsergebnis sofort an Ihre spezifischen Bedürfnisse anpassen, während der Rest des Bildes perfekt bleibt. Es führt uns weg von „ein Modell für alle" hin zu „Fusion nach Ihrem Geschmack".

Technische Zusammenfassung: DPOFusion

Problemstellung

Die Infrarot- und sichtbare Bildfusion (IVIF) zielt darauf ab, komplementäre spektrale Informationen zu integrieren, um die menschliche Wahrnehmung zu verbessern und nachgelagerte Sehaufgaben zu optimieren. Allerdings stoßen bestehende Methoden an eine kritische Grenze: Sie haben Schwierigkeiten, heterogene Anforderungen flexibel zu erfüllen. Unterschiedliche Benutzer und Anwendungen priorisieren sich widersprechende Ziele, wie etwa die allgemeine Bildqualität, ein natürliches Erscheinungsbild oder eine spezifische Eignung für Maschinen-Sehaufgaben wie Objekterkennung und Segmentierung. Aktuelle lernbasierte Ansätze erfordern typischerweise separate Modelle und komplexe Trainingsstrategien für jede spezifische Anforderung und verfügen über keinen einheitlichen Rahmen, der eine adaptive Fusion ermöglicht, die mit vielfältigen menschlichen und maschinellen Präferenzen übereinstimmt.

Methodik

Die Autoren schlagen DPOFusion vor, einen Rahmen, der Direct Preference Optimization (DPO) nutzt, um die Bildfusion mit heterogenen Anforderungen in Einklang zu bringen. Der Rahmen besteht aus zwei Hauptkomponenten und einer Pipeline zur Datensammlung:

1. Eigenschaftsangepasstes Latentes Diffusionsmodell (PALDM)

PALDM dient als Kandidatengenerator. Es ist darauf ausgelegt, diverse, hochwertige Fusionsresultate mit variierenden Eigenschaften zu erzeugen.

Prior-Latente Fusion: Ein Prior-Latentes-Fusionsmodell ( $\epsilon_{lfm}$ ) wird zunächst unter Verwendung eines gemeinsamen Fusionsverlusts trainiert, um den Generierungsprozess zu steuern.
Gemeinsamer Bedingter Verlust: Um diverse Kandidaten zu erzeugen, setzt PALDM einen gemeinsamen bedingten Verlust ein. Es trainiert ein latentes Diffusionsmodell, um sowohl standard fusionierte Latente als auch eigenschaftsinterpolierte Latente (erzeugt durch lineare Interpolation von Quell-Latenten und dem prior fusionierten Latenten) zu entzerren. Dies ermöglicht es dem Modell, generierte Ausgaben mit spezifischen eigenschaftsbeschreibenden Textprompts (z. B. „überwiegend Infrarotinformationen") in Einklang zu bringen.

2. Präferenzgesteuertes Latentes Diffusionsmodell (PCLDM)

PCLDM ist ein Feinabstimmungsmodul, das die Fusionsresultate basierend auf spezifischen Präferenzsignalen anpasst.

Architektur: Es initialisiert aus dem eingefrorenen PALDM ( $\epsilon_{ref}$ ) und führt einen trainierbaren Zweig ein, der über eine mit Null initialisierte 1 $\times$ 1-Faltung verbunden ist. Diese Struktur bewahrt die grundlegenden Fusionsfähigkeiten, ermöglicht jedoch eine schnelle Anpassung an neue Präferenzen.
Instanz-Direct-Preference-Optimization (IDPO): Dies ist die Kerninnovation. Im Gegensatz zur Standard-DPO, die global optimiert, wendet IDPO Präferenzsupervision nur innerhalb einer maskierten Region von Interesse an, während sie andernorts eine strenge Pixel-für-Pixel-Konsistenz erzwingt.
- Verlustfunktion: Der IDPO-Verlust ( $L_{IDPO}$ ) kombiniert einen Präferenz-Ausrichtungsverlust für die maskierte Region (der das Modell dazu anregt, das „gewinnende" Beispiel dem „abgelehnten" vorzuziehen) und einen Konsistenzverlust für die unmaskierten Regionen (der sicherstellt, dass die Ausgabe nahe am eingefrorenen Referenzmodell bleibt). Dies balanciert lokale Anpassung mit globaler Treue aus.

3. Sammlung von Präferenzdaten

Der Rahmen sammelt heterogene Präferenzdaten aus drei Quellen, um Trainingspaare ( $I_w^0 \succ I_l^0$ ) mit entsprechenden Masken ( $I_m$ ) zu erstellen:

Menschliches Feedback (RLHF): Menschliche Annotatoren wählen bevorzugte Regionen in Kandidatenbildern aus.
Vision-Language-Modelle (RLVF): VLMs (speziell QWEN3-Omni-Think) rangieren Kandidaten basierend auf technischer Bildqualität (Schärfe, Artefakte usw.).
Aufgabengetriebene Modelle (RLDF): Nachgelagerte Modelle (YOLOv11 für Erkennung, SegFormer für Segmentierung) bewerten Kandidaten. Bevorzugte/abgelehnte Proben werden anhand von Aufgabenleistungsmetriken (mAP, mIoU) bestimmt, und Masken werden aus Zielregionen oder Erkennungs-Patches abgeleitet.

Hauptbeiträge

Einheitlicher Rahmen: DPOFusion präsentiert einen einzigen Rahmen, der in der Lage ist, sich an diverse Benutzerpräferenzen (menschlich, VLM) und Maschinen-Sehaufgaben (Erkennung, Segmentierung) anzupassen, ohne separate Modelle für jede Anforderung zu benötigen.
Instanz-Direct-Preference-Optimization (IDPO): Die Autoren führen IDPO ein, eine neuartige Anpassung von DPO für die Bildfusion. Durch die Beschränkung der Präferenzoptimierung auf spezifische maskierte Regionen erreicht IDPO eine präzise lokale Ausrichtung, ohne die globale Bildstruktur oder Kohärenz zu verschlechtern.
Eigenschaftsangepasste Generierung: Die Integration von PALDM mit gemeinsamem bedingtem Verlust ermöglicht die Generierung eines reichen Pools diverser Kandidaten, was eine effektive Präferenzannotation und Feinabstimmung erleichtert.
Aufgabenorientierte Anpassbarkeit: Der Rahmen demonstriert die Fähigkeit, Fusionsausgaben spezifisch zu feinabstimmen, um die Leistung nachgelagerter Aufgaben zu verbessern (z. B. Verbesserung der Segmentierung kleiner Ziele oder Erkennung dichter Objekte), während die visuelle Qualität erhalten bleibt.

Experimentelle Ergebnisse

Die Autoren bewerteten DPOFusion an realen Datensätzen (LLVIP, MSRS, RoadScene, M3FD) gegen neun State-of-the-Art-Methoden (z. B. U2Fusion, DDFM, SHIP, Text-IF).

Ausrichtung auf Mensch und VLM: Quantitative Metriken (Entropie, Standardabweichung, Durchschnittlicher Gradient, MUSIQ, CNNIQA) zeigen, dass DPOFusion-Varianten (RLHF und RLVF) State-of-the-Art-Leistung erreichen. Qualitative Ergebnisse deuten auf eine überlegene Texturerhaltung und ein natürliches Erscheinungsbild hin, insbesondere in Szenarien mit schwachem Licht und komplexer Beleuchtung.
Leistung nachgelagerter Aufgaben:
- Semantische Segmentierung: Die RLDF-Seg-Variante erzielte eine Verbesserung von 0,5 % im mIoU im Vergleich zu Baselines, wobei qualitative Ergebnisse eine bessere Segmentierung kleiner Ziele zeigen.
- Objekterkennung: Die RLDF-OD-Variante erzielte eine Verbesserung von 4,2 % im mAP und demonstrierte eine effektive Merkmalsaufnahme für dichte und kleine Ziele.
Ablationsstudien: Experimente bestätigten, dass der gemeinsame bedingte Verlust in PALDM Kandidaten höherer Qualität liefert und dass IDPO Standard-DPO und kontrastiven Verlust bei der Ausrichtung mit Präferenzen unter Beibehaltung globaler Konsistenz signifikant übertrifft.
Effizienz: Obwohl auf Diffusion basierend, operiert DPOFusion in einem komprimierten latenten Raum, was die Inferenzzeit auf 1,7 s pro Bild reduziert (im Vergleich zu 7,8 s für DDFM), was es effizienter macht als andere generative Fusionsmethoden.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass DPOFusion das „offene und herausfordernde Problem" einer adaptiven Fusion, die mit verschiedenen Präferenzen sowohl aus menschlicher als auch aus maschineller Sicht übereinstimmt, erfolgreich adressiert. Durch die Nutzung von DPO eliminiert der Rahmen die Notwendigkeit expliziter Belohnungsmodelle und komplexer gemeinsamer Optimierungs-Pipelines mit nachgelagerten Aufgaben.

Die Autoren positionieren DPOFusion als einheitliche und flexible Lösung für „Fusion nach Ihrem Weg", die in der Lage ist, ein fundamentales Modell zu feinabstimmen, um spezifische Anforderungen zu erfüllen – sei es durch menschliche visuelle Wahrnehmung, Sprachanweisungen oder Metriken nachgelagerter Aufgaben – durch minimale Feinabstimmung. Die Arbeit setzt einen neuen Benchmark für die Qualität adaptiver Fusion und die aufgabenorientierte Übertragbarkeit im Bereich der Infrarot- und sichtbaren Bildfusion.