💻 computer science

Leveraging Multimodal Large Language Models for All-in-One Image Restoration via a Mixture of Frequency Experts

Dieser Beitrag stellt ein neuartiges, durch multimodale große Sprachmodelle (MLLM) geführtes Bildrestaurierungsframework vor, das MLLM-abgeleitete Merkmale und ein Mixture-of-Frequency-Experts-Modul (MoFE) mit relationaler Ausrichtung nutzt, um kontinuierliche und zusammengesetzte Degradationen effektiv zu bewältigen und damit auf Benchmarks wie CDD11 einen State-of-the-Art-Ergebnis zu erzielen.

Ursprüngliche Autoren: Eunho Lee, Youngbae Hwang, Rei Kawakami

Veröffentlicht 2026-05-13

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Eunho Lee, Youngbae Hwang, Rei Kawakami

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben ein wunderschönes Foto, das jedoch durch eine Mischung von Problemen ruiniert wurde: Vielleicht ist es unscharf, mit Regen bedeckt und gleichzeitig zu dunkel. Ein solches Problem zu beheben, ist bereits schwierig genug, aber alle gleichzeitig zu reparieren, ist wie der Versuch, einen Knoten zu lösen, während man mit verbundenen Augen und Handschuhen arbeitet.

Dieser Artikel stellt eine neue Methode vor, um diese „All-in-One"-unordentlichen Fotos mithilfe eines intelligenten digitalen Assistenten namens Multimodales Großes Sprachmodell (MLLM) zu reparieren. Betrachten Sie dieses MLLM nicht nur als Text-Chat-Roboter, sondern als einen super-observanten Kunstkritiker, der Millionen von Fotos gesehen hat und genau weiß, wie „Regen", „Nebel" oder „Unschärfe" aussehen und sich anfühlen.

So funktioniert ihr neues System, aufgeschlüsselt in einfache Teile:

1. Das Problem: Die „Einheitsgröße"-Falle

Ältere Methoden versuchten, Fotos zu reparieren, indem sie Probleme wie separate Boxen behandelten. Sie hatten eine „Unschärfe-Box", eine „Regen-Box" und eine „Dunkelheits-Box". Doch das echte Leben ist nicht so ordentlich. Ein Foto könnte zu 70 % regnerisch und zu 30 % neblig sein. Alte Systeme hatten mit dieser Mischung Schwierigkeiten, weil sie die fließende Verbindung zwischen den beiden nicht erkennen konnten; sie sahen einfach zwei separate, unzusammenhängende Probleme.

2. Die Lösung: Ein intelligenter Führer (das MLLM)

Die Autoren erkannten, dass diese großen KI-Modelle (MLLMs) bereits die Nuancen schlechter Fotos verstehen. Sie sagen nicht nur „das ist Regen"; sie verstehen, dass „starker Regen" sich anders anfühlt als „leichter Nieselregen", und wie sich Regen mit Nebel mischt.

Sie verwenden dieses KI-Modell als Führer für das Foto-Reparatur-Werkzeug.

Die Analogie: Stellen Sie sich einen Meisterkoch (den Fotorestaurator) vor, der versucht, ein komplexes Gericht zuzubereiten. Anstatt ihm nur ein Rezept zu geben, stellen sie einen Kritiker (das MLLM) an seine Seite. Der Kritiker probiert die Zutaten und flüstert: „Hey, diese Sauce braucht etwas mehr Salz, und die Textur ist etwas falsch." Der Koch passt dann das Kochen in Echtzeit basierend auf diesem Rat an.

3. Die zwei geheimen Waffen

Um diesen Führer funktionsfähig zu machen, stellt der Artikel zwei spezielle Werkzeuge vor:

A. Die „flüsternde Brücke" (MGFB)

Normalerweise sprechen das Foto-Reparatur-Werkzeug und der KI-Führer verschiedene Sprachen. Der Reparierer betrachtet Pixel (Farbpunkte), während der Führer in Konzepten denkt (wie „neblig" oder „körnig").

Was sie taten: Sie bauten eine „Brücke" (genannt MLLM-Gesteuerter Fusionsblock), die die Ratschläge des Führers direkt in die Sprache des Reparierers übersetzt.
Wie es funktioniert: Während der Reparierer das Foto betrachtet, flüstert die Brücke: „Konzentriere dich hier auf die Struktur, weil es wie Nebel aussieht", und später: „Achte hier auf die Farben, weil es wie Regen aussieht." Dies hilft dem Reparierer zu wissen, wonach er in jedem Schritt genau suchen muss.

B. Das „Frequenz-Orchester" (MoFE)

Dies ist der cleverste Teil. Die Autoren erkannten, dass verschiedene Probleme in unterschiedlichen „Frequenzen" existieren.

Die Analogie: Betrachten Sie ein Foto wie ein Lied.
- Niedrige Frequenzen sind die Bassnoten (die großen Formen, die allgemeine Helligkeit, der Nebel).
- Hohe Frequenzen sind die hohen Töne (die scharfen Kanten, die Regentropfen, die feinen Details).
Das Problem: Alte Werkzeuge versuchten, das ganze Lied auf einmal zu reparieren, was den Klang oft verunreinigte.
Die Lösung: Sie schufen eine Mischung von Frequenz-Experten (MoFE). Stellen Sie sich eine Band mit 8 verschiedenen Musikern vor.
- Ein Musiker ist ein Experte für die Reparatur des Basses (Nebel).
- Ein anderer ist ein Experte für die Reparatur der hohen Quietschtöne (Regen).
- Ein weiterer repariert die Mitteltöne (Unschärfe).
Der Dirigent: Der KI-Führer fungiert als Dirigent. Er hört sich das unordentliche Foto an und sagt der Band: „Hey, wir brauchen gerade mehr Hilfe vom Bassisten, aber der Geiger kann sich entspannen." Dies ermöglicht es dem System, den richtigen „Experten" für die spezifische Art von Rauschen im Foto auszuwählen.

4. Das Ergebnis: Eine bessere Mischung

Da das System den KI-Führer nutzt, um die Beziehung zwischen verschiedenen Problemen zu verstehen (wie sich Regen und Nebel vermischen), repariert es sie nicht einfach nacheinander. Es repariert die gesamte Mischung auf einmal.

Der Artikel testete dies an einem sehr schwierigen Datensatz namens CDD11, der Fotos enthält, bei denen drei verschiedene Probleme gleichzeitig auftreten (wie Schwaches Licht + Dunst + Regen).

Das Ergebnis: Ihre Methode erzeugte klarere, schärfere Fotos als jede vorherige Methode. Sie verbesserte die Qualität um einen signifikanten Betrag (bis zu 1,35 dB), was in der Welt der Bildreparatur wie der Übergang von einem unscharfen, schlammigen Foto zu einem gestochen scharfen, hochauflösenden Bild ist.

Zusammenfassung

Kurz gesagt lehrt dieser Artikel einem Foto-Reparatur-Roboter, auf einen super-intelligenten KI-Führer zu hören. Anstatt zu raten, was an einem unordentlichen Foto falsch ist, fragt der Roboter den Führer: „Wie sieht das aus?" Der Führer erklärt die Mischung der Probleme, und der Roboter nutzt ein Team spezialisierter „Frequenz-Experten", um jeden Teil des Problems perfekt zu reparieren, was zu einem sauberen, natürlich aussehenden Bild führt.

Technische Zusammenfassung: Nutzung multimodaler großer Sprachmodelle für eine All-in-One-Bildwiederherstellung mittels einer Mischung von Frequenz-Experten

Problemstellung

Die All-in-One-Bildwiederherstellung zielt darauf ab, saubere Bilder aus Eingaben wiederherzustellen, die durch diverse und unbekannte Degradationen beeinträchtigt sind, und zwar unter Verwendung eines einheitlichen Rahmens. Während neuere Methoden die Leistung durch die Identifizierung von Degradationsmerkmalen verbessert haben, behandeln sie Degradationen oft als diskrete Kategorien. Dieser Ansatz versagt darin, die kontinuierliche relationale Struktur zu modellieren, die in zusammengesetzten Degradationen inhärent ist (z. B. ein Bild mit gleichzeitig schwachem Licht, Dunst und Regen, bei dem eine Degradation dominiert). Bestehende degradations-sensitive Darstellungen, die häufig über kontrastive Ziele erlernt werden, neigen dazu, Degradationstypen in isolierte Cluster zu partitionieren und dabei das kontinuierliche Spektrum gemischter Degradationen zu übersehen. Darüber hinaus verlassen sich aktuelle Ansätze, die multimodale große Sprachmodelle (MLLMs) nutzen, häufig ausschließlich auf hochrangige textuelle Darstellungen und nutzen das reiche interne visuelle Wissen, das in diesen Modellen kodiert ist, nicht aus; dies erzeugt eine Darstellungslücke für feinkörnige, pixelgenaue Rekonstruktionen.

Methodik

Die Autoren schlagen MMFE-IR vor, einen Rahmen, der ein vortrainiertes multimodales großes Sprachmodell (speziell Qwen2.5-VL) mit einem Bildwiederherstellungsnetzwerk für niedrige Ebenen integriert. Die Architektur besteht aus drei Hauptkomponenten:

1. MLLM-gesteuerter Fusionsblock (MGFB)

Um die Lücke zwischen hochrangigem semantischem Wissen und niedrigeren Ebenen der Wiederherstellung zu schließen, injiziert der Rahmen MLLM-abgeleitete Merkmale in einen Encoder-Decoder-Kern (basierend auf Restormer). Der MGFB nutzt einen Cross-Attention-Mechanismus, um spezifische MLLM-Einbettungen verschiedenen Netzwerkestufen zuzuweisen:

Encoder: Empfängt $E_{Image}$ , eine kontextualisierte, aus dem MLLM abgeleitete visuell abgeleitete Einbettung, die aus den Bild-Token des MLLM gepoolt wird. Dies stärkt die Extraktion struktureller Merkmale.
Decoder: Empfängt $E_{Joint}$ , visuell-sprachlich konditionierte Einbettungen, die aus allen Token gepoolt werden. Dies erleichtert die degradationsbewusste Rekonstruktion durch die Einbeziehung semantischen Kontexts.
Die Fusion wird über eine residuale Verbindung erreicht, wobei die visuelle Merkmalskarte als Query dient und die MLLM-Einbettungen als Keys und Values.

2. Mischung von Frequenz-Experten (MoFE)

In Anerkennung dessen, dass verschiedene Degradationen unterschiedliche Frequenzmerkmale aufweisen, führen die Autoren ein MoFE-Modul ein, das im Frequenzbereich und nicht im räumlichen Bereich operiert.

Frequenzzerlegung: Das ursprüngliche degradierte Bild wird mittels diskreter Wavelet-Transformation (DWT) in Subbänder zerlegt. Die niederfrequente Komponente ($LL$) wird ausgeschlossen, da sie inhärent durch Selbst-Attention-Mechanismen in Transformern erfasst wird. Die verbleibenden hochfrequenten Subbänder ($LH, HL, HH$) werden verarbeitet.
Experten-Routing: Eine Reihe leichter Faltungsexperten ( $N=8$ ) verarbeitet diese hochfrequenten Komponenten. Ein Router, der von der hochrangigen textuellen Einbettung des MLLM ( $E_{Answer}$ ) geleitet wird, mischt Gewichte für diese Experten vorher. Dies ermöglicht eine dynamische Zusammensetzung, um diverse Degradationen zu bewältigen.
Fusion: Die aggregierten Frequenzmerkmale werden mittels Multi-Dconv Head Transposed Attention (MDTA) wieder in die räumlichen Merkmale fusioniert, sodass sich räumliche Merkmale adaptiv nach notwendigen hochfrequenten Details richten können.

3. MLLM-gesteuerte Router-Optimierung

Um sicherzustellen, dass der Router die kontinuierlichen semantischen Beziehungen der Degradationen bewahrt, die vom MLLM erfasst werden, wird eine spezifische Verlustfunktion eingeführt.

Relationaler Ausrichtungsverlust ( $\mathcal{L}_{MGL}$ ): Dieser Verlust berechnet die paarweise kosinussimilität der hochrangigen Einbettungen des MLLM und richtet sie mit der paarweisen Ähnlichkeit der Ausgangsgewichte des Routers aus. Dies ermutigt den Router, ähnlichen Degradationen ähnliche Experten-Kombinationen zuzuweisen und unterschiedlichen Degradationen unterschiedliche Kombinationen, wodurch die kontinuierliche Struktur des Einbettungsraums erhalten bleibt.
Trainingsstrategie: Das Modell employs eine progressive Multi-Scale-Trainingsstrategie, die die Eingabeauflösung schrittweise erhöht, um die Router-Optimierung zu stabilisieren und die Robustheit über verschiedene Bildgrößen hinweg zu verbessern.

Hauptbeiträge

Kontinuierliche Degradationsmodellierung: Der Rahmen nutzt die kontinuierlichen Degradationseinbettungen vortrainierter MLLMs, um die Grenzen starrer Prompt-Diskretisierung zu überwinden und ermöglicht so eine genauere Erfassung komplexer Degradationsstrukturen.
MGFB-Integration: Ein MLLM-gesteuerter Fusionsblock wird eingeführt, um die Darstellungslücke zu schließen, indem sowohl MLLM-visuelle Einbettungen als auch visuell-sprachlich konditionierte Einbettungen direkt in den Encoder und Decoder des Wiederherstellungsnetzwerks integriert werden.
Frequenzbereichs-Experten-Routing: Ein Mixture-of-Frequency-Experts (MoFE)-Modul wird vorgeschlagen, das einen MLLM-gesteuerten Router verwendet, der mit einem relationalen Ausrichtungsverlust trainiert wird. Dies ermöglicht dem Modell, verteilte Degradationsbeziehungen zu erlernen und Frequenzexperten adaptiv für diverse und zusammengesetzte Degradationen zu kombinieren.

Experimentelle Ergebnisse

Die Methode wurde an mehreren Benchmarks evaluiert, einschließlich des herausfordernden CDD11-Datensatzes für zusammengesetzte Degradationen und standardmäßiger All-in-One-Einstellungen für einzelne Degradationen.

Zusammengesetzte Degradation (CDD11): Die vorgeschlagene Methode erreichte State-of-the-Art-Leistung und übertraf frühere Methoden um bis zu 1,35 dB auf dem CDD11-Datensatz. Sie zeigte überlegene Robustheit bei doppelten (z. B. schwaches Licht + Dunst) und dreifachen (z. B. schwaches Licht + Dunst + Regen) Degradationsszenarien und erreichte einen durchschnittlichen PSNR von 30,40 dB und einen SSIM von 0,889.
All-in-One-Benchmarks: Die Methode erreichte den höchsten durchschnittlichen PSNR (31,44 dB) im Fünf-Degradations-Setting und 32,94 dB im Drei-Degradations-Setting. Sie zeigte besondere Stärke sowohl bei niederfrequenten Aufgaben (Dunstabbau) als auch bei hochfrequenten Aufgaben (Entschärfung).
Ablationsstudien: Experimente bestätigten, dass:
- Die Verwendung von $E_{Image}$ für den Encoder und $E_{Joint}$ für den Decoder optimale Leistung liefert.
- Das MoFE-Modul die Leistung erheblich steigert (+1,02 dB gegenüber der Baseline) bei minimalem Parameterzuwachs.
- Der MLLM-gesteuerte Verlust und das progressive Multi-Scale-Training entscheidend für Leistungssteigerungen sind.
- Frequenzbereichs-MoE räumliche MoE übertrifft.
- Der Rahmen auch bei Verwendung kleinerer MLLMs (z. B. FastVLM-0.5B) robust bleibt, obwohl das größte MLLM (Qwen2.5-VL-3B) die beste Balance aus Qualität und Latenz bietet.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass MMFE-IR einen neuen State of the Art in der All-in-One-Bildwiederherstellung etabliert, insbesondere für komplexe, zusammengesetzte Degradationen. Die Bedeutung der Arbeit liegt in ihrer erfolgreichen Erweiterung der MLLM-Führung über bloße textuelle Darstellungen hinaus, um interne visuelle Merkmale und Frequenzbereichs-Experten-Routing einzubeziehen. Durch die Bewahrung der kontinuierlichen semantischen Beziehungen von Degradationen durch den MLLM-gesteuerten Router und Verlust wird die Darstellungslücke, die häufig bei Low-Level-Vision-Aufgaben zu finden ist, effektiv gemildert. Die Autoren behaupten, dass dieser Ansatz es dem Modell ermöglicht, das gleichzeitige Vorhandensein und die Interaktion mehrerer Degradationen genauer zu handhaben als Methoden, die Degradationen als diskrete, isolierte Kategorien behandeln.