Causal Disentanglement for Full-Reference Image Quality Assessment

1. Problemstellung

Die Bewertung der Bildqualität (Image Quality Assessment, IQA) ist entscheidend für die Sicherstellung hochwertiger digitaler Inhalte. Bei der Full-Reference-IQA (FR-IQA) wird die Qualität eines verzerrten Bildes durch Vergleich mit einem Originalbild (Referenz) bewertet.

Bestehende Deep-Learning-Ansätze für FR-IQA leiden unter zwei Hauptproblemen:

• Abhängigkeit von annotierten Daten: State-of-the-Art-Modelle benötigen große Mengen an menschlich bewerteten Daten (Mean Opinion Scores, MOS), die teuer und subjektiv zu erheben sind. Dies schränkt die Anwendbarkeit in Nischenbereichen (z. B. medizinische, unterwasser- oder Infrarotbilder) ein, wo solche Daten fehlen.
• Domain-Shift bei training-freien Modellen: Training-freie Methoden nutzen oft auf ImageNet vortrainierte Modelle. Diese versagen häufig bei nicht-standardisierten Bilddomänen, da sich die statistischen Eigenschaften und Strukturen stark von natürlichen Bildern unterscheiden.
• Mangelnde Berücksichtigung des visuellen Maskierungseffekts: Herkömmliche Modelle vergleichen oft nur Merkmalsunterschiede. Sie ignorieren jedoch, dass die menschliche Wahrnehmung von Verzerrungen stark vom Bildinhalt abhängt (visueller Maskierungseffekt, VME): Eine Verzerrung ist in glatten Flächen sichtbarer als in texturierten Bereichen.

2. Methodik

Das Paper schlägt ein neues Paradigma vor, das kausale Inferenz und entkoppeltes Repräsentationslernen (Decoupled Representation Learning) kombiniert, um Verzerrungen unter Berücksichtigung des Bildinhalts zu schätzen.

Der Ansatz gliedert sich in drei Hauptphasen:

A. Kausale Entkopplung (Causal Disentanglement)

Statt Verzerrungen und Inhalt direkt zu vergleichen, wird das Problem als kausaler Entkopplungsprozess formuliert.

• Strukturelles Kausales Modell (SCM): Ein verzerrtes Bild $I_d$ wird als Kombination aus Bildinhalt $C$ (aus dem Referenzbild $I_r$) und einer Degradation $D$ betrachtet.
• Intervention: Um die Degradation $D$ vom Inhalt $C$ zu trennen, wird eine Intervention im latenten Raum durchgeführt. Ein Encoder extrahiert latente Merkmale aus dem verzerrten Bild. Der Teil, der den Inhalt repräsentiert, wird durch die Merkmale des Referenzbildes ersetzt (da der Inhalt in beiden Bildern identisch ist). Ein Decoder versucht, das verzerrte Bild nur aus dem Inhalt und den verbleibenden latenten Merkmalen zu rekonstruieren. Dies zwingt das Modell, die Degradationsmerkmale ($Z_{k+1:n}$) im latenten Raum zu isolieren.

B. Kausale Repräsentationslernen (Causal Representation Learning)

Die reine Trennung reicht nicht aus, da der Inhalt die Sichtbarkeit der Verzerrung moduliert (VME).

• Kausale Schicht: Es wird eine kausale Abhängigkeit $C \to D$ modelliert. Das bedeutet, der Bildinhalt beeinflusst kausal die wahrgenommene Degradation.
• Modulation: Ein Causal Layer (basierend auf einem ResNet18-Backbone) nimmt die Inhaltsmerkmale und die isolierten Degradationsmerkmale auf. Er erzeugt einen Modulationsmasken-Signal, das die Degradationsmerkmale basierend auf dem Inhalt anpasst (z. B. Unterdrückung von Rauschen in texturierten Bereichen). Das Ergebnis sind inhaltsbeeinflusste Degradationsmerkmale ($\dot{D}$).

C. Vorhersage der Qualitätsbewertung (Score Prediction)

Je nach Verfügbarkeit von Labels werden drei Strategien angewendet:

1. Überwachtes Lernen (Supervised): Bei Vorhandensein von MOS-Daten wird ein Regressionskopf verwendet, um $\dot{D}$ auf absolute Scores abzubilden.
2. Few-Shot Learning: Mit wenigen Labels wird das Modell feinabgestimmt (Fine-Tuning).
3. Zero-Shot (Label-frei): Ohne Labels wird die absolute Qualität nicht direkt vorhergesagt. Stattdessen wird angenommen, dass die relevanten Qualitätsmerkmale auf einer eindimensionalen Mannigfaltigkeit liegen. UMAP (Uniform Manifold Approximation and Projection) wird verwendet, um die hochdimensionalen Merkmale $\dot{D}$ auf eine eindimensionale Koordinate zu projizieren. Diese Koordinate dient als relativer Qualitätsindikator (Ranking), der die lokale Nachbarschaftsstruktur der wahrgenommenen Qualität erhält.

3. Hauptbeiträge

• Neues FR-IQA-Paradigma: Abkehr von reinen Merkmalsvergleichs-Modellen hin zu einem kausalen Entkopplungsansatz, der den visuellen Maskierungseffekt explizit modelliert.
• Kausale Schicht: Einführung einer strukturellen kausalen Priorität ($C \to D$), die simuliert, wie Bildinhalte die Sichtbarkeit von Verzerrungen verändern.
• Label-freie Adaptierbarkeit: Die Methode kann in Domänen mit wenigen oder keinen annotierten Daten (Zero-Shot) eingesetzt werden, indem sie synthetische Degradationen zur Vorherspannung (Pre-Training) nutzt und UMAP für das Ranking verwendet.
• Robustheit: Das Modell zeigt überlegene Generalisierungsfähigkeit in nicht-standardisierten Domänen (medizinische Bilder, Infrarot, Neutronenbilder, Bildschirminhalte).

4. Ergebnisse

Die Autoren führten umfangreiche Experimente durch:

• Standard-Datensätze: Auf gängigen Benchmarks (LIVE, TID2013, CSIQ, KADID, PIPAL) erreicht die Methode konkurrenzfähige bis führende Ergebnisse in allen Settings (vollüberwacht, Few-Shot, Zero-Shot).
• Cross-Domain-Performance: In nicht-standardisierten Domänen (z. B. Unterwasser, medizinische Radiographie) übertrifft die Methode alle bestehenden training-freien Ansätze (wie DeepWSD, DeepCausal, DeepJSD) deutlich. Während diese bei Domain-Shift versagen, passt sich das vorgeschlagene Modell durch domänenspezifisches Pre-Training ohne Labels an.
• Few-Shot-Effizienz: Selbst mit nur 2–5 % annotierter Daten erreicht das Modell hohe Korrelationen (PLCC/SRCC), wobei das Einbetten der Degradationsmerkmale (Feature Extractor) oft eingefroren bleibt, um Überanpassung zu vermeiden.
• Ablationsstudien: Die Studien bestätigen, dass die Kombination aus MSE-, VGG- und GAN-Verlusten sowie die kausale Schicht entscheidend für die Leistung sind. UMAP erwies sich als überlegen gegenüber anderen Dimensionsreduktionsmethoden (PCA, t-SNE) für das Zero-Shot-Ranking.

5. Bedeutung und Fazit

Dieses Paper bietet einen fundamental neuen Blickwinkel auf die Bildqualitätsbewertung. Indem es das Problem nicht als reinen Unterschiedsvergleich, sondern als kausalen Entkopplungsprozess behandelt, löst es das Problem der Abhängigkeit von teuren menschlichen Bewertungen in spezialisierten Domänen.

Die Fähigkeit, szenariospezifisches Training ohne MOS-Labels durchzuführen, macht die Methode besonders wertvoll für Anwendungen in der Medizin, Fernerkundung und anderen Bereichen, wo Daten knapp und Annotationen schwierig sind. Sie verbindet theoretische Konzepte der kausalen Inferenz mit praktischer Anwendbarkeit und übertrifft den aktuellen Stand der Technik (SOTA) in der Generalisierungsfähigkeit.