Causal Disentanglement for Full-Reference Image Quality Assessment

Probleemstelling

Bestaande Full-Reference Image Quality Assessment (FR-IQA) modellen, die gebaseerd zijn op diepe netwerken, werken doorgaans door diepe kenmerken van een referentie- en een vervormde afbeelding te vergelijken (paarsgewijze vergelijking). Hoewel deze methoden succesvol zijn, kampen ze met twee belangrijke beperkingen:

1. Afhankelijkheid van gelabelde data: Trainingsafhankelijke methoden vereisen grote datasets met menselijke subjectieve scores (Mean Opinion Scores - MOS), wat kostbaar en tijdrovend is om te verzamelen, vooral in niche-domeinen zoals medische beeldvorming of onderwaterbeelden.
2. Schaalbaarheid en domeinverschuiving: Trainingsvrije (training-free) methoden vertrouwen vaak op modellen die vooraf zijn getraind op ImageNet. Deze presteren slecht in specifieke domeinen (bijv. röntgenfoto's, infrarood) vanwege de grote discrepantie in beeldstatistieken (domeinverschuiving).

Het doel van dit onderzoek is een FR-IQA-paradigma te ontwikkelen dat niet afhankelijk is van dure MOS-annotaties, maar wel uitstekend presteert in diverse, zelfs data-schaarse, domeinen.

Methodologie

De auteurs stellen een nieuw paradigma voor dat gebaseerd is op causale ontrafeling (causal disentanglement) en ontkoppelde representatielering, geleid door het concept van het visuele maskeringseffect (Visual Masking Effect - VME).

Het framework bestaat uit drie hoofdfasen:

1. Ontkoppeling van degradatie-kenmerken (Decoupling)

• Principe: Een vervormde afbeelding ($I_d$) wordt gezien als een combinatie van beeldinhoud ($C$) en degradatie ($D$). De referentieafbeelding ($I_r$) bevat de zuivere inhoud $C$.
• Interventie: In plaats van een standaard auto-encoder te gebruiken, wordt een causale interventie toegepast. De latentere presentatie van de vervormde afbeelding wordt gesplitst. De inhoudelijke component wordt vervangen door de inhoud uit de referentieafbeelding ($C$).
• Doel: De decoder moet de vervormde afbeelding reconstrueren met behulp van de zuivere inhoud $C$ en de overgebleven latentere component. Dit dwingt de overgebleven component om uitsluitend de degradatie-informatie ($D$) vast te houden, waardoor inhoud en degradatie worden ontkoppeld.

2. Causale representatielering (Causal Representation Learning)

• Visueel Maskeringseffect: Menselijke waarneming is niet lineair; dezelfde vervorming is minder zichtbaar in textuurrijke gebieden dan in gladde gebieden. De inhoud ($C$) beïnvloedt dus de zichtbaarheid van de degradatie ($D$).
• Causale Graph: De auteurs modelleren dit als een gerichte causale relatie $C \rightarrow D$. Een causale laag (gebaseerd op een Structured Causal Model) wordt geïntroduceerd om te leren hoe de inhoud de degradatie-kenmerken moduleert.
• Implementatie: Een moduleringsmasker wordt gegenereerd op basis van de inhoudskenmerken en toegepast op de degradatie-kenmerken. Dit resulteert in inhoudsbeïnvloede degradatie-kenmerken ($\dot{D}$), die de menselijke perceptie van vervorming beter nabootsen dan pure degradatie-kenmerken.

3. Kwaliteitsvoorspelling (Score Prediction)
Afhankelijk van de beschikbaarheid van gelabelde data worden drie scenario's ondersteund:

• Supervised (Volledig gelabeld): Een regressie-head mapt de inhoudsbeïnvloede kenmerken direct naar MOS-scores.
• Few-shot: Met een klein aantal gelabelde voorbeelden wordt de regressie-head gefinetuned.
• Zero-shot (Label-vrij): Zonder enige MOS-annotatie wordt aangenomen dat de kwaliteit-gerelateerde variatie in de hoge-dimensionale kenmerkruimte ligt op een laag-dimensionale manifold. De auteurs gebruiken UMAP (Uniform Manifold Approximation and Projection) om de inhoudsbeïnvloede degradatie-kenmerken te projecteren naar een 1-dimensionale ruimte. De positie op deze as fungeert als een relatieve kwaliteitsrangschikking.

Belangrijkste Bijdragen

1. Nieuw Paradigma: Een shift van traditionele paarsgewijze kenmerkvergelijking naar een causale ontrafelingsbenadering voor FR-IQA.
2. Causale Modelling: De expliciete modellering van het visuele maskeringseffect via een causale graaf ($C \rightarrow D$), waardoor de interactie tussen beeldinhoud en vervorming wordt vastgelegd.
3. Label-vrije Adaptatie: Het vermogen om scenario-specifiek te trainen en te voorspellen zonder MOS-data, wat leidt tot superieure generalisatie in niet-standaard domeinen.
4. Robuustheid: Het framework werkt effectief in volledig supervised, few-shot en volledig label-vrije settings.

Resultaten

De methode is uitgebreid getest op diverse benchmarks:

• Standaard Benchmarks: Op datasets zoals TID2013, LIVE, CSIQ, KADID-10k en PIPAL bereikte de methode concurrerende prestaties, vaak vergelijkbaar met of beter dan state-of-the-art (SOTA) methoden zoals DISTS, TOPIQ en DeepCausal.
• Niet-standaard Domeinen: Op specifieke domeinen (onderwater, röntgen, medisch, neutronenbeelden, scherminhoud) presteerde de methode aanzienlijk beter dan bestaande trainingsvrije methoden. Terwijl andere methoden faalden door domeinverschuiving, behaalde de voorgestelde methode SOTA-resultaten door specifiek te pre-trainen op de degradaties van dat specifieke domein zonder menselijke labels.
• Few-shot en Zero-shot: De methode behield hoge correlaties (PLCC/SRCC) zelfs met slechts 2-15% gelabelde data, en in zero-shot settings leverde de UMAP-projectie een betrouwbare relatieve rangschikking op.
• Ablatie Studies: Deze bevestigden dat zowel de causale laag als de combinatie van verliesfuncties (MSE, VGG, GAN) essentieel zijn voor de prestaties. Het omkeren van de causale richting ($D \rightarrow C$) leidde tot slechtere resultaten, wat de validiteit van het model bevestigt.

Significantie

Dit paper biedt een fundamentele doorbraak in het veld van Image Quality Assessment door:

• De afhankelijkheid van dure en schaarse menselijke annotaties te doorbreken, wat IQA-toepassingen mogelijk maakt in domeinen waar data schaars is (bijv. medische beeldvorming).
• Een theoretisch onderbouwde link te leggen tussen causale inferentie en het menselijk visuele systeem (via het maskeringseffect).
• Een flexibele architectuur te bieden die zowel voor algemene toepassingen als voor zeer specifieke, niche-domeinen kan worden geoptimaliseerd zonder de noodzaak van grote gelabelde datasets.

De methode demonstreert dat het modelleren van de oorzaak van perceptie (de interactie tussen inhoud en vervorming) effectiever is dan het simpelweg meten van de verschillen tussen beelden.