Panoptic Pairwise Distortion Graph

Titel: Panoptic Pairwise Distortion Graph (DG)

Auteurs: Muhammad Kamran Janjua, Abdul Wahab, Bahador Rashidi (Huawei Technologies, Canada)

1. Het Probleem

Huidige methoden voor beeldkwaliteitsbeoordeling (Image Quality Assessment - IQA) en vergelijkende beeldanalyse focussen voornamelijk op een globale, top-down benadering. Ze analyseren een afbeelding als één geheel, wat leidt tot de volgende beperkingen:

• Gebrek aan fijnmazigheid: Ze missen het vermogen om degradaties (vervormingen) op regionaal niveau te begrijpen.
• Beperkingen van Multimodale Large Language Models (MLLMs): Bestaande MLLMs (zoals Co-Instruct, Q-Instruct) falen vaak bij het uitvoeren van vergelijkende taken op regionaal niveau. Zelfs wanneer expliciete region-cues (zoals bounding boxes) worden gegeven, neigen deze modellen naar template-antwoorden, hallucineren ze gebieden, of missen ze specifieke vervormingen.
• Gebrek aan gestructureerde representatie: Er ontbreekt een gestructureerde manier om de relaties tussen twee afbeeldingen en de specifieke vervormingen in hun onderdelen (regio's) compact en interpreteerbaar weer te geven.

2. Methodologie

De auteurs introduceren een nieuwe perspectief: het vertegenwoordigen van een paar afbeeldingen als een gestructureerde Distortion Graph (DG).

A. Distortion Graph (DG)

De DG is een topologische structuur die een paar afbeeldingen (een 'Anchor' en een 'Target') modelleert op basis van hun regio's.

• Knooppunten (Nodes): Vertegenwoordigen objecten of regio's in de afbeeldingen. Elke node bevat attributen zoals het type vervorming, de ernst (severity), en een kwaliteitscore.
• Randen (Edges):
  • Distortion Relations: Vergelijken een regio in de Anchor met de corresponderende regio in de Target (bijv. "Target is significant worse due to blur").
  • Scene Relations: (Optioneel) Beschrijven relaties binnen één afbeelding (gebaseerd op scene graphs).
• Eigenschappen: De DG garandeert validiteit (alleen inter-image vergelijkingen), orde (Anchor vs. Target), en functionele vergelijking (elk regio-paar heeft precies één vergelijkingsrelatie).

B. PANDA Architectuur

Om de DG te leren, stellen de auteurs PANDA voor, een efficiënt neurale netwerk-architectuur:

• Input: Een paar afbeeldingen.
• Encoder: Gebruikt een pre-getrainde encoder (bijv. DINOv2) voor feature maps.
• Panoptic Segmentatie: Gebruikt een model (zoals SAM) om regio's te segmenteren en te alignen tussen de twee afbeeldingen (1-op-1 correspondentie).
• Token Pool: Introduceert leerbare tokens die corresponderen met de binary masks van de regio's om beeldinformatie te koppelen aan specifieke regio's.
• Degradation Decoder: Een Transformer-gebaseerde decoder die cross-attention gebruikt om elke regio in de ene afbeelding te laten "kijken" naar de features van de andere afbeelding.
• Voorspelling: Vier heads voorspellen per regio:
  1. Vergelijkingsrelatie (Predicate).
  2. Type vervorming.
  3. Ernst van vervorming.
  4. Kwaliteitsscore.

3. Key Contributions

De paper presenteert drie fundamentele bijdragen om het leren van een DG mogelijk te maken:

1. PANDASET (Dataset):

   • Een regionaal niveau dataset met meer dan 528.000 afbeeldingsparen.
   • Gebaseerd op PSG en Seagull-100w.
   • Bevat 15 verschillende vervormingstypes (o.a. blur, ruis, regen, sneeuw, compressie) met 4 ernstniveaus (clean, minor, moderate, severe).
   • Elke regio heeft een kwaliteitscore en een vergelijkingslabel.

2. PANDABENCH (Benchmark):

   • Een benchmark-suite met drie splits van toenemende moeilijkheidsgraad om regionaal begrip systematisch te evalueren:
     • Easy: Alle regio's in een afbeelding hebben dezelfde vervormingstypen.
     • Medium: Eén afbeelding heeft gemengde vervormingen.
     • Hard: Beide afbeeldingen hebben per regio verschillende vervormingen en ernstniveaus.
   • Dit is het eerste benchmark dat specifiek gericht is op regionaal, vergelijkend begrip van vervormingen.

3. PANDA (Model):

   • Een efficiënt architectureel ontwerp dat regionale attributen en relaties leert te voorspellen zonder de contextlimieten van grote taalmodellen te hoeven overstijgen.

4. Resultaten

De auteurs evalueren zowel open-source als gesloten-source (frontier) MLLMs op PANDABENCH en vergelijken deze met hun eigen PANDA-model.

• MLLM Prestaties:

  • Zelfs geavanceerde modellen (GPT-4o, GPT-5 Mini, Gemini 2.5 Pro) presteren slecht op regionaal niveau, vaak dicht bij willekeurige kans (random chance), vooral in de 'Hard' setting.
  • Ze hebben moeite met instructie-opvolging bij complexe regionale queries en hallucineren vaak gebieden.
  • Open-source modellen (zoals DepictQA, Q-Instruct) falen nog meer door contextbeperkingen en gebrek aan regionaal ontwerp.

• PANDA Prestaties:

  • PANDA behaalt de beste prestaties op alle taken (vergelijking, vervormingstypen, ernst, scores) in alle moeilijkheidsgraden.
  • Het model toont de minste prestatiedaling bij het overschakelen van Easy naar Hard, wat aantoont dat het robuust is voor fijnmazige degradaties.

• Showcase Applicatie (Chain-of-Thought):

  • Een interessante bevinding is dat het voorspellen van een DG en het invoeren daarvan als context (hint) in een MLLM (Chain-of-Thought prompting) de prestaties van de MLLM aanzienlijk verbetert (ongeveer +15% accuraatheid).
  • De MLLM gebruikt de DG als een gestructureerde leidraad, maar kan deze ook corrigeren als de visuele bewijzen in de pixels tegenspreken (emergent vermogen).

5. Betekenis en Conclusie

• Paradigmaverschuiving: Het paper beweert dat regionale analyse de basis moet vormen voor beeldkwaliteitsbeoordeling, in plaats van het andersom. Een DG aggregeert regionale informatie naar een beeldniveau, maar het omgekeerde is vaak niet waar.
• Interpreteerbaarheid: De DG biedt een compacte, interpreteerbare structuur die de "waarom" en "waar" van kwaliteitsverschillen blootlegt, wat zwarte-doos embeddings van traditionele MLLMs niet doen.
• Toekomstperspectief: Dit werk opent een nieuwe richting voor fijnmazige, gestructureerde beeldanalyse. Het stelt DG voor als een universele datastructuur voor vergelijkende redenering, niet alleen voor vervorming, maar ook voor andere visuele taken (zoals video-analyse of vervalsingsdetectie).

Kortom, dit paper introduceert een fundamenteel nieuwe manier om beeldkwaliteit te analyseren door middel van een gestructureerde grafische representatie van regio's, ondersteund door een nieuwe dataset, benchmark en een gespecialiseerd model dat aanzienlijk beter presteert dan bestaande generieke multimodale modellen.