i-WiViG: Interpretable Window Vision GNN

Probleemstelling

Vision Graph Neural Networks (ViG) zijn een populaire benadering voor beeldherkenning omdat ze globale en ruimtelijke context modelleren, vaak beter dan traditionele CNNs die te veel focussen op lokale texturen. Echter, een significant nadeel van bestaande ViG-methoden is hun ontbrekende interpretatie. Ze fungeren als "black boxes" en bieden geen inherente uitleg over welke ruimtelijke interacties in het beeld leidend zijn tot een voorspelling.

De auteurs identificeren twee hoofdoorzaken voor dit gebrek aan interpretatie:

1. Overlappende receptieve velden: Bestaande ViG-modellen (zoals WiGNet) genereren grafiekknopen met grote, overlappende receptieve velden. Dit maakt het moeilijk om te begrijpen hoe het model informatie uitwisselt tussen specifieke objecten, omdat de knopen te veel gemeenschappelijke beeldinformatie bevatten.
2. Ongeschikte uitlegmethode voor beeldgrafieken: Bestaande methoden voor het verklaren van Graph Neural Networks (GNNs) zijn vaak ontworpen voor data met een natuurlijke grafiekstructuur (zoals moleculen). Wanneer deze toegepast worden op beeldgrafieken (die vaak ruis en redundante randen bevatten), falen ze vaak om de relevante ruimtelijke interacties nauwkeurig te identificeren.

Methodologie: i-WiViG

Het paper introduceert i-WiViG (Interpretable Window Vision GNN), een zelf-interpretabel ViG-model dat een spars subgraaf identificeert die essentieel is voor de voorspelling. De architectuur rust op twee fundamentele postulaat:

1. Disjuncte Lokale Vensters (Non-overlapping Window Encoder):

   • In plaats van grote, overlappende vensters, beperkt i-WiViG het receptieve veld van elke grafiekknopen tot een klein, disjunct (niet-overlappend) lokaal venster in het beeld.
   • Dit wordt bereikt door specifieke aanpassingen in de encoder: een kleinere venstergrootte (4x4 pixels in plaats van 8x8), en het gebruik van kernel-groottes en strides van 2 (en later 4) in plaats van de standaard 3/2.
   • Dit zorgt ervoor dat elke knopen in de feature map een uniek en duidelijk gedefinieerd deel van het beeld vertegenwoordigt, wat de ruimtelijke consistentie behoudt.

2. Interpreteerbare Grafiek-Bottleneck met Sparse Attention:

   • Het model introduceert een "bottleneck" laag die globale relaties tussen deze lokale vensters modelleert via een spars edge attention mechanisme.
   • In tegenstelling tot eerdere methoden (zoals GSAT) die een bimodale verdeling rond 0.5 nastreven, dwingt i-WiViG een spars verdeling af. Dit betekent dat de meeste randen een lage attentiewaarde krijgen (verwaarloosbaar) en slechts een paar kritieke randen een hoge waarde krijgen.
   • Dit wordt bereikt met een speciale verliesfunctie ($L_{sparsity}$) die de Gini-impureit (voor een bimodale verdeling rond 0 en 1) en een strakke controle op het niveau van sparsiteit combineert.
   • Tijdens inferentie filtert dit mechanisme automatisch de irrelevante verbindingen weg, waardoor alleen de subgraaf met de belangrijkste ruimtelijke interacties overblijft.

Belangrijkste Bijdragen

• Inherente Interpretatie: Een nieuw mechanisme dat visuele encoding (disjuncte vensters) combineert met een spars grafiek-attention bottleneck om direct een verklarende subgraaf te genereren zonder post-hoc analyse.
• Verbeterde Betrouwbaarheid (Faithfulness): Kwalitatieve en kwantitatieve vergelijkingen tonen aan dat de gegenereerde uitleggen intuïtief zijn en de daadwerkelijke werking van het model nauwkeuriger weergeven dan bestaande methoden.
• Prestatie zonder Inlevering: Het model behoudt concurrerende prestaties ten opzichte van "black-box" tegenhangers, zelfs op datasets met een sterke bias voor texturen, wat aantoont dat interpretatie niet ten koste hoeft te gaan van nauwkeurigheid.

Resultaten

De auteurs evalueerden i-WiViG op drie taken: scène-classificatie (SUN397, RESISC45) en regressie (Liveability dataset).

• Prestatie: i-WiViG behaalde vergelijkbare nauwkeurigheid met state-of-the-art CNNs en ViG-modellen. Bijvoorbeeld, op RESISC45 behaalde het 92% nauwkeurigheid (tegenover 94% voor de beste ViG-baselines), en op de Liveability dataset verbeterde het de $R^2$ score met ongeveer 0.1 ten opzichte van CNN-baselines.
• Kwalitatieve Analyse: De gegenereerde subgrafieken tonen semantisch betekenisvolle interacties. Bijvoorbeeld, bij een "vliegtuig" classificeert het model de langeafstandsafhankelijkheid tussen meerdere vliegtuigen en lokale verbindingen (staart-vleugel). Bij "Liveability" koppelt het huizen aan nabijgelegen vegetatie.
• Kwantitatieve Evaluatie (Faithfulness): Met behulp van insertion en deletion metrics (AUC) werd aangetoond dat i-WiViG aanzienlijk betrouwbaardere uitleggen produceert dan post-hoc methoden (GNNExplainer) en andere inherente methoden (GSAT). De kloof tussen de insertion en deletion curves was veel groter, wat aangeeft dat de geïdentificeerde randen echt cruciaal zijn voor de voorspelling.
• Vergelijking met Overlappende Vensters: Experimenten toonden aan dat het gebruik van disjuncte vensters (i-WiViG) leidt tot betere uitleggen en soms zelfs betere prestaties dan modellen met overlappende vensters, omdat overlappende velden de interpretatie van fijne objectinteracties verstoren.

Betekenis

Dit werk is significant omdat het een fundamenteel probleem in Vision GNNs aanpakt: het gebrek aan transparantie. Door de architectuur zo te ontwerpen dat interpretatie een integraal onderdeel is (inherent interpretable), biedt i-WiViG niet alleen voorspellingen, maar ook betrouwbare, semantische verklaringen voor die voorspellingen. Dit is cruciaal voor toepassingen in gebieden zoals remote sensing en stadsplanning, waar het begrijpen van waarom een model een bepaalde beslissing neemt (bijv. landgebruik of leefbaarheid) net zo belangrijk is als de voorspelling zelf. Het bewijst bovendien dat het afdwingen van interpretatie niet noodzakelijk leidt tot een verlies in prestatie.