Why Self-Inconsistency Arises in GNN Explanations and How to Exploit It

Technische Samenvatting: Waarom Zelf- inconsistentie Ontstaat in GNN-Verklaringen en Hoe Hiermee Om Te Gaan

1. Probleemstelling

Zelf-interpretabele Graph Neural Networks (SI-GNN's) integreren het genereren van verklaringen direct in het voorspellingsproces, wat theoretisch betrouwbaardere verklaringen biedt dan post-hoc methoden. Echter, recente waarnemingen wijzen uit dat SI-GNN's last hebben van zelf-inconsistentie: wanneer een model opnieuw wordt toegepast op zijn eigen gegenereerde subset van het verklarende graf, produceert het vaak een andere verklaring, waarbij eerder geselecteerde randen worden verwijderd of nieuwe worden toegevoegd. Dit gedrag ondermijnt de betrouwbaarheid en praktische bruikbaarheid van SI-GNN's. Hoewel het bestaan van dit fenomeen gedocumenteerd is, blijft het onderliggende mechanisme dat het veroorzaakt slecht begrepen, en ontbreken effectieve strategieën om het te mitigeren zonder hertraining.

2. Methodologie en Theoretische Analyse

Oorzaak: Contextverstoring
De auteurs identificeren door herverklaring veroorzaakte contextverstoring als de directe oorzaak van variatie in scores. In GNN's worden noderepresentaties bijgewerkt via berichtuitwisseling. Wanneer een SI-GNN een verklaring genereert (een gemaskerde subgraf) en deze terugvoert naar zichzelf, verandert het randgewijs maskeren de lokale context van berichtuitwisseling. Aangezien de belangrijkheidsscores van randen worden afgeleid van deze noderepresentaties, leidt de verstoorde context van nature tot verschillende scores bij de tweede doorgang.

Hypothese over Toewijzing van Latente Signalen
Om te verklaren waarom alleen specifieke randen (doorgaans onbelangrijke) instabiliteit vertonen terwijl grondwaarheid-belangrijke randen stabiel blijven, stelt het artikel de Hypothese over Toewijzing van Latente Signalen voor. De auteurs partitioneren randen in drie disjuncte verzamelingen:

• $E_p$ (Randen met positieve signalen): Randen die hoge scores krijgen op basis van intrinsieke, context-invariante kenmerken. Deze blijven stabiel over verschillende doorgangen.
• $E_n$ (Randen met negatieve signalen): Randen die lage scores krijgen op basis van intrinsieke kenmerken. Deze blijven eveneens stabiel.
• $E_c$ (Contextgedreven randen): Randen waarvan de scores voornamelijk worden bepaald door de lokale context van berichtuitwisseling. Deze zijn zeer gevoelig voor de verstoringen veroorzaakt door herverklaring.

De auteurs betogen dat regularisatie voor beknoptheid (die het totale "budget" aan belangrijkheidsmassa beperkt dat een verklaring kan hebben) deze toewijzing vormgeeft. Onder strakke budgetbeperkingen wordt het model gedwongen om belangrijkheid opnieuw toe te wijzen, waardoor onbelangrijke randen mogelijk worden verplaatst van een signaalgedreven staat naar een contextgedreven staat, waardoor hun gevoeligheid voor verstoringen toeneemt.

Voorgestelde Oplossing: Zelf-ontstoording (SD)
Gebruikmakend van de observatie dat zelf-inconsistentie fungeert als een signaal voor ruis, stellen de auteurs Zelf-ontstoording (SD) voor, een modelonafhankelijke, training-vrije post-processing-strategie.

• Mechanisme: SD voert een tweede doorgang uit op het verklarende graf om de instabiliteit ($\Delta s_{ij}$) van de belangrijkheidsscore van elke rand te meten.
• Calibratie: Het straft randen met hoge instabiliteit af door hun oorspronkelijke scores te verlagen: $\tilde{m}_{ij} = \max(0, (1 - \eta \Delta s_{ij})m^{(1)}_{ij})$, waarbij $\eta$ een parameter voor ontstoringssterkte is.
• Selectie van Hyperparameters: Om de door SD geïntroduceerde distributieverandering te hanteren, stellen de auteurs een lichtgewicht aanpassingsstrategie voor: het bevriezen van de verklarer en de encoder, en alleen de classifier fijnafstemmen op de gekalibreerde verklaringen. De ontstoringssterkte $\eta$ wordt vervolgens geselecteerd op basis van de validatie-accuraatheid van deze aangepaste classifier.

3. Belangrijkste Bijdragen

• Mechanistisch Inzicht: Het artikel biedt de eerste theoretische verklaring voor zelf-inconsistentie, en wijst deze toe aan lokale contextverstoringen en formaliseert de rol van toewijzing van latente signalen onder beknoptheidsbeperkingen.
• Efficiënte Kalibratie: Het introduceert Zelf-ontstoording (SD), een post-hoc strategie die de kwaliteit van verklaringen verbetert met minimale rekenkosten (slechts één extra doorgang, wat ongeveer 4–6% extra kost).
• Complementariteit: Het werk toont aan dat SD een onderscheidende bron van ruis vastlegt (zelf-inconsistentie van een enkel model) die complementair is aan bestaande methoden voor cross-model inconsistentie zoals Explanation Ensemble (EE).

4. Experimentele Resultaten

Experimenten werden uitgevoerd over vier representatieve SI-GNN-frameworks (GAT, CAL, SMGNN, GSAT), meerdere backbone-architecturen (GIN, GraphSAGE, GatedGCN) en vier benchmarkdatasets (BA-2MOTIFS, 3MR, BENZENE, MUTAGENICITY).

• Kwaliteit van Verklaringen: SD verbetert consistent de AUC (plausibiliteit ten opzichte van de grondwaarheid) over alle 16 geteste configuraties, met winsten tot 3,9%. Het vermindert ook significant de SPA (Soft Sparsity), wat wijst op beknoptere en minder redundante verklaringen.
• Betrouwbaarheid: De resultaten voor FID (Faithfulness) zijn gemengd, wat de auteurs toeschrijven aan de door SD geïntroduceerde distributieverandering en de specifieke mechanica van bepaalde modellen (bijv. CAL). Echter, na lichtgewicht aanpassing van de classifier verbetert de stabiliteit van FID.
• Voorspellende Prestaties: Het toepassen van SD alleen resulteert in geringe veranderingen in accurateness. Wanneer gecombineerd met de lichtgewicht classifier-aanpassing (SD*), verbetert de downstream classificatie-accurateness consistent, met winsten tot 8% in sommige gevallen.
• Efficiëntie versus EE: In tegenstelling tot Explanation Ensemble (EE), waarvoor het trainen van meerdere modellen nodig is en wat ongeveer 400% extra kosten met zich meebrengt, vereist SD slechts één model en voegt ongeveer 4–6% extra kosten toe. Het combineren van SD met EE levert verdere verbeteringen op, wat suggereert dat de twee methoden verschillende ruisbronnen aanpakken.

5. Betekenis en Beweringen

Het artikel beweert dat zelf-inconsistentie niet slechts een foutmodus is, maar een intrinsiek signaal dat kan worden benut om verklaringen te kalibreren. Door het mechanisme van contextverstoring en toewijzing van latente signalen te begrijpen, tonen de auteurs aan dat een eenvoudige, training-vrije post-processing-stap de betrouwbaarheid en beknoptheid van SI-GNN-verklaringen aanzienlijk kan verbeteren.

De auteurs houden een bescheiden standpunt aan, met de opmerking dat:

• Hun hypothese over latente signalen een mechanistisch perspectief is dat is afgeleid uit gedrag en geen strikt identificeerbaar latent-variabelenmodel is.
• SD geen volledig betrouwbare verklaringen garandeert, omdat het niet alle ruisbronnen kan vastleggen (bijv. die niet gerelateerd zijn aan zelf-inconsistentie).
• De methode is ontworpen voor post-hoc kalibratie van bestaande vooringestelde modellen, wat het onderscheidt van benaderingen die hertraining vereisen met zelf-consistentiedoelen.

Uiteindelijk beoogt het werk de betrouwbaarheid van AI-systemen in hoog-risicodomeinen (bijv. medicijnontdekking, wetenschappelijke ontdekking) te verbeteren door contextgedreven ruis in grafverklaringen te onderdrukken zonder architecturale wijzigingen of hertraining te vereisen.