Technische Samenvatting: AGOP als Verklaring

Probleemstelling

Het vakgebied van Explainable AI (XAI) staat voor een centrale uitdaging in beeldclassificatie: verklaren welke invoerpixels de voorspelling van een neurale netwerk aandrijven. Huidige attributiemethoden (bijvoorbeeld Integrated Gradients, GradCAM, SmoothGrad) behandelen het getrainde model grotendeels als een black box, waarbij geometrische constructies onafhankelijk van de leerdynamiek van het netwerk worden toegepast. Bovendien worstelen deze methoden vaak met specifieke taakkenmerken, zoals multiplicatieve interacties, beperkingen in ruimtelijke resolutie, of taken die redenering op tweede orde vereisen. Er ontbreekt een rigoureuze vergelijking tussen gevestigde baselines en methoden die zijn gebaseerd op de theoretische mechanica van feature learning.

Methodologie

Dit werk introduceert AGOP-Weighted, een nieuwe attributiemethode die is gebaseerd op de Neural Feature Ansatz (NFA). De NFA stelt dat de weight Gram-matrices van een neurale netwerk aligneren met de Average Gradient Outer Product (AGOP)-matrices die zijn berekend over de trainingsverdeling. De auteurs maken gebruik van dit theoretisch inzicht om te stellen dat de diagonaal van de AGOP-matrix, $diag(M)$, fungeert als een natuurlijke prior voor attributie op basis van de trainingsverdeling.

De methodologie omvat drie kerncomponenten:

1. AGOP-varianten:
   • AGOP-Local: Equivalent aan VanillaGrad, wat de gradient per sample vertegenwoordigt.
   • AGOP-Weighted: Een hybride methode die de gradient per sample vermenigvuldigt met een genormaliseerde prior op basis van de trainingsverdeling, $v = \sqrt{diag(M)} / \max(diag(M))$. Dit onderdrukt gradientruis en versterkt pixels die consistent belangrijk zijn over de trainingsset.
   • AGOP-Global: Gebruikt $diag(M)$ direct als een salientiekarte met nul kosten voor het volledige dataset, waarbij variaties per instantie worden genegeerd.
2. AGOPTrainingHook: Een implementatiemechanisme dat $diag(M)$ accumuleert tijdens standaard training via een aparte backward pass (met behulp van autograd.grad) zonder de weight-updates te wijzigen. Dit maakt de efficiënte berekening van de globale prior mogelijk.
3. Evaluatiekader: De auteurs voeren een rigoureuze vergelijking uit tegen Integrated Gradients (IG), SmoothGrad, GradCAM en VanillaGrad over twee benchmarks met ground truth op pixelniveau:
   • XAI-TRIS: Een synthetische benchmark met 8×8 afbeeldingen en vier classificatiescenario's (Lineair, Multiplicatief, Translaties+Rotaties, XOR).
   • CLEVR-XAI: Een fotorealistische benchmark waarbij ResNet-18 is fine-gefine-tuned op 3D-scènes.

Belangrijkste Bijdragen

1. Nieuwe Attributieformulering: De introductie van AGOP-Weighted, die attributie per sample en globale attributie overbrugt door gradients te moduleren met een prior op basis van de trainingsverdeling.
2. Efficiënte Implementatie: De ontwikkeling van AGOPTrainingHook, waardoor AGOP-Global kan opereren met nul inferentiekosten (disk lookup) en AGOP-Weighted met de kosten van één gradientpass.
3. Systematische Evaluatie: De eerste rigoureuze vergelijking van AGOP-gebaseerde methoden tegen standaard baselines over diverse taaktypen (lineair, multiplicatief, ruimtelijk variërend) en resoluties.
4. Empirische Inzichten:
   • Aantonen dat AGOP-Weighted een significant hogere mean Intersection over Union (mIoU) bereikt dan Integrated Gradients op lineaire taken.
   • Aantonen dat AGOP-Global Integrated Gradients drastisch overtreft op multiplicatieve taken (waar IG onder het willekeurige niveau faalt) tegen nul inferentiekosten.
   • Identificeren van het falen van GradCAM op afbeeldingen met lage resolutie als gevolg van ineenstorting van de ruimtelijke resolutie.
   • Waarnemen dat de kwaliteit van $diag(M)$ monotoon verbetert gedurende de training, zelfs nadat de classificatie-accuraatheid is gestabiliseerd.

Resultaten

De experimenten leveren distincte prestatieprofielen op, gebaseerd op taakkenmerken:

• Lineaire Taken (XAI-TRIS): AGOP-Weighted bereikt een 44% hogere mIoU dan Integrated Gradients (0,314 versus 0,218) met de helft van de inferentiekosten (1,0 ms versus 2,4 ms).
• Multiplicatieve Taken (XAI-TRIS): AGOP-Global domineert en bereikt 7× de mIoU van Integrated Gradients (0,337 versus 0,048). In dit scenario valt IG onder de willekeurige baseline, terwijl de middeling van gekwadrateerde gradients door AGOP-Global ruis per sample opheft om het stabiele signaal te herstellen.
• Ruimtelijk Variërende Taken (Translaties+Rotaties): Integrated Gradients presteert beter dan alle methoden (mIoU 0,540) omdat het specifieke vormen per instantie volgt, terwijl AGOP-Global faalt (mIoU 0,080) als gevolg van de diffusie van globale statistieken.
• CLEVR-XAI (ResNet-18): Zowel AGOP-Weighted (+18% mIoU ten opzichte van IG) als AGOP-Global (+37% mIoU ten opzichte van IG) presteren beter dan Integrated Gradients. AGOP-Global bereikt concurrerende resultaten tegen 6.600× lagere inferentiekosten (0,02 ms/sample versus 131,98 ms/sample).
• Beperkingen van GradCAM: GradCAM en GradCAM++ falen volledig op afbeeldingen met lage resolutie (8×8 en 64×64 inputs) als gevolg van de ineenstorting van ruimtelijke feature maps (bijvoorbeeld 3×3 of 2×2 maps), wat resulteert in een Pointing Game-score van 0,000.

Betekenis en Claims

Het artikel claimt AGOP niet alleen als een theoretisch construct te vestigen, maar als een praktisch, post-hoc attributiemiddel. De betekenis ligt in:

• Overbrugging van Theorie en Praktijk: Valideren van de Neural Feature Ansatz door aan te tonen dat gradientstatistieken die tijdens training worden geaccumuleerd ($diag(M)$), superieure verklarende kracht bieden ten opzichte van methoden die het leerproces negeren.
• Taakafhankelijke Superioriteit: Aantonen dat geen enkele methode alle scenario's domineert; AGOP-varianten bieden echter specifieke, hoogwaardige voordelen: AGOP-Weighted voor lineaire taken en AGOP-Global voor multiplicatieve of positioneel consistente taken tegen nul inferentiekosten.
• Efficiëntie: Het bieden van een methode (AGOP-Global) die geen berekening tijdens inferentie vereist, waardoor deze ideaal is voor batch-pipelines en diagnostiek op datasetniveau.
• Beperkingen van Huidige Baselines: Benadrukken dat standaardmethoden zoals GradCAM fundamenteel ongeschikt zijn voor inputs met lage resolutie en dat Integrated Gradients catastrofaal kan falen bij multiplicatieve interacties.

De auteurs concluderen dat, hoewel AGOP-Weighted en AGOP-Global significante verbeteringen bieden in specifieke contexten, de keuze van de attributiemethode moet worden geleid door de aard van de taak (lineair versus multiplicatief, vast versus variërend ruimtelijk signaal). Er wordt voorgesteld om dit werk uit te breiden naar grotere netwerken en off-diagonale interactietermen te onderzoeken.