Sparse but not Simpler: A Multi-Level Interpretability Analysis of Vision Transformers

Probleemstelling

Er heerst binnen de gemeenschap voor mechanische interpretabiliteit de hypothese dat spare (verspreide) neurale netwerken makkelijker te interpreteren zijn dan dichte modellen. Deze hypothese wordt vaak ondersteund door bevindingen in taalmodellen, waar gewichtssparsiteit leidt tot compacte circuits die specifieke gedragingen implementeren. Echter, het blijft onduidelijk of structurele sparsiteit op zichzelf ook daadwerkelijk leidt tot verbeterde semantische interpretabiliteit in visuele modellen.

Bestaand bewijs is grotendeels gebaseerd op structurele metrics (zoals circuitgrootte), maar een kleiner circuit betekent niet automatisch dat de interne representaties duidelijker zijn (bijvoorbeeld: neuronen kunnen nog steeds polysemantisch zijn, of attributiekarten kunnen niet betrouwbaarder worden). Bovendien is er weinig onderzoek gedaan naar Vision Transformers (ViTs) die werken op natuurlijke afbeeldingen, in tegenstelling tot taalmodellen die vaak op eenvoudigere algoritmische taken worden getest.

Methodologie: Het IMPACT-framework

De auteurs introduceren IMPACT (Interpretability Multi-level Pipeline for Assessing Computational Transparency), een raamwerk dat interpretabiliteit evalueert op vier complementaire niveaus. Het onderzoek vergelijkt dichte Vision Transformers met verspreide varianten die zijn gegenereerd via Wanda-pruning (een state-of-the-art methode voor één-schot pruning) op het DeiT-III B/16 model, getraind op ImageNet-1K.

De analyse omvat de volgende vier niveaus:

1. Neuron-niveau:

   • Evaluatie van individuele neuronen op vier metrics: Selectiviteit (AUROC voor een specifieke klasse), Ablatie-impact (hoeveel bijdrage leveren de belangrijkste neuronen?), Klasse-variatie (consistentie van reacties binnen een klasse) en Label-entropie (mate van monosemanticiteit).
   • Doel: Bepalen of sparsiteit leidt tot minder polysemantische neuronen.

2. Lagen-niveau (Layer-level):

   • Gebruik van Sparse Autoencoders (SAEs), specifiek de BatchTopK-variant, om de dichte activaties van het model te ontleden in schaarse latent features.
   • Analyse van de reconstructiekwaliteit (NMSE, dode latenten) en de interpretabiliteit van de geleerde SAE-features (met dezelfde metrics als bij het neuron-niveau).
   • Doel: Bepalen of sparsiteit de "superpositie" (het samenvoegen van meerdere concepten in één neuron) vermindert.

3. Circuit-niveau:

   • Extractie van minimale functionele circuits voor voorspellingen van specifieke ImageNet-klassen (100 klassen).
   • Gebruik van leerbare node-maskering om te bepalen welke computationele knopen noodzakelijk zijn.
   • Introductie van een nieuwe metric: Normalized Circuit Quality (NCQ). Deze combineert de nauwkeurigheid van het circuit met de compressie (hoeveel knopen zijn verwijderd), zodat een eerlijke vergelijking mogelijk is tussen dichte en verspreide modellen.

4. Model-niveau:

   • Evaluatie van de faithfulness (betrouwbaarheid) van attributiekarten (waar kijkt het model naar?).
   • Gebruik van Transformer Attribution (gebaseerd op Chefer et al.) en evaluatie via Insertion en Deletion metrics (AUC).
   • Doel: Bepalen of de eindbeslissingen van het model beter verklaard kunnen worden door de input.

Belangrijkste Resultaten

De resultaten tonen een genuanceerd beeld: structurele sparsiteit verkleint circuits, maar verbetert de semantische interpretabiliteit niet systematisch.

• Circuit-niveau:

  • Verspreide modellen produceren inderdaad structureel kleinere circuits. Bij 70% sparsiteit hebben de circuits ongeveer 2,5x minder randen (edges) dan dichte modellen.
  • Echter, het aantal actieve knopen neemt niet af; het percentage actieve knopen is zelfs hoger in verspreide modellen (41,6% vs 29,0% bij dichte modellen).
  • Conclusie: Pruning verplaatst de berekening over een vergelijkbaar aantal componenten in plaats van computation te isoleren in eenvoudigere modules. Dit fenomeen wordt "representation spreading" genoemd.

• Neuron- en Lagen-niveau:

  • Er is geen systematische verbetering in neuron-selectiviteit, label-entropie of klasse-variatie. Neuronen in verspreide modellen blijven even polysemantisch als in dichte modellen.
  • Bij SAE-features wordt geen consistente afname van superpositie waargenomen. Hoewel er bij zeer lage sparsiteit (10%) soms een lichte verbetering is (mogelijk door regularisatie), verdwijnt dit effect bij hogere sparsiteitsniveaus.

• Model-niveau:

  • Attributie-vaardigheden tonen slechts marginale verbeteringen bij lage sparsiteit (10-30%), waarschijnlijk door een mild regularisatie-effect.
  • Bij hogere sparsiteit (50-70%) stabiliseert of verslechtert de kwaliteit van de attributiekaarten. Visuele inspectie toont geen consistente verbetering in ruimtelijke lokalisatie of semantische gronding.

Bijdragen

1. Systematische Vergelijking: Eerste uitgebreide vergelijking van interpretabiliteit tussen dichte en verspreide Vision Transformers, uitbreiding van circuit-analyse van taalmodellen naar het visuele domein.
2. IMPACT Framework: Introductie van een multi-level evaluatiepijplijn (neuron, laag, circuit, model) inclusief de nieuwe Normalized Circuit Quality (NCQ) metric.
3. Fundamentele Bevinding: Het weerleggen van de aanname dat structurele sparsiteit automatisch leidt tot mechanische transparantie. Sparsiteit reduceert de randen in het netwerk, maar niet de complexiteit van de onderliggende voorspellende logica of de entanglement van features.

Betekenis en Conclusie

Het paper concludeert dat structurele sparsiteit alleen niet voldoende is om meer interpreteerbare visuele modellen te garanderen. Hoewel pruning (zoals Wanda) de parameteraantal verkleint en de circuitgrootte reduceert, leidt dit niet tot een vereenvoudiging van de semantische representaties. Neuronen blijven polysemantisch en attributiekarten worden niet betrouwbaarder.

Dit suggereert dat om echte mechanische interpretabiliteit te bereiken, er meer nodig is dan alleen post-hoc pruning. Er zijn waarschijnlijk specifieke trainingsdoelen of architecturale priors nodig die semantische structuur expliciet bevorderen, in plaats van te vertrouwen op het verwijderen van gewichten. De studie benadrukt het belang van evaluatieframeworks die verder kijken dan alleen circuit-compactheid.