Technische Samenvatting: Taakrelevantie Is Niet Lokale Vervangbaarheid

Probleemstelling

In visuele netwerken wordt kanaalbelang doorgaans samengevat door een enkele scalare score. Deze praktijk vermengt twee verschillende vragen:

1. Taakrelevantie: Hoeveel informatie draagt een kanaal bij aan de doeltaak?
2. Lokale Vervangbaarheid: Als een kanaal wordt verwijderd, kunnen de overige kanalen in dezelfde laag dan de nodige informatie leveren om de netwerkfunctie te handhaven?

De auteurs betogen dat deze eigenschappen niet hoeven samen te vallen. Een sterk voorspellend kanaal kan eenvoudig verwijderbaar zijn als peers overlappende informatie dragen, terwijl een minder voorspellend kanaal kritiek kan zijn als geen enkele peer zijn specifieke rol dekt. Bestaande metrieken (grootte, gradiëntgevoeligheid, reconstructiefout, enz.) comprimeren deze effecten vaak tot één waarde, waardoor ze niet expliciet onderscheid maken tussen taakbijdrage en herstelbaarheid door peers in dezelfde laag.

Methodologie

Het artikel introduceert een twee-as perspectief van kanaalinformatie, waarbij taakrelevantie wordt gescheiden van lokale vervangbaarheid. De analyse wordt post-hoc uitgevoerd op bevroren netwerken getraind op CIFAR-100 (ResNet-18, VGG-16, MobileNetV2) met behulp van een vaste kalibratieset.

De Twee Assen

1. Lokale As (Vervangbaarheid):

   • Inputvangst ($I_X$): Een proxy voor hoe sterk een kanaal inputvariatie vastlegt, berekend via de Rayleigh-kwotiënt van het gewichtsvector en de inputcovariantie ($w_i^\top \Sigma_X w_i$).
   • Peer-overlap ($\bar{R}_X$): Een maat voor hoe sterk het signaal van een kanaal overlapt met peers in dezelfde laag, afgeleid uit de paarwijze correlatiematrix van kanaalactivaties.
   • Definitie: Een kanaal met een hoge $I_X$ en een lage $\bar{R}_X$ draagt een onderscheidende lokale structuur en is moeilijker te vervangen.

2. Doelas (Relevantie):

   • Taakmutuele Informatie ($I(T; Y)$): Meet de informatie die een kanaal bevat over de taakmarge (ground-truth logit-marge).
   • Doelredundantie/Exces: Gebruikt proxies voor Gaussische Partiële Informatiedecompositie (PID). Het artikel merkt op dat onder de schaalbare Gaussische-MMI (Maximum Mutual Information)-definitie, doelredundantie instort tot singleton-taakrelevantie, waardoor dit onderscheidbaar is van lokale peer-overlap.

Experimenteel Protocol

• Structurele Analyse: Het meten van correlaties en clustering (Adjusted Rand Index) tussen de twee assen over lagen en zaden heen.
• TrainingsTrajecten: Het volgen van de uitlijning van de assen van willekeurige initialisatie tot convergentie om te bepalen of de scheiding wordt aangeleerd.
• Gradiëntanalyse: Het afleiden van een Gaussisch lineair model om de geometrische ontkoppeling van de twee assen te verklaren via geresidualiseerde gradiëntrichtingen.
• Interventietests:
  • Lesies: Het verwijderen van individuele kanalen zonder fine-tuning om de directe toename van de verliesfunctie te meten.
  • Pruning: Gestructureerde pruning met FLOPs-gelijkgestelde recovery (fine-tuning) om nauwkeurigheidsbehoud te evalueren.
  • Peervervanging: Het vervangen van de activatie van een verwijderd kanaal door een lineaire reconstructie van de beste peers om herstelbaarheid te testen.

Belangrijkste Bijdragen

1. Structurele Scheiding van Assen

De studie toont aan dat in getrainde netwerken de lokale en doelassen zwak uitgelijnd zijn (Spearman $\rho \approx 0,01$) en verschillende kanaalgroeperingen definiëren (lage Adjusted Rand Index). Dit staat in contrast met willekeurige initialisatie, waarbij de assen sterk gekoppeld zijn ($\rho \approx 0,7$). De scheiding is een aangeleerd fenomeen, geen artefact van initialisatie.

2. Mechanisme van Ontkoppeling

De auteurs stellen een Gaussisch residualisatiemechanisme voor. In een lineair-Gaussisch model volgt de gradiënt voor inputvangst de geprojecteerde signaal-energie-richting, terwijl de gradiënt voor taakrelevantie een geresidualiseerde taakcovariantierichting volgt. Wanneer de taakcovariantierichting zwak uitgelijnd is met dominante input-energie-richtingen, worden de twee gradiënten bijna orthogonaal, wat de waargenomen ontkoppeling tijdens training verklaart.

3. Voorspelbaarheid van Pruning

Onder een vast FLOPs-gelijkgesteld pruningprotocol zijn metrieken van de lokale as betrouwbaardere voorspellers van verwijderbaarheid dan metrieken van de doel-as.

• Lesiebewijs: Binnen bins met gelijke taakrelevantie, voorspelt peer-reconstructie $R^2$ (lokale ondersteuning) herstel van schade, terwijl taakrelevantie en inputvangst dit niet doen.
• Pruningresultaten: Over ResNet-18, VGG-16 en MobileNetV2 heen presteren de beste methoden van de lokale as significant beter dan de beste methoden van de doel-as (bijv. +8,0% tot +10,1% AUC).
• Architectuurafhankelijkheid: Hoewel lokale vervangbaarheid over het algemeen superieur is, merkt het artikel op dat bij VGG-16 de gewichtsgrootte een sterke baseline blijft, wat suggereert dat architectuurspecifieke toewijzingsdetails nog steeds belangrijk zijn.

4. Hogere-orde Structuur

De analyse toont aan dat lokale vervangbaarheid verschuift van "singleton-duplicaten" in vroege lagen naar "gedistribueerde hulzen" in diepere lagen. Omgekeerd vereist informatie aan de doelzijde in diepere lagen steeds meer triplet-niveau synergie, wat suggereert dat middelste lagen moeilijker te comprimeren zijn vanuit de doelzijde vanwege gedistribueerde synergetische informatie.

Resultaten

• Zwakke Uitlijning: De correlatie tussen inputvangst ($I_X$) en taakrelevantie ($I(T; Y)$) daalt scherp tijdens training en stabiliseert dicht bij nul in de uiteindelijke modellen.
• Clusterdivergentie: Kanalen gegroepeerd op basis van lokale kenmerken (redundantie) en doelkenmerken (relevantie) tonen een bijna willekeurige overlap (ARI $\approx 0,02$), wat bevestigt dat ze verschillende subsets van kanalen identificeren.
• Pruiningprestaties:
  • ResNet-18: Beste lokale methode (+8,0 pp) > Beste doel-methode.
  • VGG-16: Beste lokale methode (+6,6 pp) > Beste doel-methode, hoewel grootte (een op norm gebaseerde baseline) concurrerend blijft.
  • MobileNetV2: Beste lokale methode (+10,1 pp) > Beste doel-methode.
  • Stresstests: De hiërarchie van lokaal boven doel geldt voor CIFAR-10, Tiny-ImageNet, ImageNet-100 en een ConvNeXt-T pilot, hoewel de mate van as-scheiding varieert.
• Gradiëntorthogonaliteit: Empirische metingen bevestigen dat de SGD-updaterichting na vroege training bijna orthogonaal wordt met beide informatiegradiënten, wat de residualisatiehypothese ondersteunt.

Betekenis en Claims

Het artikel claimt een as-niveau onderscheid in plaats van een universele rangschikking van pruning-scores.

• Kerninzicht: Pruning is fundamenteel een vervangbaarheidsinterventie. Het vraagt of een kanaal nog nodig is wanneer de rest van de laag beschikbaar is. Taakrelevantie verklaart wat een kanaal vertegenwoordigt, maar lokale vervangbaarheid verklaart of het netwerk het nodig heeft.
• Beperkingen: Het sterkste bewijs is afgeleid van CNN's op CIFAR-100. Hoewel stresstests op ImageNet en ConvNeXt de trend ondersteunen, claimen de auteurs geen universele toepasbaarheid over alle architecturen (bijv. Transformers) zonder verdere validatie.
• Praktische Implicatie: De bevindingen suggereren dat pruning-heuristieken expliciet rekening moeten houden met lokale peer-ondersteuning. Op norm gebaseerde scores (zoals grootte) kunnen concurrerend blijven in specifieke architecturen (zoals VGG-16) waar ze fungeren als proxy voor lokale inputvangst, maar ze slagen er niet in peer-overlap te vangen, wat de kritieke factor is voor verwijderbaarheid.

Het werk herformuleert kanaalbelang niet als een enkele scalare, maar als een tweedimensionale eigenschap, wat een genuanceerdere diagnose biedt voor het begrijpen van netwerkredundantie en het leiden van pruning-strategieën.