Investigating the Effect of Network Pruning on Performance and Interpretability

Technische Samenvatting: Onderzoek naar het Effect van Netwerkpruning op Prestaties en Interpretatieerbaarheid

Probleemstelling
Diepe Neurale Netwerken (DNN's), zoals GoogLeNet, zijn vaak overgeparameteriseerd, wat uitdagingen creëert voor implementatie in omgevingen met beperkte middelen. Hoewel neurale netwerkpruning een gevestigde techniek is voor het verkleinen van modelgrootte, heeft de bestaande literatuur zich voornamelijk gericht op prestatie-indicatoren zoals nauwkeurigheid en ruimtelijke complexiteit. Er is een opmerkelijke lacune in het begrijpen hoe verschillende pruningstrategieën de interpretatieerbaarheid van het model beïnvloeden. Bovendien, hoewel methoden bestaan om interpretatieerbaarheid te kwantificeren, zoals de Mechanistic Interpretability Score (MIS), blijven hun betrouwbaarheid en afstemming op intuïtieve opvattingen van interpretatieerbaarheid (bijvoorbeeld het begrijpen van de basis van correcte beslissingen) in de context van gepreinde netwerken onderbelicht.

Methodologie
De auteurs onderzochten systematisch de impact van pruning op GoogLeNet met behulp van drie distincte strategieën:

1. Ongestructureerde Pruning: Verwijdert individuele gewichten in het hele netwerk op basis van grootte, wat leidt tot onregelmatige sparsiteit.
2. Gestructureerde Pruning: Verwijdert volledige filters of kanalen, wat resulteert in regelmatige sparsiteitspatronen die geschikt zijn voor hardwareversnelling.
3. Connectie-Sparsiteit: Een nieuwe aanpak voor deze studie die zich richt op het verwijderen van inputkanalen in plaats van outputkanalen. Dit beoogt de structurele integriteit te behouden terwijl verbindingen worden gereduceerd.

De studie evalueerde deze strategieën onder twee herscholingregimes:

• One-Shot Pruning: Een groot deel van het netwerk wordt in één stap gepreind, gevolgd door herscholing.
• Iteratieve Pruning: Het netwerk wordt in kleinere stappen gepreind met herscholing na elke stap, wat geleidelijke aanpassing mogelijk maakt.

Experimenten werden uitgevoerd op de ImageNet-validatieset. De auteurs testten diverse hyperparameters en identificeerden SGD met een ExponentialLR-scheduler en 50 trainingsepochen als optimaal voor herscholing. Om interpretatieerbaarheid te beoordelen, gebruikten de auteurs de Mechanistic Interpretability Score (MIS) ontwikkeld door Zimmermann et al., die de perceptuele gelijkenis meet tussen verklaringen (afbeeldingen die filteractivaties maximaliseren) en queries.

Belangrijkste Resultaten

• Prestaties:

  • Connectie-Sparsiteit presteerde beter dan zowel ongestructureerde als gestructureerde pruning. Opmerkelijk was dat het verwijderen van 80% van de modelparameters via Connectie-Sparsiteit, gevolgd door herscholing, resulteerde in een validatienauwkeurigheid van 70,5%, wat de prestaties van de standaard GoogLeNet overtrof.
  • Iteratieve pruning leverde consequent een hogere nauwkeurigheid op dan one-shot pruning, hoewel dit hogere rekenkosten met zich meebracht (ongeveer 50 trainingsepochen per pruningstap vereisend).
  • In tegenstelling tot de aanname dat pruning de prestaties verslechtert, observeerden de auteurs dat met voldoende herscholing gepreinde netwerken de nauwkeurigheid van het ongepreinde baseline konden benaderen of zelfs overtreffen. Bijvoorbeeld, een model met 60% van de parameters verwijderd bereikte 72,286% nauwkeurigheid, vergeleken met 72,1% voor een standaard GoogLeNet dat voor dezelfde extra epochen was getraind.
  • Ongestructureerde pruning zonder fijnafstemming resulteerde in drastische dalingen in nauwkeurigheid, wat de noodzaak van herscholing benadrukt.

• Interpretatieerbaarheid:

  • Met behulp van de MIS-metriek vond de studie geen significante relatie tussen het pruningpercentage en interpretatieerbaarheid (correlatiecoëfficiënt van 0,092).
  • Een cruciale bevinding was dat netwerken met extreem lage nauwkeurigheid (bijvoorbeeld 0,1%) toch hoge MIS-scores konden behalen. Dit suggereert dat MIS de consistentie van eenheidactivaties meet in plaats van de correctheid van het besluitvormingsproces. Een netwerk kan volgens MIS-standaarden "interpretatieerbaar" zijn (wetende welke eenheden activeren voor specifieke inputs) terwijl het willekeurige of incorrecte voorspellingen doet.
  • De MIS-scores voor de softmax-laag waren consequent laag voor alle modellen, wat in strijd is met de verwachting dat klasseneenheden hoog interpretatieerbaar zouden moeten zijn. Bovendien was er geen significante correlatie tussen nauwkeurigheid per klasse en MIS-scores in de softmax-laag voor de geteste gepreinde modellen.

Belangrijkste Bijdragen

1. Evaluatie van Connectie-Sparsiteit: Het artikel introduceert en valideert "Connectie-Sparsiteit" (pruning van inputkanalen) als een zeer effectieve pruningstrategie voor GoogLeNet, waarbij wordt aangetoond dat het de modelgrootte met tot 80% kan verkleinen terwijl de nauwkeurigheid behouden of verbeterd blijft.
2. Vergelijkende Analyse van Herscholingsstrategieën: De studie levert empirisch bewijs voor de vergelijking van iteratieve versus one-shot pruning, bevestigt de prestatievoordelen van iteratieve benaderingen en benadrukt tegelijkertijd hun rekeninefficiëntie.
3. Kritische Beoordeling van MIS: De auteurs stellen de bruikbaarheid van de MIS als een op zichzelf staande metriek voor interpretatieerbaarheid in gepreinde netwerken ter discussie. Zij tonen aan dat hoge MIS-scores niet noodzakelijkerwijs correleren met hoge nauwkeurigheid of betekenisvolle besluitvorming, wat wijst op een misalignement tussen de metriek en intuïtieve interpretatieerbaarheid.

Betekenis en Claims
De auteurs claimen dat hun werk bijdraagt aan de ontwikkeling van efficiëntere deep learning-modellen door Connectie-Sparsiteit te identificeren als een superieure pruningmethode voor GoogLeNet. Echter, het artikel is bescheiden wat betreft de bevindingen over interpretatieerbaarheid. Het claimt niet het probleem van interpretatieerbaarheid opgelost te hebben, maar benadrukt juist de beperkingen van bestaande metrieken zoals MIS. De studie suggereert dat huidige maatstaven mogelijk de nuances van modelinterpretatieerbaarheid na pruning niet kunnen vangen, vooral wanneer de voorspellende kwaliteit van het netwerk laag is. Bijgevolg pleiten de auteurs voor de ontwikkeling van robuustere metrieken die interpretatieerbaarheidsscores afstemmen op de kwaliteit van de beslissingen die door het netwerk worden genomen, een noodzaak voor het implementeren van neurale netwerken in kritieke real-world toepassingen.