Investigating the Effect of Network Pruning on Performance and Interpretability

Technisches Fazit: Untersuchung des Einflusses von Netzwerk-Pruning auf Leistung und Interpretierbarkeit

Problemstellung
Tiefe Neuronale Netze (DNNs) wie GoogLeNet sind häufig überparametrisiert, was Herausforderungen für den Einsatz in ressourcenbeschränkten Umgebungen schafft. Obwohl das Pruning von neuronalen Netzen eine etablierte Technik zur Verkleinerung von Modellen ist, hat sich die bestehende Literatur primär auf Leistungsmetriken wie Genauigkeit und Raumkomplexität konzentriert. Es besteht eine bemerkenswerte Lücke im Verständnis, wie verschiedene Pruning-Strategien die Interpretierbarkeit von Modellen beeinflussen. Darüber hinaus sind, obwohl Methoden zur Quantifizierung der Interpretierbarkeit existieren, wie beispielsweise der Mechanistic Interpretability Score (MIS), deren Zuverlässigkeit und ihre Übereinstimmung mit intuitiven Vorstellungen von Interpretierbarkeit (z. B. das Verständnis der Grundlage korrekter Entscheidungen) im Kontext von gepreinten Netzwerken noch wenig erforscht.

Methodik
Die Autoren untersuchten systematisch die Auswirkungen des Pruning auf GoogLeNet unter Verwendung von drei unterschiedlichen Strategien:

1. Unstrukturiertes Pruning: Entfernt einzelne Gewichte im gesamten Netzwerk basierend auf ihrer Magnitude und erzeugt eine unregelmäßige Sparsity.
2. Strukturiertes Pruning: Entfernt ganze Filter oder Kanäle, was zu regelmäßigen Sparsity-Mustern führt, die für Hardware-Beschleunigung geeignet sind.
3. Connection Sparsity: Ein neuartiger Ansatz für diese Studie, der sich auf das Pruning von Eingangs-Kanälen statt von Ausgangs-Kanälen konzentriert. Dies zielt darauf ab, die strukturelle Integrität zu bewahren und gleichzeitig Verbindungen zu reduzieren.

Die Studie bewertete diese Strategien unter zwei Nachtrainierungsregimen:

• One-Shot-Pruning: Ein großer Teil des Netzwerks wird in einem einzigen Schritt gepreint, gefolgt von einem Nachtraining.
• Iteratives Pruning: Das Netzwerk wird in kleineren Schritten gepreint, wobei nach jedem Schritt nachtrainiert wird, was eine schrittweise Anpassung ermöglicht.

Die Experimente wurden auf dem ImageNet-Validierungsdatensatz durchgeführt. Die Autoren testeten verschiedene Hyperparameter und identifizierten SGD mit einem ExponentialLR-Scheduler und 50 Trainings-Epochen als optimal für das Nachtraining. Zur Bewertung der Interpretierbarkeit setzten die Autoren den von Zimmermann et al. entwickelten Mechanistic Interpretability Score (MIS) ein, der die perzeptive Ähnlichkeit zwischen Erklärungen (Bilder, die Filteraktivierungen maximieren) und Abfragen misst.

Hauptergebnisse

• Leistung:

  • Connection Sparsity schnitt sowohl beim unstrukturierten als auch beim strukturierten Pruning besser ab. Bemerkenswerterweise führte das Pruning von 80 % der Modellparameter mittels Connection Sparsity und anschließendes Nachtraining zu einer Validierungsgenauigkeit von 70,5 %, was die Leistung des Standard-GoogLeNet übertraf.
  • Iteratives Pruning erzielte konsistent eine höhere Genauigkeit als One-Shot-Pruning, verursachte jedoch höhere Rechenkosten (erforderlich sind etwa 50 Epochen pro Pruning-Schritt).
  • Im Gegensatz zur Annahme, dass Pruning die Leistung verschlechtert, beobachteten die Autoren, dass gepreinte Netze bei ausreichendem Nachtraining die Genauigkeit des ungepreinten Basismodells approximieren oder sogar übertreffen können. So erreichte ein Modell, bei dem 60 % der Parameter gepreint waren, eine Genauigkeit von 72,286 %, verglichen mit 72,1 % für ein Standard-GoogLeNet, das für dieselben zusätzlichen Epochen trainiert wurde.
  • Unstrukturiertes Pruning ohne Feinabstimmung führte zu drastischen Genauigkeitsverlusten und unterstreicht die Notwendigkeit eines Nachtrainings.

• Interpretierbarkeit:

  • Unter Verwendung der MIS-Metrik ergab die Studie keinen signifikanten Zusammenhang zwischen der Pruning-Rate und der Interpretierbarkeit (Korrelationskoeffizient von 0,092).
  • Ein kritisches Ergebnis war, dass Netzwerke mit extrem niedriger Genauigkeit (z. B. 0,1 %) dennoch hohe MIS-Werte erzielen konnten. Dies deutet darauf hin, dass MIS die Konsistenz von Einheitenaktivierungen misst und nicht die Korrektheit des Entscheidungsprozesses. Ein Netzwerk könnte nach MIS-Standards „interpretierbar" sein (wissen, welche Einheiten für bestimmte Eingaben aktiviert werden), während es zufällige oder falsche Vorhersagen trifft.
  • Die MIS-Werte für die Softmax-Schicht waren bei allen Modellen konsistent niedrig, was der Erwartung widerspricht, dass Klassen-Einheiten hochgradig interpretierbar sein sollten. Darüber hinaus gab es für die getesteten gepreinten Modelle keine signifikante Korrelation zwischen der klassenspezifischen Genauigkeit und den MIS-Werten in der Softmax-Schicht.

Hauptbeiträge

1. Evaluation von Connection Sparsity: Die Arbeit führt und validiert „Connection Sparsity" (Pruning von Eingangs-Kanälen) als eine hochwirksame Pruning-Strategie für GoogLeNet ein und zeigt ihre Fähigkeit, die Modellgröße um bis zu 80 % zu reduzieren, während die Genauigkeit erhalten bleibt oder sich verbessert.
2. Vergleichende Analyse von Nachtrainierungsstrategien: Die Studie liefert empirische Belege für den Vergleich von iterativem versus One-Shot-Pruning, bestätigt die Leistungsverbesserungen durch iterative Ansätze und hebt gleichzeitig deren rechnerische Ineffizienz hervor.
3. Kritische Bewertung von MIS: Die Autoren hinterfragen die Nützlichkeit des MIS als alleinige Metrik für die Interpretierbarkeit in gepreinten Netzwerken. Sie zeigen auf, dass hohe MIS-Werte nicht notwendigerweise mit hoher Genauigkeit oder sinnvoller Entscheidungsfindung korrelieren, was auf eine Diskrepanz zwischen der Metrik und der intuitiven Interpretierbarkeit hinweist.

Bedeutung und Behauptungen
Die Autoren behaupten, dass ihre Arbeit zur Entwicklung effizienterer Deep-Learning-Modelle beiträgt, indem sie Connection Sparsity als überlegene Pruning-Methode für GoogLeNet identifiziert. Allerdings ist die Arbeit in Bezug auf ihre Erkenntnisse zur Interpretierbarkeit bescheiden. Sie beansprucht nicht, das Problem der Interpretierbarkeit gelöst zu haben, sondern hebt vielmehr die Grenzen bestehender Metriken wie MIS hervor. Die Studie legt nahe, dass aktuelle Messgrößen möglicherweise die Nuancen der Modellinterpretierbarkeit nach dem Pruning nicht erfassen können, insbesondere wenn die Vorhersagequalität des Netzwerks gering ist. Folglich argumentieren die Autoren für die Entwicklung robusterer Metriken, die Interpretierbarkeitswerte mit der Qualität der vom Netzwerk getroffenen Entscheidungen in Einklang bringen, was eine Notwendigkeit für den Einsatz neuronaler Netze in kritischen realen Anwendungen darstellt.