Technischer Überblick: Eine empirische Studie zum Einfluss von adversariellem Fine-Tuning auf komprimierte neuronale Netze

Problemstellung

Deep-Learning-(DL-)Modelle werden zunehmend in sicherheitskritischen Anwendungen integriert, was Robustheit gegenüber adversariellen Angriffen erfordert. Die Sicherstellung dieser Robustheit erfordert jedoch typischerweise adversarielles Training, das aufgrund der Generierung adversarieller Beispiele während des Trainings einen erheblichen rechnerischen Aufwand mit sich bringt. Umgekehrt werden Komprimierungstechniken für Modelle (wie Pruning und Quantisierung) eingesetzt, um die rechnerische Effizienz zu verbessern und den Energieverbrauch zu senken, verschlechtern jedoch häufig die Modellleistung und – entscheidend – die adversarielle Robustheit. Dies erzeugt einen Konflikt zwischen den Zielen der rechnerischen Effizienz und der adversariellen Robustheit. Die zentrale Frage, die in dieser Arbeit behandelt wird, lautet, ob adversarielle Robustheit für bereits komprimierte neuronale Netze effizient erreicht werden kann, ohne die vollen Kosten eines adversariellen Trainings von Grund auf zu tragen.

Methodik

Die Autoren schlagen einen zweistufigen Ansatz vor: Zuerst wird ein Standardmodell komprimiert und anschließend wird adversarielles Fine-Tuning anstelle eines vollständigen adversariellen Trainings angewendet. Die Studie konzentriert sich auf zwei primäre Komprimierungsmethoden:

1. Strukturiertes Pruning: Spezifisch $\ell_1$-Norm-basiertes Filter-Pruning für Convolutional Neural Networks (CNNs). Filter mit der niedrigsten $\ell_1$-Norm werden entfernt, zusammen mit den entsprechenden Ausgabe-Features in nachfolgenden Schichten.
2. Quantisierung: Es wird Post-Training-Quantisierung (PTQ) eingesetzt, wobei eine symmetrische Quantisierung für Gewichte und eine asymmetrische Quantisierung für Aktivierungskarten verwendet wird, um Präzision und rechnerische Einfachheit auszubalancieren.

Der experimentelle Rahmen umfasst drei Hauptphasen:

• Baseline-Training: Training von Standardmodellen ($f_{st}$) und vollständig adversariell trainierten Modellen ($f_{rb}$) von Grund auf.
• Komprimierung: Anwendung von Pruning oder Quantisierung auf die trainierten Modelle.
• Fine-Tuning: Anwendung von entweder Standard-Fine-Tuning ($T_{st}$) oder adversariellem Fine-Tuning ($T_{ad}$) auf die komprimierten Modelle. Adversarielles Fine-Tuning umfasst die Minimierung des adversariellen Verlusts (unter Verwendung von Projected Gradient Descent, PGD) für eine begrenzte Anzahl von Epochen (typischerweise drei), beginnend mit den vortrainierten, komprimierten Gewichten.

Die Studie bewertet diese Methoden über mehrere Datensätze (MNIST, FashionMNIST, SVHN, CIFAR-10, CIFAR-100, TinyImageNet) und Architekturen (WideResNet, Vision Transformer und benutzerdefinierte CNNs) hinweg. Die Robustheit wird unter Verwendung von AutoAttack (insbesondere APGD-CE und APGD-DLR) bewertet, um eine zuverlässige untere Schranke für die Robustheitsgenauigkeit zu liefern.

Hauptbeiträge

1. Adversarielles Fine-Tuning für komprimierte Modelle: Die Arbeit führt adversarielles Fine-Tuning als effizienten Mechanismus zur Wiederherstellung und Verbesserung der Robustheit komprimierter Modelle ein und validiert dies.
2. Umfassende empirische Studie: Die Autoren führen umfangreiche Experimente durch, in denen Standard-Fine-Tuning adversariellem Fine-Tuning gegenübergestellt wird, und zwar bei Modellen, die sowohl Pruning (bei verschiedenen Sparsity-Verhältnissen) als auch Quantisierung (bei verschiedenen Bit-Breiten) unterzogen wurden.
3. Fairer Komprimierungsvergleich: Die Studie stimmt die Komprimierungslevel systematisch ab (z. B. 80 % Sparsity beim Pruning mit INT8-Quantisierung abgleichend), um faire Vergleiche zwischen verschiedenen Komprimierungstechniken basierend auf der Testleistung zu gewährleisten.

Ergebnisse

Die experimentellen Ergebnisse zeigen, dass adversarielles Fine-Tuning komprimierter Modelle signifikante Verbesserungen der Robustheit bei Beibehaltung der rechnerischen Effizienz bewirkt:

• Wiederherstellung der Robustheit: Komprimierte Standardmodelle ($f^c_{st}$), die anfangs eine nahezu null Robustheit aufweisen (z. B. ~0 % auf CIFAR-10), können nach nur drei Epochen adversariellen Fine-Tunings eine Robustheit erreichen, die mit vollständig adversariell trainierten Modellen ($f^c_{rb}$) vergleichbar ist. Beispielsweise erhöhte sich auf MNIST mit WideResNet die Robustheit eines prunten Standardmodells durch adversarielles Fine-Tuning von ~22 % (mit Standard-Fine-Tuning) auf ~92 % und entsprach damit der Leistung eines von Grund auf adversariell trainierten Modells.
• Effizienzgewinne: Die rechnerischen Kosten für adversarielles Fine-Tuning sind erheblich niedriger als für vollständiges adversarielles Training. Auf CIFAR-10 sank die Zeit, die zur Erzielung von Robustheit erforderlich war, von etwa 118 Minuten (vollständiges adversarielles Training) auf rund 14 Minuten für komprimierte Modelle und weiter auf ~10 Minuten für adversarielles Fine-Tuning komprimierter Modelle.
• Generalisierbarkeit: Die positiven Effekte des adversariellen Fine-Tunings wurden über verschiedene Datensätze, Modellarchitekturen (CNNs, ViTs) und Komprimierungsmethoden (Pruning, Quantisierung und Tensorfaktorisierung) hinweg beobachtet.
• Standard- vs. Robust-Modelle: Die Studie stellt fest, dass zwar Standard-Fine-Tuning hilft, die Testgenauigkeit für prunte Modelle wiederherzustellen, es jedoch häufig versagt, die Robustheit wiederherzustellen. Im Gegensatz dazu stellt adversarielles Fine-Tuning sowohl die Testgenauigkeit als auch die Robustheit wieder her und bringt die Leistung komprimierter Standardmodelle oft nahe an die von komprimierten robusten Modellen heran.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass adversarielles Fine-Tuning als „leichtgewichtiger Ersatz" für vollständiges adversarielles Training dient, insbesondere in Kombination mit Modellkomprimierung. Die Autoren argumentieren, dass dieser Ansatz die Kumulation von Effizienzgewinnen ermöglicht: Das Modell wird zunächst durch Komprimierung effizient gemacht und anschließend durch einen rechnerisch günstigen Fine-Tuning-Prozess robust.

Die Bedeutung liegt in der Auflösung des Trade-offs zwischen Effizienz und Sicherheit. Die Ergebnisse deuten darauf hin, dass es möglich ist, Modelle einzusetzen, die sowohl rechnerisch effizient (durch Komprimierung) als auch robust gegenüber adversariellen Angriffen (durch Fine-Tuning) sind, ohne die prohibitiven Kosten für das Training robuster Modelle von Grund auf zu tragen. Die Autoren schließen daraus, dass diese Methode einen praktischen Weg für den Einsatz sicherer, ressourcenbeschränkter Deep-Learning-Modelle in realen Anwendungen bietet.

Hinweis: Die Arbeit erkennt Einschränkungen an, wie etwa die Abhängigkeit der optimalen Anzahl von Fine-Tuning-Epochen von spezifischen Aufgaben und Datensätzen, und stellt fest, dass für hochkomplexe Datensätze wie CIFAR-100 und TinyImageNet die Robustheitsgewinne im Vergleich zu einfacheren Datensätzen weniger ausgeprägt waren.