Technische Samenvatting: Een Empirische Studie naar de Invloed van Adversariale Fine-Tuning op Gecomprimeerde Neuronale Netwerken

Probleemstelling

Deep learning (DL)-modellen worden steeds vaker geïntegreerd in veiligheidskritieke toepassingen, wat robuustheid tegen adversariale aanvallen vereist. Het waarborgen van deze robuustheid vereist echter doorgaans adversariale training, wat aanzienlijke rekenkundige overhead introduceert door de generatie van adversariale voorbeelden tijdens het trainen. Omgekeerd worden modelcompressietechnieken (zoals pruning en kwantisatie) ingezet om de rekenkundige efficiëntie te verbeteren en het energieverbruik te verlagen, maar vaak ten koste van de modelprestaties en, cruciaal, de adversariale robuustheid. Dit creëert een conflict tussen de doelstellingen van rekenkundige efficiëntie en adversariale robuustheid. De centrale vraag die in dit werk wordt behandeld, is of adversariale robuustheid op efficiënte wijze kan worden bereikt voor reeds gecomprimeerde neuronale netwerken zonder de volledige kosten van adversariale training vanaf nul.

Methodologie

De auteurs stellen een tweestapsbenadering voor: eerst een standaardmodel comprimeren, en vervolgens adversariale fine-tuning toepassen in plaats van volledige adversariale training. De studie richt zich op twee primaire compressiemethoden:

1. Gestructureerde Pruning: Specifiek, $\ell_1$-norm-gebaseerde filterpruning voor Convolutional Neural Networks (CNN's). Filters met de laagste $\ell_1$-norm worden verwijderd, samen met de corresponderende outputfeatures in daaropvolgende lagen.
2. Kwantisatie: Post-Training Quantization (PTQ) wordt toegepast, waarbij symmetrische kwantisatie voor gewichten en asymmetrische kwantisatie voor activatiemaps worden gebruikt om precisie en rekenkundige eenvoud in evenwicht te brengen.

Het experimentele kader omvat drie hoofdfasen:

• Basis Training: Het trainen van standaardmodellen ($f_{st}$) en volledig adversariaal getrainde modellen ($f_{rb}$) vanaf nul.
• Compressie: Het toepassen van pruning of kwantisatie op de getrainde modellen.
• Fine-Tuning: Het toepassen van ofwel standaard fine-tuning ($T_{st}$) of adversariale fine-tuning ($T_{ad}$) op de gecomprimeerde modellen. Adversariale fine-tuning omvat het minimaliseren van de adversariale loss (met behulp van Projected Gradient Descent, PGD) voor een beperkt aantal epochs (doorgaans drie), beginnend vanuit de vooraf getrainde, gecomprimeerde gewichten.

De studie evalueert deze methoden over meerdere datasets (MNIST, FashionMNIST, SVHN, CIFAR-10, CIFAR-100, TinyImageNet) en architecturen (WideResNet, Vision Transformer en aangepaste CNN's). Robuustheid wordt geëvalueerd met behulp van AutoAttack (specifiek APGD-CE en APGD-DLR) om een betrouwbare ondergrens voor robuuste nauwkeurigheid te bieden.

Belangrijkste Bijdragen

1. Adversariale Fine-Tuning voor Gecomprimeerde Modellen: Het artikel introduceert en valideert adversariale fine-tuning als een efficiënt mechanisme om de robuustheid van gecomprimeerde modellen te herstellen en te verbeteren.
2. Uitgebreide Empirische Studie: De auteurs voeren uitgebreide experimenten uit waarbij standaard fine-tuning wordt vergeleken met adversariale fine-tuning op modellen die zijn onderworpen aan zowel pruning (bij verschillende sparsiteitsverhoudingen) als kwantisatie (bij verschillende bit-breedtes).
3. Eerlijke Compressievergelijking: De studie stemt compressieniveaus systematisch af (bijvoorbeeld het matchen van 80% sparsiteitspruning met INT8-kwantisatie) om eerlijke vergelijkingen tussen verschillende compressietechnieken op basis van testprestaties te waarborgen.

Resultaten

De experimentele resultaten tonen aan dat adversariale fine-tuning van gecomprimeerde modellen aanzienlijke verbeteringen in robuustheid oplevert, terwijl de rekenkundige efficiëntie behouden blijft:

• Herstel van Robuustheid: Gecomprimeerde standaardmodellen ($f^c_{st}$) die aanvankelijk een robuustheid van bijna nul vertonen (bijvoorbeeld ~0% op CIFAR-10), kunnen na slechts drie epochs adversariale fine-tuning een robuustheid bereiken die vergelijkbaar is met volledig adversariaal getrainde modellen ($f^c_{rb}$). Bijvoorbeeld, op MNIST met WideResNet verhoogde adversariale fine-tuning van een geprende standaardmodel de robuustheid van ~22% (met standaard fine-tuning) naar ~92%, wat overeenkomt met de prestaties van een model dat vanaf nul adversariaal is getraind.
• Efficiëntiewinsten: De rekenkundige kosten van adversariale fine-tuning zijn aanzienlijk lager dan die van volledige adversariale training. Op CIFAR-10 daalde de tijd die nodig was om robuustheid te bereiken van ongeveer 118 minuten (volledige adversariale training) naar ongeveer 14 minuten voor gecomprimeerde modellen, en verder naar ~10 minuten voor adversariale fine-tuning van gecomprimeerde modellen.
• Generaliseerbaarheid: De positieve effecten van adversariale fine-tuning werden waargenomen over verschillende datasets, modelarchitecturen (CNN's, ViT's) en compressiemethoden (pruning, kwantisatie en tensorfactorisatie).
• Standaard versus Robuuste Modellen: De studie merkt op dat terwijl standaard fine-tuning helpt om de testnauwkeurigheid voor gepreende modellen te herstellen, deze vaak faalt om robuustheid te herstellen. Omgekeerd herstelt adversariale fine-tuning zowel de testnauwkeurigheid als de robuustheid, en brengt vaak de prestaties van gecomprimeerde standaardmodellen dicht in de buurt van die van gecomprimeerde robuuste modellen.

Betekenis en Claims

Het artikel claimt dat adversariale fine-tuning dient als een "lichtgewicht vervanging" voor volledige adversariale training, met name in combinatie met modelcompressie. De auteurs betogen dat deze benadering toelaat om de efficiëntiewinsten te combineren: het model wordt eerst efficiënt gemaakt door compressie, en vervolgens robuust gemaakt door een rekenkundig goedkope fine-tuning-procedure.

De betekenis ligt in het oplossen van de afweging tussen efficiëntie en veiligheid. De resultaten suggereren dat het mogelijk is om modellen te deployen die zowel rekenkundig efficiënt zijn (door compressie) als robuust tegen adversariale aanvallen (door fine-tuning), zonder de verboden kosten van het trainen van robuuste modellen vanaf nul te maken. De auteurs concluderen dat deze methode een praktische route biedt voor het deployen van veilige, hulpbronnen-beperkte deep learning-modellen in real-world toepassingen.

Opmerking: Het artikel erkent beperkingen, zoals de afhankelijkheid van het optimale aantal fine-tuning-epochs van specifieke taken en datasets, en merkt op dat voor zeer complexe datasets zoals CIFAR-100 en TinyImageNet de robuustheidswinsten minder uitgesproken waren in vergelijking met eenvoudigere datasets.