🤖 machine learning

Feature-Space Smoothing: Certified Robustness of Deep Representations

Dit artikel stelt Feature-Space Smoothing (FS) voor, een gecertificeerd robuustheidskader dat feature-encoders omzet in gladde varianten met gegarandeerde cosinus-ähnelijkheidsgrenzen onder verstoringen, versterkt door een plug-and-play Gaussian Smoothness Booster (GSB) om de robuustheid te verbeteren in modellen zoals MLLMs zonder dat hertraining vereist is.

Oorspronkelijke auteurs: Song Xia, Meiwen Ding, Chenqi Kong, Wenhan Yang, Xudong Jiang

Gepubliceerd 2026-05-20

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Song Xia, Meiwen Ding, Chenqi Kong, Wenhan Yang, Xudong Jiang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, high-tech beveiligingswachter hebt (een Deep Learning-model) die uitstekend is in het herkennen van mensen, objecten en scènes. Deze wachter heeft echter een geheime zwakheid: als iemand een nauwelijks hoorbaar, vervormd geluid in zijn oor fluistert (een "kwaadaardige invoer"), kan de wachter plotseling een panda verwarren met een hond of een vriend met een vreemde. Dit noemen onderzoekers een adversariële aanval.

Dit artikel introduceert een nieuwe manier om die beveiligingswachter "kogelvrij" te maken tegen deze fluisteringen, zonder hem te ontslaan en een nieuwe aan te nemen. Zij noemen hun oplossing Feature-Space Smoothing (FS) (Ruimte van Kenmerken Glätten).

Hier is hoe het werkt, opgesplitst in eenvoudige concepten:

1. Het Probleem: De "Gevoelige Oren" van de Wachter

Deep learning-modellen "zien" een afbeelding niet alleen; ze vertalen deze naar een wiskundige lijst met getallen die een kenmerk wordt genoemd. Denk aan dit kenmerk als de interne "mentale notitie" van de wachter over wat hij ziet.

De Fout: Op dit moment, als een aanvanger een klein beetje onzichtbare "storing" (ruis) aan een afbeelding toevoegt, raakt de mentale notitie van de wachter volledig in de war. Een notitie die "Panda" zei, lijkt plotseling wiskundig dichter bij "Hond" te liggen.
Het Risico: Omdat de notitie in de war is geraakt, neemt de wachter een verkeerde beslissing.

2. De Oplossing: Het "Ruisonderdrukkende" Schild

De auteurs stellen voor om de wachter te omhullen met een speciaal schild genaamd Feature-Space Smoothing.

Hoe het werkt: In plaats van de afbeelding exact zoals hij is te bekijken, dwingt het schild de wachter om door een "mistige lens" te kijken die bij elke weergave een beetje willekeurige storing (Gaussian-ruis) toevoegt.
De Magie: Als de wachter het object nog steeds correct kan identificeren terwijl hij door deze mistige lens kijkt, bewijst dit dat het object robuust is. Het schild garandeert dat, ongeacht hoeveel "storing" een aanvanger toevoegt (binnen een bepaald limiet), de mentale notitie van de wachter nooit ver genoeg zal afdrijven om een ander object te worden.
De Garantie: Het artikel levert een wiskundig "certificaat" (een garantie) dat zegt: "Zolang de aanval niet sterker is dan X, zal de wachter zeker niet bedrogen worden."

3. De Booster: De "Gaussian Smoothness Booster" (GSB)

Er was een addertje onder het gras. De standaard "mistige lens" was niet sterk genoeg voor de meest geavanceerde wachters (zoals Multimodale Grote Taalmodellen). De wachters waren nog steeds te gevoelig voor de storing.

Dus bouwden de auteurs een plug-and-play booster genaamd de Gaussian Smoothness Booster (GSB). Denk hierbij aan een paar high-tech oordopjes en een hersentrainingsmodule die je op de wachter kunt klikken zonder zijn persoonlijkheid te veranderen.

Deel A (De Denoiser): Dit is als een ruisonderdrukkende koptelefoon die de storing opruimt voordat de wachter het hoort.
Deel B (De Mapper): Dit is een trainer die helpt om het brein van de wachter stabiel te houden na het horen van de ruis, zodat zijn mentale notitie consistent blijft.
Het Resultaat: Je hoeft de hele wachter niet vanaf nul opnieuw te trainen (wat jaren zou duren en een fortuin zou kosten). Je klikt deze booster er gewoon op, en plotseling wordt de wachter ongelooflijk sterk tegen aanvallen.

4. Bewijs uit de Wereld: De "Panda vs. Hond"-Test

De onderzoekers testten dit op verschillende soorten "wachters" (modellen zoals CLIP, SigLIP en grote AI-modellen zoals LLaVA).

De Aanval: Ze probeerden de modellen te bedriegen met krachtige, onzichtbare aanvallen die bedoeld waren om een foto van een panda in een hond te veranderen, of een haai in een kat.
De Uitkomst:
- Zonder het schild: De modellen werden gemakkelijk bedrogen.
- Met het schild (FS + GSB): De modellen bleven koppig correct. Zelfs toen de aanvangers de sterkst mogelijke trucs gebruikten, identificeerden de modellen de panda nog steeds correct als een panda.
- Het Certificaat: Ze gokten niet zomaar; ze bewezen wiskundig dat de modellen veilig waren tot een specifiek limiet.

5. Waarom Dit Belangrijk Is

Meestal maakt het veiliger maken van een model het "dommer" (het kan details missen of verward raken door normale afbeeldingen). Dit artikel toont aan dat je het model zowel veiliger als slimmer kunt maken.

Het werkt op verschillende soorten AI (beeldherkenning, tekstgeneratie en het combineren van beide).
Het vereist niet dat je de AI volledig opnieuw opbouwt.
Het biedt een wiskundige garantie van veiligheid, in plaats van alleen maar hopen dat het werkt.

Kortom: Het artikel geeft ons een manier om een "krachtveld" om AI-modellen te leggen dat wiskundig garandeert dat ze niet bedrogen zullen worden door subtiele, kwaadaardige vervormingen, terwijl ze slim genoeg blijven om hun werk perfect te doen.

Technische Samenvatting: Feature-Space Smoothing voor Gecertificeerde Robuustheid van Diepe Representaties

1. Probleemstelling

Moderne deep learning-modellen, met name Multimodale Grootte Taalmodellen (MLLM's) zoals GPT-4 en Gemini, zijn zeer effectief maar kwetsbaar voor adversariale aanvallen. Deze aanvallen injecteren subtiele, onwaarneembare verstoringen in schone invoer om foutieve voorspellingen te induceren door feature-representaties te vervormen. Hoewel empirische verdedigingen (bijvoorbeeld adversariale training) bestaan, ontbreken er formele robuustheidsgaranties en falen ze vaak tegen sterkere, adaptieve tegenstanders. Bovendien zijn bestaande gecertificeerde verdedigingsmethoden (bijvoorbeeld Randomized Smoothing) voornamelijk ontworpen voor classificatietaken met discrete uitkomsten, waardoor ze moeilijk toepasbaar zijn op algemene feature-representaties, regressietaken of de complexe decodeerprocessen van MLLM's. Daarnaast is het opnieuw trainen van grote vooraf getrainde modellen om robuustheid te verbeteren computationeel onhaalbaar.

De kernuitdaging die wordt aangepakt, is het ontwikkelen van een verdedigingskader dat gecertificeerde robuustheid biedt op het niveau van feature-representatie, generaliseerbaar blijft over diverse modellen en taken (inclusief MLLM's), en de noodzaak van kostbaar modelhertraining of fine-tuning vermijdt.

2. Methodologie

De voorgestelde oplossing bestaat uit twee hoofdcomponenten: Feature-space Smoothing (FS) en de Gaussian Smoothness Booster (GSB).

2.1 Feature-space Smoothing (FS)

FS is een algemeen kader dat een standaard feature-encoder $f_e$ transformeert in een gesmoothde variant $\hat{f}_e$ via Gaussische smoothing.

Mechanisme: Voor een invoer $x$ geeft de gesmoothde encoder de verwachting van feature-representaties over een Gaussische verdeling uit: $\hat{f}_e(x) = \mathbb{E}_{\epsilon \sim \mathcal{N}(0, I)}[f_e(x + \epsilon)]$ .
Theoretische Garantie: De auteurs stellen een Feature Cosine Similarity Bound (FCSB) vast. Zij bewijzen dat onder $\ell_2$ -gebonden verstoringen de cosinus-similariteit tussen de schone feature en de adversariale gesmoothde feature gegarandeerd boven een specifieke ondergrens ligt.
Gecertificeerde Straal: Deze grens maakt het mogelijk om een gecertificeerde straal $R$ af te leiden. Als de grootte van de verstoring binnen $R$ ligt, blijft de cosinus-similariteit tussen schone en adversariale features gegarandeerd boven een drempelwaarde (bijvoorbeeld 0,5).
Voorspelling-gerichte Uitbreiding: Het kader breidt deze feature-niveau garantie uit naar voorspelling-niveau certificering. Voor taken waarbij voorspellingen kunnen worden weergegeven als genormaliseerde vectoren (bijvoorbeeld retrieval, prototype-gebaseerde classificatie), vertaalt de FCSB zich naar een gegarandeerde grens voor de cosinus-similariteit tussen de adversariale voorspelling en de doelvoorspelling.

2.2 Gaussian Smoothness Booster (GSB)

De theoretische grenzen van FS hangen af van de intrinsieke Gaussische robuustheidsscore van de onderliggende encoder. Vooraf getrainde encoders hebben vaak een beperkte Gaussische robuustheid, wat leidt tot suboptimale gecertificeerde stralen. Om dit aan te pakken zonder de backbone opnieuw te trainen, stellen de auteurs GSB voor, een plug-and-play module bestaande uit:

Gaussian Denoiser ( $\mathcal{P}$ ): Een lichtgewicht module (bijvoorbeeld U-Net) die voor de feature-encoder wordt geplaatst. Deze is getraind om schone invoer te reconstrueren uit Gaussisch-vervuild invoer, waardoor ruis wordt verminderd voordat feature-extractie plaatsvindt.
Residual Smoothness Mapper ( $\mathcal{M}$ ): Een module die na feature-extractie wordt geplaatst. Deze verfijnt de gezuiverde features om robuustheid te versterken terwijl de oorspronkelijke feature-verdeling behouden blijft. Het maakt gebruik van een residual learning-benadering om stabiliteit op schone invoer te waarborgen.

Trainingsstrategie: GSB wordt op een zelftoezichtende manier getraind met een utility-robustheid trade-off verlies. De backbone-encoder blijft bevroren. De denoiser minimaliseert reconstructieverlies en feature-consistentieverlies, terwijl de mapper feature-consistentieverlies en statistische regularisatie (om gemiddelde en variantie te behouden) minimaliseert, samen met een identity-verlies voor schone invoer.

3. Belangrijkste Bijdragen

Feature-space Smoothing (FS): Een algemeen verdedigingskader dat elke feature-encoder omzet in een gesmoothde variant met een bewijsbare ondergrens (FCSB) voor de cosinus-similariteit tussen schone en adversariale features onder $\ell_2$ -verstoringen.
Voorspelling-gerichte Certificering: Theoretische uitbreiding die aantoont dat FCSB-garanties op feature-niveau kunnen worden doorgegeven naar robuustheid op voorspelling-niveau voor taken met genormaliseerde vectoruitkomsten (bijvoorbeeld Top-1 retrieval, classificatie).
Gaussian Smoothness Booster (GSB): Een plug-and-play module die de Gaussische robuustheidsscore van bestaande encoders verbetert zonder fine-tuning van de backbone, waardoor de gecertificeerde straal wordt vergroot.
Systematische Evaluatie: Omvattende experimenten over diverse vision-encoders (CLIP, SigLIP 2, EVA-CLIP) en MLLM's (LLaVA, OpenFlamingo) die aantonen dat FS niet-triviale gecertificeerde robuustheid biedt en de empirische prestaties tegen sterke white-box-aanvallen aanzienlijk verbetert.

4. Experimentele Resultaten

4.1 Gecertificeerde Robuustheid

Feature-wise: Op ImageNet verhoogde het integreren van GSB met FS de gemiddelde gecertificeerde straal ( $R$ ) voor FCSB $\geq 0,5$ aanzienlijk. Bijvoorbeeld, met $\sigma=0,5$ steeg de gemiddelde straal voor CLIP van 0,101 naar 0,455, en voor SigLIP 2 van 0,134 naar 0,514.
Voorspelling-wise: Bij ImageNet-classificatie behaalde FS een gecertificeerde nauwkeurigheid die vergelijkbaar was met standaard Randomized Smoothing (RS), maar zonder een aparte gesmoothde classifier te vereisen. Voor SigLIP 2 behaalde FS 64,0% gecertificeerde nauwkeurigheid bij $\epsilon=1,00$ , vergelijkbaar met RS (67,6%).
Retrieval: Bij MS COCO zero-shot retrieval bood FS niet-triviale gecertificeerde nauwkeurigheid, hoewel de marges strakker waren dan bij classificatie vanwege het dichte karakter van tekst-embeddings.

4.2 Empirische Robuustheid tegen White-Box-aanvallen

Het kader werd getest tegen state-of-the-art white-box-aanvallen (PGD, APGD, M-Attack, FOA, AttackVLM) op MLLM's (LLaVA-1.5-7B, OpenFlamingo-9B) over taken zoals image captioning, classificatie en VQA.

Image Captioning: Onder de sterke FOA-aanval daalde de nauwkeurigheid van het standaard LLaVA naar 1%. Met FS steeg de nauwkeurigheid naar 65%, en daalde de Attack Success Rate (ASR) van 94% naar 6%. FS verbeterde ook de robuustheid van adversariaal getrainde baselines (FARE, TeCoA) zonder aanvullende fine-tuning.
Image Classification: FS verhoogde de LLaVA-nauwkeurigheid van 3,8% naar 87,2% onder FOA-aanvallen, waarbij de ASR werd gereduceerd van 81% naar 0,2%.
VQA: FS behield de schone nauwkeurigheid (54,0%) terwijl het de nauwkeurigheid bij Gaussisch-ruis verbeterde en de ASR naar bijna nul bracht, terwijl adversariaal getrainde baselines (FARE, TeCoA) aanzienlijke degradatie van de schone prestaties leden.

4.3 Efficiëntie

Feature-wise smoothing brengt lagere inferentie-overhead met zich mee dan whole-model smoothing. Met $n_0=8$ Gaussische samples nam de inferentietijd voor LLaVA slechts met ongeveer 0,36 seconde per image toe, wat de praktische haalbaarheid aantoont.

5. Betekenis en Claims

Het artikel beweert dat Feature-space Smoothing (FS) een aanzienlijke vooruitgang biedt door de focus van gecertificeerde robuustheid te verschuiven van taakspecifieke uitkomstruimten naar het niveau van feature-representatie. Dit maakt het mogelijk om:

Generaliseerbaarheid: De methode is toepasbaar op diverse downstream-taken (classificatie, retrieval, generatie) zonder de voorspellingshead te wijzigen of de backbone opnieuw te trainen.
Plug-and-Play Integratie: Via GSB kunnen bestaande grote vooraf getrainde modellen (inclusief MLLM's) robuust worden gemaakt zonder de computationele kosten van volledige modelhertraining of alignment.
Bewijsbare Garanties: Het biedt wiskundig bewezen ondergrenzen voor feature-similariteit, wat vertaalt naar voorspelling-stabiliteit en een niveau van vertrouwen biedt dat empirische verdedigingen missen.

De auteurs erkennen beperkingen, waarbij zij opmerken dat de huidige certificering beperkt is tot $\ell_2$ -gebonden verstoringen en afhankelijk is van op cosinus-similariteit gebaseerde besluitregels, wat mogelijk niet alle open-ended decodeergedrag van MLLM's dekt. Toekomstig werk heeft tot doel het kader uit te breiden naar andere bedreigingsmodellen (bijvoorbeeld $\ell_\infty$ , semantische aanvallen) en bredere generatietaken.