Backdoor Attacks on Prompt-Driven Video Segmentation Foundation Models

Hier volgt een gedetailleerde technische samenvatting van het artikel "Backdoor-aanvallen op prompt-gedreven video-segmentatiefoundationmodellen":

1. Probleemstelling

Context: Prompt-gedreven video-segmentatiefoundationmodellen (VSFMs), zoals SAM2, worden steeds vaker ingezet in kritieke toepassingen zoals autonoom rijden en digitale pathologie. Deze modellen genereren segmentatiemaskers op basis van videoframes en door de gebruiker verstrekte prompts (punten, rechthoeken of maskers).
De KLOOF: Hoewel backdoor-aanvallen goed bestudeerd zijn in beeldclassificatie, is hun toepassing op VSFMs onontgonnen terrein.
De Uitdaging: De auteurs vonden dat het direct toepassen van klassieke backdoor-aanvallen (zoals BadNet) op VSFMs grotendeels inefficiënt is, met aanvalsuccespercentages (ASR) onder de 5%.
Oorzaakanalyse: Via analyse van gradiëntgelijkenis en attentiekaarten ontdekten de auteurs dat traditionele backdoor-training faalt omdat:

1. Gradiëntuitlijning: Schone en geactiveerde samples leiden tot grotendeels uitgelijnde gradiënten van de beeldencoder, wat betekent dat de encoder geen onderscheidende kenmerken leert voor de trigger.
2. Prompt-dominantie: De attentie van het model blijft gericht op het door de prompt gespecificeerde object (de ground truth) in plaats van op de trigger, waardoor de decoder de trigger niet kan mappen naar een kwaadaardig doelmasker.

2. Methodologie: BadVSFM

Om deze beperkingen te overwinnen, stellen de auteurs BadVSFM voor, het eerste backdoor-aanvalframework dat specifiek is ontworpen voor prompt-gedreven VSFMs. Het maakt gebruik van een tweestaps trainingsstrategie om het leren van triggerkenmerken te ontkoppelen van het schone segmentatiedoel.

Stap 1: Scheiding van Encoder-representaties

• Doel: De beeldencoder dwingen om triggerspecifieke kenmerken te leren terwijl de schone bruikbaarheid behouden blijft.
• Mechanisme:
  • Effectiviteitsverlies: Trekt de embedding van geactiveerde frames naar een vooraf gedefinieerde doel-embedding (afgeleid van een referentiemodel).
  • Bruikbaarheidsverlies: Uitlijnt de embeddings van schone frames met een referentieschone encoder om te waarborgen dat normaal segmentatiegedrag behouden blijft.
• Resultaat: De encoder leert geactiveerde invoer te scheiden van schone invoer in de representatieruimte, waardoor een onderscheidende kenmerkenrichting voor de trigger ontstaat.

Stap 2: Decoder-conditionering

• Doel: De maskerdecoder trainen om de geactiveerde representatie te mappen naar een kwaadaardig doelmasker voor alle prompttypen, terwijl schone gedrag voor niet-geactiveerde invoer behouden blijft.
• Mechanisme:
  • Effectiviteitsverlies: Superviseert de decoder om een gedeeld doelmasker (bijvoorbeeld een volledig nul-masker voor "verdwijning") uit te voeren voor geactiveerde frames, ongeacht of de prompt een punt, rechthoek of masker is. Dit maakt gebruik van een combinatie van Binary Cross-Entropy (BCE) en Dice-verliezen.
  • Bruikbaarheidsverlies: Uitlijnt de output van de decoder voor schone frames met een referentiedecoder om de segmentatiekwaliteit te behouden.
• Resultaat: Het model wordt robuust voor verschillende prompttypen; wanneer een trigger aanwezig is, negeert de decoder de instructie van de prompt en geeft het het doelmasker van de aanvaller uit.

3. Belangrijkste Bijdragen

1. Eerste Framework: Introductie van BadVSFM, het eerste backdoor-aanvalframework dat specifiek is ontworpen voor prompt-gedreven VSFMs.
2. Nieuw Tweestapsparadigma: Voorstellen van een trainingsstrategie die trigger- en schone representaties expliciet scheidt in de encoder en de decoder conditioneert om prompts te negeren wanneer een trigger wordt gedetecteerd.
3. Uitgebreide Evaluatie: Validering van de aanval over vijf VSFMs (SAM2, MedSAM2, SAM2-Long, BioSAM2, EdgeTAM) en twee datasets (DAVIS, LVOS) met verschillende triggers (BadNet, Blended, WaNet, FIBA) en prompts.
4. Defensie-analyse: Aantonen dat vijf representatieve defensiestrategieën (Fine-tuning, Pruning, Spectral Signatures, PGBD, STRIP) grotendeels inefficiënt zijn tegen BadVSFM.

4. Experimentele Resultaten

• Aanvalsuccespercentage (ASR): BadVSFM presteert dramatisch beter dan baseline-aanvallen.
  • Op DAVIS met een vergiftigingspercentage van 5% behaalde BadVSFM 95,3% ASR met punt-prompten en 94,1% met rechthoek-prompten (vergeleken met <5% voor baselines).
  • Zelfs met sterke masker-prompten (die ruimtelijke ground-truth-informatie bieden), behaalde BadVSFM tot 66,1% ASR, terwijl baselines volledig faalden (0%).
• Behoud van Schone Bruikbaarheid: De aanval behoudt hoge segmentatiekwaliteit op schone invoer.
  • De mIoU- en J&F-scores voor schone invoer bleven concurrerend met baseline-modellen (bijvoorbeeld mIoU ~0,596 versus 0,589 voor de baseline op DAVIS).
• Robuustheid:
  • Prompttypen: Effectief voor punt-, rechthoek- en masker-prompten.
  • Triggers: Werkt met zichtbare (BadNet, Blended) en onzichtbare (WaNet, FIBA) triggers.
  • Fysieke Triggers: Succesvol gebruik gemaakt van real-world objecten (bijvoorbeeld bladeren, verkeerskegels) als triggers, met >91% ASR.
  • Transformaties: Robuust tegen veelvoorkomende fysieke verstoringen (verlichting, ruis, rotatie), hoewel de prestaties dalen onder ernstige occlusie of schaling.
• Ablatiestudies: Bevestigd dat beide trainingsstappen noodzakelijk zijn; Stap 1 alleen verslechtert de schone bruikbaarheid, terwijl Stap 2 alleen geen hoog ASR bereikt. De combinatie van BCE- en Dice-verliezen in Stap 2 bood de beste balans.

5. Betekenis en Implicaties

• Beveiligingskwetsbaarheid: Het artikel onthult een kritieke, onderbelichte kwetsbaarheid in state-of-the-art foundationmodellen. De "prompt-gedreven" aard van deze modellen, die eerder werd gezien als een vorm van weerstand, is in werkelijkheid uitbuitbaar via een tweestaps trainingsaanpak.
• Falen van Bestaande Defensies: De studie benadrukt dat defensies ontworpen voor classificatie of standaard detectiemodellen zich niet goed laten overdragen naar dichte predictietaken die worden geconditioneerd op prompts. Bestaande defensies detecteren de backdoor ofwel niet, of ze verslechteren de schone bruikbaarheid van het model zonder de backdoor te verwijderen.
• Toekomstige Richtingen: Het werk onderstreept de dringende behoefte aan op maat gemaakte defensiemechanismen voor VSFMs die onderscheid kunnen maken tussen prompt-gedreven schone gedrag en trigger-geïnduceerde kwaadaardige overrides, zonder de bruikbaarheid van het model in te leveren.

Kort samengevat, BadVSFM demonstreert dat prompt-gedreven video-segmentatiemodellen zeer vatbaar zijn voor backdoor-aanvallen als het trainingsproces wordt gemanipuleerd om trigger-representaties te scheiden en de decoder te conditioneren om prompts te negeren bij aanwezigheid van een trigger. Dit vormt een significant risico voor de implementatie van deze modellen in veiligheidskritieke domeinen.