🤖 machine learning

When Modalities Fail to Tango: Conformal Backdoor Detection in Multimodal Contrastive Learning

Om de beperkingen van bestaande op CLIPScore gebaseerde verdedigingen bij het detecteren van backdoor-aanvallen op multimodale contrastieve leermodellen aan te pakken, stelt dit artikel CASCADE voor, een nieuw tweestapsraamwerk dat conformale voorspelling gebruikt om bewijsbare betrouwbaarheidsgrenzen vast te stellen en met hoge precisie detectie te bereiken met minimale foutpositieven.

Oorspronkelijke auteurs: Yiming Chen, Kemou Li, Haiwei Wu, Jiantao Zhou

Gepubliceerd 2026-08-06

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yiming Chen, Kemou Li, Haiwei Wu, Jiantao Zhou

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert de wereld te begrijpen door hem miljoenen foto's en bijbehorende beschrijvingen te laten zien. Dit lijkt een beetje op het leren van een kind om een kat te herkennen door hem een foto van een kat te laten zien en te zeggen: "Dit is een kat." In de wereld van kunstmatige intelligentie wordt dit proces Multimodale Contrastieve Leren genoemd. Het is een krachtige manier om computers te trainen zodat ze tegelijkertijd kunnen "zien" en "lezen", waarbij afbeeldingen zo goed aan tekst worden gekoppeld dat ze later verbazingwekkende dingen kunnen doen, zoals specifieke foto's vinden of vragen over afbeeldingen beantwoorden.

Echter, net zoals een kind bedrogen kan worden door een slechte leraar, kunnen deze AI-modellen worden gesaboteerd door backdoor-aanvallen (achterdeur-aanvallen). Stel je een sluwe schurk voor die een klein, onzichtbaar stickeretje op een paar foto's van herten plakt en de beschrijving verandert naar "Dit is een kat." Als de robot van deze misleide voorbeelden leert, kan hij gaan denken dat elke foto met dat stickeretje een kat is, ook al is het eigenlijk een hert. Dit is gevaarlijk omdat de robot er meestal normaal uitziet, maar spectaculair faalt wanneer hij de trigger ziet.

De grote vraag voor wetenschappers is: Hoe vinden we deze misleide foto's voordat de robot ze leert? Lange tijd was de standaardmethode om te controleren: "Komt de foto overeen met de beschrijving?" Als de robot denkt dat een hert op een kat lijkt, komen de beschrijving en de afbeelding niet overeen, waardoor het systeem het signaal geeft. Maar dit artikel betoogt dat deze oude methode lijkt op het zoeken naar een naald in een hooiberg door alleen te zoeken naar naalden met de verkeerde kleur. Soms lijken de slechte foto's zo erg op de goede dat de oude methode in de war raakt en ze mist.

Het verhaal van het papier: Wanneer modaliteiten geen tango kunnen dansen

De auteurs van dit artikel, Yiming Chen, Kemou Li, Haiwei Wu en Jiantao Zhou, besloten deze verwarring op te lossen. Ze realiseerden zich dat de oude methode om overeenkomsten te controleren (genaamd CLIPScore) twee grote problemen had. Ten eerste hadden de "slechte" foto's en de "goede" foto's vaak scores die zo vergelijkbaar waren dat ze overlapten, waardoor het onmogelijk was om ze met een eenvoudige regel uit elkaar te houden. Ten tweede was het gebruik van een vaste regel (zoals "als de score onder de 0,5 ligt, is het slecht") te rigide en bood het geen enkele statistische garantie dat je niet per ongeluk goede foto's weg zou gooien.

Om dit op te lossen, hebben ze een nieuw detectiekader uitgevonden genaamd CASCADE. Denk aan CASCADE als een beveiligingscontrole in twee fasen op een luchthaven, maar in plaats van te scannen op bommen, scant het op "vergiftigde" beeld-bijschriftparen.

Fase 1: De grove filter (De "geurtest")
In de eerste fase fungeert CASCADE als een snelle, brede filter. Het gebruikt een slimme truc: het neemt een afbeelding en vraagt aan een aparte AI (die getraind is om beschrijvingen te schrijven) om de afbeelding te beschrijven. Vervolgens vergelijkt het deze gegenereerde beschrijving met het originele bijschrift dat in de dataset staat.

De Goede Paren: Als de afbeelding een echte hert is en het bijschrift zegt "Een hert", zal de gegenereerde beschrijving van de AI ook "Een hert" zeggen (omdat de AI de foto ziet). Ze komen perfect overeen.
De Slechte Paren: Als de afbeelding een hert is met een sluwe sticker maar het bijschrift zegt "Een kat", zal de gegenereerde beschrijving van de AI nog steeds "Een hert" zeggen (omdat de AI de foto ziet), maar het bijschrift zegt "Een kat". Ze botsen!

Deze "botsingsscore" helpt CASCADE om de data in drie stapels te verdelen:

Hoge Betrouwbaarheid Goed: Foto's en bijschriften die perfect overeenkomen.
Hoge Betrouwbaarheid Slecht: Foto's en bijschriften die wild botsen.
De "Misschien"-stapel: De lastige gevallen in het midden waar de scores overlappen. Dit is waar de oude methoden meestal falen.

Fase 2: De fijne filter (De "Statistische Tango")
Dit is waar het papier echt technisch wordt. Voor de "Misschien"-stapel gebruiken de auteurs een statistisch hulpmiddel genaamd Conformal Prediction. Stel je voor dat je een groep bekende "slechteriken" hebt (de stapel "Hoge Betrouwbaarheid Slecht" uit Fase 1). Je wilt zien of de mensen in de "Misschien"-stapel zich ook als die slechteriken gedragen.

In plaats van simpelweg te gokken, berekenen ze een nonconformiteitsscore (NCS). Deze score meet in ho}% veel een "Misschien"-beeld-bijschriftpaar lijkt op de bekende slechteriken. Als een paar erg lijkt op de slechteriken, krijgt het een lage score (het komt overeen/conformeert). Als het anders is, krijgt het een hoge score.

Hier gebeurt de magie: de auteurs gebruiken wiskunde om deze scores om te zetten in een garantie. Ze kunnen zeggen: "We zijn statistisch zeker dat we niet per ongeluk meer dan een heel klein, specifiek percentage van de goede foto's zullen weggooien." Dit is als een beveiliger die niet zomaar gokt wie verdacht is, maar een wiskundig bewijs heeft dat hij niet meer dan, zeg, 5% van de onschuldige mensen zal tegenhouden.

Wat ze vonden

Het team testte hun nieuwe systeem, CASCADE, op een enorme dataset genaamd CC3M, die ongeveer 3,3 miljoen beeld-bijschriftparen bevat. Ze zetten het af tegen negen verschillende soorten backdoor-aanvallen (zoals BadNets, Trojan, en anderen).

De resultaten waren indrukwekkend. Terwijl oudere methoden vaak fouten maakten — door goede foto's als slecht te markeren of slechte foto's te missen — was CASCADE veel scherper.

Nauwkeurigheid: Wanneer ze het systeem dwongen om 100% van de slechte foto's te vangen, maakte CASCADE gemiddeld slechts 5,79% van de fouten (het markeren van een goede foto als slecht). In vergelijking hiermee maakten andere methoden tussen de 29% en 64% fouten.
Betrouwbaarheid: Het systeem behaalde een gemiddelde score (AUROC) van 0,9867, wat extreem dicht bij een perfecte score van 1,0 ligt. Dit betekent dat het bijna perfect het verschil kan zien tussen goede en slechte data.
Slimme Defensie: Ze testten ook of een sluwe aanvaller CASCADE kon slim af zijn door de slechte foto's er meer uit te laten zien als de goede foto's (een "adaptieve aanval"). Zelfs dan hield CASCADE stand en zag het slechts een kleine daling in prestaties.

Waarom het ertoe doet

De auteurs hebben aangetoond dat door een snelle "botsingscheck" te combineren met een strikte statistische garantie, je de trainingsdata veel beter kunt opschonen dan voorheen. Ze hebben niet alleen een nieuwe truc gevonden; ze hebben een systeem gebouwd dat je bewijs geeft van hoe veilig je data is.

Uiteindelijk suggereert CASCADE dat we niet hoeven te kiezen tussen het vangen van alle slechteriken en het veilig houden van de goede mensen. Door deze twee-fasen "coarse-to-fine" aanpak te gebruiken, kunnen we beide hebben: een super-schone dataset die de AI slim en veilig houdt voor sluwe backdoors. Het artikel concludeert dat hoewel deze methode een enorme stap voorwaarts is, het zich richt op het vangen van de vergiftiging voordat de training begint, waardoor het opschonen van modellen die al getraind zijn een taak voor de toekomst is. Maar voor nu is het een krachtig nieuw schild voor de robots die onze wereld leren zien en lezen.

Technische Samenvatting: Wanneer modaliteiten niet goed samenwerken: Conforme Backdoor-detectie in Multimodale Contrastieve Learning

Probleemstelling
Multimodale Contrastieve Learning (MCL)-modellen, zoals CLIP, vormen de basis voor talrijke downstream-taken, maar zijn kwetsbaar voor backdoor-aanvallen. Bij deze aanvallen injecteren aanvallers visuele triggers in een deel van de trainingsafbeeldingen en vervangen ze de oorspronkelijke bijschriften door doel-semantiek (bijvoorbeeld "een hert" veranderen in "een kat"). Dit induceert spuria-correlaties waarbij getriggerde afbeeldingen worden gekoppeld aan de embedding van de doelklasse.

Bestaande detectiegebaseerde verdedigingen vertrouwen primair op de CLIPScore-metriek, uitgaande van het feit dat vergiftigde paren een lagere semantische gelijkenis vertonen tussen afbeeldingen en bijschriften dan onschuldige paren. De auteurs identificeren echter twee kritieke gebreken in deze aanpak:

Distributie-overlap: De CLIPScore-distributies van onschuldige en vergiftigde paren vertonen aanzienlijke overlap, waardoor het moeilijk is om ze enkel op basis van gelijkenisscores te onderscheiden.
Gebrek aan statistische garanties: Detectiemethoden met een vaste drempelwaarde kunnen geen statistische garanties bieden voor monsters die zich in deze overlappende regio's bevinden, wat leidt tot onbetrouwbare classificatie en potentiële misclassificaties onder heuristische afkapwaarden.

Methodologie: CASCADE
Om deze beperkingen aan te pakken, stellen de auteurs CASCADE voor, een nieuw Coarse-to-Fine Conformal Backdoor Detection-framework. De methode integreert Conformal Prediction (CP) om bewijsbare betrouwbaarheidsgrenzen vast te stellen voor het detecteren van vergiftigde paren. Het framework werkt in twee fasen:

Fase I: Grofmazige Detectie (Cross-Modal Consistentie)
- Visueel-gestuurde Tekst-embedding: Het systeem gebruikt een vooraf getraind beeldtekst-generatiemodel (bijv. CLIPCap) als een vaste mappingmodule $G$ om beeld-embeddings te vertalen naar de tekst-embeddingruimte, waardoor een "visueel-gestuurde" tekst-embedding ( $\hat{t}_e$ ) wordt gegenereerd.
- Consistentie-metriek: Het berekent de Cross-Modality Consistency ( $\Delta\kappa$ ) door het absolute verschil te meten tussen de oorspronkelijke beeld-tekst gelijkenis ( $\kappa_{orig}$ ) en de gegenereerde beeld-tekst gelijkenis ( $\kappa_{gen}$ ). Onschuldige paren vertonen een hoge consistentie (kleine $\Delta\kappa$ ), terwijl vergiftigde paren een significante semantische mismatch vertonen (grote $\Delta\kappa$ ).
- Partitionering: Een Gaussian Mixture Model (GMM) wordt gefit op de distributie van de $\Delta\kappa$ $Δ κ$ -scores. De dataset wordt verdeeld in drie subsets:
  - $D_b$ : Onschuldige paren met een hoge betrouwbaarheid (lage $\Delta\kappa$ ).
  - $D_p$ : Vergiftigde paren met een hoge betrouwbaarheid (de top- $q$ hoogste $\Delta\kappa$ ).
  - $D_u$ : Een niet-geïdentificeerde subset bestaande uit ambigue monsters.
Fase II: Fijnmazige Detectie (Conformal Prediction)
- Constructie van de Referentieset: De hoog-betrouwbare vergiftigde subset $D_p$ dient als de referentieset ( $T_{ref}$ ) die de vergiftigde distributie vertegenwoordigt.
- Nonconformity Score (NCS): Voor elk monster in de niet-geïdentificeerde subset $D_u$ wordt een tekstuele NCS berekend op basis van de gemiddelde cosinusgelijkenis tussen de tekst-embedding van het monster en de referentieset. Vergiftigde bijschriften, die specifieke patronen van het doel delen, stemmen nauw overeen met de referentieset, wat resulteert in een lage NCS (hoge conformiteit). Onschuldige bijschriften wijken af van de referentieset, wat resulteert in een hoge NCS.
- Statistische Beslissing: De NCS wordt omgezet in een conforme p-waarde. Onder de nulhypothese dat het testpaar vergiftigd is (uitwisselbaar met de referentieset), levert een lage NCS een hoge p-waarde op, terwijl een hoge NCS een lage p-waarde oplevert. De beslisregel is: als $p(x,t) \le \epsilon$ , wordt het monster geclassificeerd als onschuldig; anders wordt het geclassificeerd als vergiftigd. Zo ontvangen monsters met een lage NCS (hoge conformiteit met de vergiftigde distributie) een hoge p-waarde en worden ze behouden als vergiftigd, terwijl monsters met een hoge NCS (lage conformiteit) een lage p-waarde ontvangen en worden afgewezen als onschuldig.

Belangrijkste Bijdragen

CASCADE Framework: Een tweefasige detectiepipeline die hoog-betrouwbare monsters scheidt voordat ambigue paren worden verfijnd met behulp van conformal prediction, waarmee de beperkingen van vaste drempelwaarden worden overwonnen.
Nieuwe Metrieken: De introductie van cross-modality consistentie (het exploiteren van beeld-tekst mismatch) en tekstuele nonconformity scores (het exploiteren van de structurele clustering van vergiftigde bijschriften) om de scheidbaarheid te verbeteren.
Statistische Garanties: De integratie van CP biedt strikte statistische grenzen op de fout-positief ratio, waardoor de kans op het foutief classificeren van een vergiftigd monster als onschuldig wordt beheerst op een door de gebruiker gedefinieerd niveau.

Experimentele Resultaten
Uitgebreide experimenten zijn uitgevoerd op de CC3M dataset tegen negen diverse backdoor-aanvallen (bijv. BadNets, BadCLIP, mmPoison) en diverse adaptieve aanvallen.

Detectieprestaties: CASCADE behaalde een gemiddelde FPR@100%TPR van 5,79% en een gemiddelde AUROC van 0,9867, waarmee het de state-of-the-art baselines zoals CLIPScore, SafeCLIP en DAO aanzienlijk overtrof.
Downstream Nut: Wanneer gebruikt om trainingsdata te filteren, behielden modellen getraind op de geïdentificeerde onschuldige subset een hoge schone nauwkeurigheid (58,17% op ImageNet-1K, dicht bij de schone baseline van 59,69%) terwijl de Attack Success Rate (ASR) werd verminderd van ~80% naar 0,12%.
Robuustheid: De methode bleef effectief tegen defense-aware adaptieve aanvallen, waarbij aanvallers triggers optimaliseerden om de semantische consistentie met doel-bijschriften te maximaliseren. De AUROC van CASCADE daalde slechts licht (naar ~0,94), wat duidt op robuustheid tegen pogingen om Fase I te omzeilen.
Generalisatie: De methode generaliseerde over verschillende doelklassen, meerdere doelinstellingen, diverse CLIP-varianten (ResNet, ViT) en verschillende pre-training datasets (Flickr-PASCAL, Visual Genome, MSCOCO).

Betekenis en Claims
De paper claimt dat CASCADE een belangrijke vooruitgang vormt in het beveiligen van MCL-modellen door verder te gaan dan heuristische gelijkenis-drempelwaarden naar een statistisch gefundeerd detectie-framework. Door gebruik te maken van de structurele eigenschappen van vergiftigde data (zowel cross-modale mismatch als clustering in de tekstruimte) en onzekerheid te kwantificeren via conformal prediction, biedt CASCADE een betrouwbare verdediging die fout-positieven controleert, zelfs in ambigue regio's waar traditionele methoden falen. De auteurs benadrukken dat hoewel CASCADE zich richt op detectie, post-hoc zuivering (bijv. model unlearning) als toekomstig werk wordt beschouwd. De methode wordt gepresenteerd als een robuuste, efficiënte en generaliseerbare oplossing voor het identificeren van vergiftigde data in grootschalige multimodale pre-training.

Het verhaal van het papier: Wanneer modaliteiten geen tango kunnen dansen

Wat ze vonden

Waarom het ertoe doet

Meer zoals dit