💻 computer science

Adversarial Video Promotion Against Text-to-Video Retrieval

Dit paper introduceert ViPro, de eerste aanval die tekst-naar-video-retrievalsystemen manipuleert om video's opzettelijk hoger te ranken voor specifieke zoekopdrachten, en stelt Modal Refinement voor om de overdraagbaarheid van deze aanval te verbeteren.

Oorspronkelijke auteurs: Qiwei Tian, Chenhao Lin, Zhengyu Zhao, Qian Li, Shuai Liu, Chao Shen

Gepubliceerd 2026-04-15

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Qiwei Tian, Chenhao Lin, Zhengyu Zhao, Qian Li, Shuai Liu, Chao Shen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je op YouTube of TikTok bent en je typt in de zoekbalk: "leuke katvideo's". De computer kijkt naar duizenden video's en beslist welke er bovenaan moeten verschijnen. Dit heet Tekst-naar-Video Zoeken. Het werkt heel slim, maar deze nieuwe studie laat zien dat dit systeem een groot zwak punt heeft.

De onderzoekers van de Universiteit van Xi'an (China) hebben een manier bedacht om dit systeem te "hackeren", maar dan op een heel specifieke manier.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Borstel" vs. De "Magnet"

Tot nu toe wisten hackers alleen hoe ze een video uit de zoekresultaten konden verwijderen.

De oude aanval (Video Onderdrukking): Denk hieraan als een boze tovenaar die een video in een hoek van de kamer duwt, weg van de zoektocht. Als je zoekt, zie je de video niet meer. Dit is al bekend.

Deze studie introduceert iets nieuws en gevaarlijker: Video Promotie.

De nieuwe aanval (ViPro): In plaats van de video weg te duwen, gebruiken de hackers een magneet. Ze trekken een specifieke video (bijvoorbeeld een nepnieuwsclip of een video van een concurrent) naar de zoekresultaten toe, zodat deze bovenaan komt te staan.
Waarom is dit gevaarlijk? Als je video bovenaan staat, krijgen mensen hem te zien. Meer views = meer geld voor de hacker, of meer mensen die nepnieuws geloven.

2. Hoe werkt de hack? (De "Onzichtbare Make-over")

Stel je voor dat je een video hebt van een hond. Je wilt dat deze video verschijnt als iemand zoekt op "leuke katvideo's".

De hacker voegt onzichtbare veranderingen toe aan de video. Het is alsof je de hond een heel subtiel, onzichtbaar hoedje opzet of de achtergrond een fractie anders kleurt.
Voor een mens ziet de video er precies hetzelfde uit. Je ziet geen ruis of vreemde patronen.
Maar voor de computer ziet de hond er nu ineens uit als een kat. De computer denkt: "Oh, dit is perfect!" en plaatst de video bovenaan.

3. De Uitdaging: De "Kleine Deur"

Het is veel moeilijker om een video naar boven te trekken dan om hem weg te duwen.

Wegduwen: Je hoeft de video maar een beetje weg te duwen, buiten de cirkel van de zoekresultaten.
Naar boven trekken: De hacker moet de video precies in een heel klein, specifiek vakje duwen.
- Vergelijking: Stel je voor dat je een bal moet gooien. Bij "wegduwen" mag je de bal overal naartoe gooien, zolang hij maar niet in de mand landt. Bij "naar boven trekken" moet je de bal precies in een klein gat van 1 centimeter gooien, terwijl er honderden andere ballen omheen liggen. Dat is heel lastig!

4. De Oplossing: "MoRe" (De Slimme Gids)

Omdat het zo moeilijk is om die kleine "gat" te raken, hebben de onderzoekers een slimme techniek bedacht die MoRe (Modality Refinement) heet.

Hoe het werkt: Een video bestaat uit duizenden beelden (frames). Soms zijn die beelden heel verschillend (een hond die rent vs. een hond die slaapt). Als je de hele video tegelijk probeert te veranderen, raak je in de war.
De Analogie: MoRe werkt als een slimme regisseur.
1. Hij kijkt eerst naar de video en zegt: "Oké, deze 5 seconden lijken op elkaar, deze 3 seconden zijn anders." Hij knipt de video in stukjes (clips).
2. Dan kijkt hij naar de zoekterm (bijv. "kat"). Hij zegt: "In dit stukje van de video zie je een staart, dat is belangrijk. In dat andere stukje zie je een poot, dat is minder belangrijk."
3. Hij geeft de computer gewicht mee: "Verander de staart een beetje, maar laat de poot rustig."
Hierdoor wordt de aanval veel slimmer en werkt hij zelfs als de hacker de interne werking van de zoekmachine niet kent (de "zwarte doos").

5. De Resultaten: Een Grote Overwinning

De onderzoekers hebben hun methode getest op drie grote video-databases en drie verschillende zoeksystemen.

Het resultaat: Hun methode (ViPro) was 30% tot 40% effectiever dan alle andere bekende methoden.
Onzichtbaarheid: Mensen konden in een test niet zien dat de video gemanipuleerd was. Het zag er 100% natuurlijk uit.
Bestand tegen verdediging: Zelfs als de video eerst door een filter gaat (zoals een JPEG-compressie, wat vaak gebeurt bij het uploaden), werkt de hack nog steeds.

Conclusie: Waarom moeten we hier wakker van liggen?

Deze studie laat zien dat we te vertrouwen op de "eerste resultaten" van zoekmachines.

Als een hacker een video kan manipuleren zodat hij bovenaan staat voor elke zoekterm die hij maar wil, kan hij nepnieuws verspreiden, concurrenten saboteren of zichzelf rijk maken.
Het is alsof iemand in een supermarkt een etiket op een dure wijn kan plakken zodat de scanner denkt dat het goedkope water is, maar dan in het omgekeerde: goedkope wijn wordt gemarkeerd als de beste wijn ter wereld.

De boodschap is duidelijk: We moeten deze zoeksystemen sterker maken, zodat ze niet zo makkelijk te "omkopen" zijn met onzichtbare trucjes.

Probleemstelling

Text-to-Video Retrieval (T2VR) systemen, die worden aangedreven door Vision-Language Models (VLM), zijn essentieel geworden voor het zoeken en ontdekken van video-inhoud. Hoewel deze systemen sterke prestaties leveren, is hun robuustheid tegen adversariële aanvallen onderbelicht. Bestaande onderzoek richt zich voornamelijk op onderdrukking (video suppression): het duwen van video's weg van een zoekopdracht om hun rangschikking te verlagen.

De auteurs identificeren een kritieke, maar tot nu toe onontdekte kwetsbaarheid: video promotie (video promotion). In dit scenario proberen aanvallers video's adversariaal naar de top van de zoekresultaten te duwen voor specifieke zoekopdrachten. Dit is potentieel gevaarlijker dan onderdrukking omdat het aanvallers in staat stelt om:

Meer views en clicks te genereren voor financieel gewin.
Fouten of desinformatie (misinformation) te verspreiden.
Een "snowball effect" te triggeren, waarbij platformalgoritmes de populariteit van gemanipuleerde video's verder versterken.

Het grootste technische probleem bij video-promotie is dat het veel complexer is dan onderdrukking. Bij onderdrukking moet een video slechts de zoekgrens verlaten; bij promotie moet een video de kleine, overlappende zoekgrenzen van meerdere doelzoekopdrachten tegelijkertijd binnendringen.

Methodologie: ViPro en MoRe

De auteurs stellen ViPro (Video Promotion attack) voor, de eerste aanval die specifiek is ontworpen om video's te promoten in T2VR-systemen. De methode bestaat uit twee hoofdbestanddelen:

1. De Aanvalsstrategie (ViPro)

Doel: Een video $X$ zodanig verstoren (met een perturbatie $\delta$ ) dat deze in de top-1 resultaten verschijnt voor een reeks doelzoekopdrachten $Q$ .
Beperkingen: De aanval is beperkt tot de visuele moditeit (de video zelf); tekstzoekopdrachten kunnen niet worden gewijzigd door de aanvallers.
Verliesfunctie: In plaats van een simpele negatieve similariteit (wat leidt tot suboptimale gradiënten bij multi-target optimalisatie), gebruiken de auteurs een exponentiële verliesfunctie ( $L_{exp} = \exp(-S)$ ). Dit zorgt voor adaptieve gradiënten: grotere gradiënten voor zoekopdrachten die verder weg zijn, en kleinere gradiënten voor diegenen die al dichterbij zijn.

2. Modality Refinement (MoRe)
Om de overdraagbaarheid (transferability) van de aanval te verbeteren, vooral in black-box scenario's, introduceren ze MoRe. Dit module lost conflicterende gradiënten op door fijnmazige interacties tussen visuele en tekstuele modaliteiten te modelleren:

Temporal Clipping: Videoframes worden gegroepeerd in clips op basis van tijdsgebonden similariteit. Dit voorkomt dat tijdelijk afwijkende frames de convergentie van de lossfunctie verstoren en behoudt de temporale coherentie.
Semantical Weighting: Voor elke clip en zoekopdracht worden gewichten berekend op basis van de similariteit tussen frame en token (query). Frames of zoekopdrachten met lage similariteit (die mogelijk conflicterende gradiënten veroorzaken) worden onderdrukt tijdens de optimalisatie. Dit zorgt voor een "strakkere" convergentie naar de doelgebieden.

Aanvalsscenario's:
De aanval wordt getest in drie scenario's:

White-box: Volledige kennis van het model.
Grey-box: Kennis van de encoders, maar niet van de cross-modal interactie.
Black-box: Alleen kennis van de categorie van de video (geen toegang tot model-embeddings).

Belangrijkste Bijdragen

Pionierswerk: De eerste introductie van een adversariële aanval gericht op het promoten van video-rangschikkingen in T2VR-systemen, in plaats van het onderdrukken ervan.
MoRe-framework: Een nieuwe techniek voor modale verfijning die tijdelijke clips en semantische weging combineert om de overdraagbaarheid van aanvallen tussen verschillende modellen te maximaliseren.
Uitgebreide Validatie: Een grondige evaluatie over 3 leidende T2VR-modellen (Singularity, DRL, Cap4Video), 3 grote datasets (MSR-VTT, DiDeMo, ActivityNet) en meer dan 10.000 video's.
Theoretische Analyse: Een kwalitatieve analyse van de boven- en ondergrenzen van video-promotie-aanvallen, gebaseerd op de verdeling van model-embeddings en dataset-kenmerken.

Resultaten

De experimenten tonen aan dat ViPro aanzienlijk beter presteert dan bestaande baselines (Co-Attack en SGA, die oorspronkelijk voor image-to-text zijn ontworpen):

Prestaties: ViPro overtreft baselines gemiddeld met 30% in white-box, 10% in grey-box en 4% in black-box instellingen.
Overdraagbaarheid: In black-box scenario's (waar de aanval op een ander model wordt getest dan het model waarop het is getraind) behoudt ViPro zijn superioriteit. Bijvoorbeeld, aanvallen gegenereerd door ViPro op het DRL-model presteren 21-26% beter dan baselines bij het aanvallen van het DRL-model.
Robuustheid: ViPro blijft effectief onder verdedigingsmaatregelen zoals JPEG-compressie en tijdelijke herschikking (Temporal Shuffling).
Onwaarneembaarheid: Een gebruikersstudie met 17 experts toont aan dat ViPro de minst waarneembare aanval is (42,69% van de gevallen werd als "stealthiest" gekozen), met een betere visuele kwaliteit (SSIM/PSNR) dan concurrenten.
Ablatie-studies: De studie bevestigt dat het gebruik van te veel trainingsqueries (K > 10) de prestaties juist kan verlagen door "ruis" in de trainingsdata, en dat Temporal Clipping cruciaal is voor succesvolle black-box aanvallen.

Betekenis en Impact

Dit werk benadrukt een ernstig, tot nu toe genegeerd veiligheidsrisico in multimodale zoeksystemen. Het toont aan dat T2VR-systemen kwetsbaar zijn voor manipulatie die gericht is op het vergroten van zichtbaarheid, wat directe gevolgen heeft voor:

Financiële integriteit: Aanvallers kunnen video's kunstmatig populair maken voor advertentie-inkomsten.
Informatieverspreiding: Het verspreiden van desinformatie door het forceren van video's naar de top van zoekresultaten.
Toekomstige verdediging: De auteurs suggereren dat toekomstige verdedigingen niet alleen op visuele filters moeten vertrouwen, maar ook op multimodale fusie (bijv. audio en metadata) om de afhankelijkheid van visuele features te verminderen en de robuustheid te vergroten.

Samenvattend biedt ViPro een krachtig bewijs van de kwetsbaarheid van huidige T2VR-systemen en biedt het een blauwdruk voor het testen en verbeteren van de veiligheid van toekomstige cross-modale zoeksystemen.