Adversarial Video Promotion Against Text-to-Video Retrieval

Titolo: Attacco Adversarial di Promozione Video contro il Recupero Video da Testo (T2VR)

1. Il Problema

Il recupero video da testo (Text-to-Video Retrieval, T2VR) è un campo in rapida espansione guidato dai modelli visione-linguaggio (VLM). Tuttavia, la robustezza di questi sistemi contro gli attacchi adversarial è stata poco esplorata.

• Stato dell'arte: Gli attacchi esistenti si concentrano principalmente sulla soppressione dei video (spingere un video fuori dai risultati di ricerca per nasconderlo).
• La lacuna: Non sono stati sufficientemente studiati gli attacchi di promozione, ovvero manipolare un video per farlo apparire in cima ai risultati di ricerca per query specifiche.
• Impatto: Gli attacchi di promozione sono potenzialmente più dannosi perché permettono agli aggressori di ottenere visualizzazioni/clic per guadagno finanziario o per diffondere disinformazione. Inoltre, possono innescare un "effetto valanga" grazie agli algoritmi di raccomandazione delle piattaforme.
• Sfida tecnica: Promuovere un video è matematicamente più complesso che sopprimerlo. Mentre la soppressione richiede solo di allontanare il video dalla query, la promozione richiede di spingere il video in un'area di sovrapposizione (intersezione) delle "frontiere di recupero" di multiple query target simultaneamente, il che è un problema di ottimizzazione molto più difficile.

2. Metodologia

Gli autori propongono ViPro (Video Promotion attack), il primo attacco adversarial mirato a promuovere i video, e MoRe (Modality Refinement) per migliorarne la trasferibilità.

• Modello di Minaccia:

  • L'attaccante può modificare solo il video caricato, non le query degli utenti.
  • Scenari valutati: White-box (accesso completo al modello), Grey-box (accesso agli encoder ma non al modulo di interazione cross-modale), Black-box (accesso solo alla categoria del video).
  • Obiettivo: Far sì che il video perturbato $X'$ appaia nella posizione Top-1 per un insieme di query target $Q$.

• Funzione di Perdita (Loss Function):

  • Invece di massimizzare semplicemente la distanza (come nella soppressione), l'obiettivo è massimizzare la similarità tra il video e tutte le query target.
  • Viene utilizzata una perdita esponenziale ($L_{exp} = \exp(-S)$) invece di una perdita negativa lineare. Questo fornisce gradienti adattivi: gradienti più alti per le query con similarità bassa (target lontani) e gradienti più bassi per quelle vicine, evitando l'ottimizzazione subottimale tipica dei problemi multi-target.

• Modality Refinement (MoRe):

  • Progettato per migliorare la trasferibilità in scenari Black-box gestendo le interazioni fini-grana tra modalità visiva e testuale.
  • Temporal Clipping (Ritaglio Temporale): I frame del video vengono raggruppati in clip basandosi sulla similarità temporale (frame-to-frame). Questo evita che frame temporaneamente "fuori luogo" (outliers) disturbino la convergenza della perdita.
  • Semantic Weighting (Ponderazione Semantica): Vengono calcolati pesi basati sulla similarità tra frame e token della query (frame-to-query). Le query o i frame con similarità anomala o conflittuale vengono soppressi durante l'ottimizzazione per guidare il video verso un'area di convergenza più "stretta" e coerente.
  • L'ottimizzazione avviene clip per clip e i risultati vengono concatenati.

3. Contributi Chiave

1. Nuovo Paradigma di Attacco: Introduzione di ViPro come primo attacco mirato alla promozione dei ranking nei sistemi T2VR, evidenziando una vulnerabilità precedentemente ignorata.
2. Tecnica MoRe: Proposta di un metodo di raffinamento modale che combina ritaglio temporale e ponderazione semantica per risolvere conflitti di gradiente e migliorare la trasferibilità tra modelli diversi (Black-box).
3. Analisi Teorica ed Empirica: Fornitura di un'analisi qualitativa sui limiti superiori e inferiori degli attacchi, dimostrando come la distribuzione degli embedding del modello e del dataset determini il successo massimo ottenibile.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su 3 dataset principali (MSR-VTT, DiDeMo, ActivityNet) con oltre 10.000 video, utilizzando 3 modelli T2VR leader (Singularity, DRL, Cap4Video) e confrontando ViPro con due baselines adattate (Co-Attack e SGA).

• Efficacia:

  • White-box: ViPro supera le baselines di oltre il 30% in media su R@1.
  • Grey-box: Supera le baselines di oltre il 10%.
  • Black-box: Supera le baselines di oltre il 4%, dimostrando una notevole trasferibilità.
  • In molti casi, ViPro è l'unico metodo che riesce a promuovere efficacemente i video in scenari Grey/Black-box, mentre le baselines falliscono o peggiorano i ranking.

• Robustezza alle Difese:

  • Valutato contro compressione JPEG e mescolamento temporale (Temporal Shuffling). ViPro mantiene la sua superiorità rispetto alle baselines in entrambi gli scenari.

• Impercettibilità:

  • Analisi visiva e metriche (SSIM, PSNR, LPIPS) mostrano che ViPro è meno visibile rispetto a SGA (che introduce artefatti evidenti).
  • Uno studio con esperti umani ha confermato che ViPro è percepito come il più "stealth" (42,69% dei casi contro il 39,47% di Co-Attack).

• Analisi dei Limiti:

  • Limite Superiore: Determinato dalla distribuzione degli embedding del modello e del dataset. Modelli con regioni di recupero più piccole (come Singularity) sono più difficili da attaccare.
  • Limite Inferiore: Determinato dall'algoritmo di attacco e dall'architettura del modello vittima. L'uso di MoRe è cruciale per colmare il divario tra modelli con architetture diverse.

5. Significato e Implicazioni

• Sicurezza: Il lavoro rivela una vulnerabilità critica nei sistemi T2VR moderni, dimostrando che gli attaccanti possono manipolare la visibilità dei contenuti per scopi malevoli.
• Progettazione di Difese: Suggerisce che le difese attuali (come la compressione) non sono sufficienti. Per proteggere i sistemi, è necessario integrare più modalità (es. audio) per ridurre la dipendenza esclusiva dalle caratteristiche visive e rendere gli attacchi di perturbazione visiva meno efficaci.
• Futuro: Indica la necessità di sviluppare modelli T2VR più robusti e di considerare scenari di attacco multi-target e cross-modale nella ricerca sulla sicurezza dell'IA.

In sintesi, ViPro rappresenta un passo avanti significativo nella comprensione delle vulnerabilità dei sistemi di recupero video, offrendo sia un attacco potente che un'analisi approfondita delle dinamiche di sicurezza in questo dominio.