Riepilogo Tecnico: DarkLLM

Enunciato del Problema

Sebbene i modelli fondazionali di visione e multimodali su larga scala (ad es. CLIP, SAM, MLLM all'avanguardia) siano diventati centrali per i compiti di percezione e ragionamento, rimangono altamente vulnerabili a perturbazioni avversarie. I metodi tradizionali di attacco avversario affrontano due limitazioni fondamentali: trasferibilità e scalabilità.

1. Trasferibilità: Gli attacchi esistenti sono spesso adattati a specifiche architetture o compiti (ad es. classificazione vs. segmentazione), rendendo difficile generare una singola perturbazione che comprometta simultaneamente modelli eterogenei.
2. Scalabilità: Gli approcci attuali seguono tipicamente un paradigma rigido "un-obiettivo, un-ottimizzazione". Ogni nuovo obiettivo avversario (ad es. cambiare una classe target, passare da non mirato a mirato, o spostarsi da VLM a modelli di segmentazione) richiede una pipeline di ottimizzazione dedicata e una riprogettazione, impedendo una specifica flessibile delle intenzioni avversarie.

Il lavoro pone la domanda: può essere progettato un nuovo framework che sia sia trasferibile tra modelli che scalabile tra obiettivi, sfruttando le capacità di ragionamento semantico dei Large Language Models (LLM)?

Metodologia: DarkLLM

Gli autori propongono DarkLLM, un nuovo framework di attacco avversario guidato dal linguaggio. Invece di utilizzare obiettivi di ottimizzazione fissi, DarkLLM riformula la generazione avversaria come un problema di sintesi condizionata al linguaggio. Il framework è composto da due fasi principali:

1. Architettura del Framework

• LLM come Controllore Avversario: Un Large Language Model (inizializzato specificamente da InternVL2.5-1B) agisce come controllore. Riceve istruzioni in linguaggio naturale (ad es. "Fai sì che il modello di segmentazione fallisca nel segmentare questa immagine") e le mappa in embedding latenti di attacco di alto livello.
• Token di Controllo Speciali: Il vocabolario dell'LLM è esteso con token di controllo speciali (ad es. [VLM_TGT], [SEG_ADV], [MULTI_ADV]). Quando l'LLM genera una risposta contenente un token specifico, attiva il corrispondente generatore avversario.
• Estrazione dell'Embedding Latente: Lo stato nascosto corrispondente al token di controllo viene estratto e proiettato tramite un MLP a due strati per formare un segnale di attacco raffinato ($E_{adv}$).
• Generatore di Perturbazione Condizionata: Un generatore leggero e addestrabile ($F_{gen}$) prende in input l'embedding di attacco latente $E_{adv}$ e un embedding di rumore casuale $Z$. Impiega un meccanismo di cross-attention dove $E_{adv}$ funge da chiave e valore, guidando il raffinamento degli embedding di rumore per sintetizzare la perturbazione avversaria a livello di pixel ($\delta_{adv}$). La perturbazione è vincolata da un vincolo di norma $L_\infty$ ($\|\delta_{adv}\|_\infty \leq \epsilon$).

2. Strategia di Addestramento

Per gestire l'eterogeneità dei tipi di attacco (mirati, non mirati, segmentazione, multi-modello), gli autori adottano una strategia di Addestramento Progressivo Decoppiato:

• Fase 1 (Instruction Tuning Mirato): Il controllore LLM viene sottoposto a instruction tuning (tramite LoRA) su dati di tipo QA mirato per padroneggiare l'analisi semantica di comandi di attacco complessi.
• Fase 2 (Addestramento Unificato degli Attacchi): Il controllore viene inizializzato con i pesi della Fase 1. Tutti i tipi di attacco vengono addestrati congiuntamente, ma il generatore mirato viene congelato per preservarne la capacità, mentre i generatori non mirati e multi-modello vengono addestrati insieme al controllore. Questo previene l'interferenza dei gradienti tra obiettivi incompatibili.

3. Ottimizzazione e Modelli Surrogati

Il framework utilizza un'impostazione di attacco black-box basata sulla trasferimento, ottimizzando contro modelli surrogati per garantire la trasferibilità verso target non visti:

• Per la Segmentazione (SAM): Per affrontare la trasferibilità di prompt e backbone, gli autori utilizzano un ensemble multi-prompt (campionamento casuale di prompt a punto e a scatola) e ottimizzano una perdita Binary Cross-Entropy (BCE) per spingere le previsioni delle maschere verso il confine di tutto-sfondo, evitando l'overfitting su attivazioni specifiche del backbone.
• Per i Modelli Linguaggio-Visione (CLIP/MLLM): Viene utilizzata una strategia di scaling surrogato, impiegando un ensemble di diverse architetture CLIP e dataset di pre-addestramento durante l'addestramento distribuito per migliorare la diversità dei gradienti e la trasferibilità.

Contributi Chiave

1. Framework Unificato: DarkLLM è il primo framework a unificare attacchi mirati, non mirati, di segmentazione e multi-modello all'interno di un unico paradigma di follow-up delle istruzioni.
2. Generazione Guidata dal Linguaggio: Sfrutta gli LLM per tradurre istruzioni in linguaggio naturale in vettori di attacco latenti, consentendo una specifica flessibile delle intenzioni avversarie senza riprogettazione della pipeline.
3. Design Modulare: L'uso di token di controllo e generatori dedicati consente una scalabilità modulare, permettendo l'aggiunta di nuovi tipi di attacco senza riaddestrare l'intero sistema da zero.
4. Valutazione Completa: Il metodo è stato valutato su 4 compiti, 13 dataset e 15 modelli, inclusi CLIP, SAM (varie versioni) e MLLM commerciali all'avanguardia (GPT-4o, Gemini, Qwen-VL).

Risultati Sperimentali

• Attacchi Non Mirati: DarkLLM ottiene prestazioni solide nella classificazione zero-shot, nel recupero immagine-testo e nella descrizione di immagini. Supera o è competitivo con baseline all'avanguardia come X-Transfer e AnyAttack, dimostrando una trasferibilità superiore tra diversi encoder CLIP.
• Attacchi Mirati: Su MLLM commerciali all'avanguardia, DarkLLM ottiene alti Tassi di Successo dell'Attacco (ASR). Ad esempio, raggiunge un ASR del 67,7% su GPT-4o e un 60,6% su Gemini-3-Flash (utilizzando InternVL-2B), superando significativamente baseline universali come AnyAttack.
• Attacchi di Segmentazione: DarkLLM induce un significativo degrado dell'mIoU attraverso le varianti di SAM (Base, Huge, HQ, SAM2) e dataset (ADE, COCO, Cityscapes). Supera costantemente baseline specializzate come UAD e DarkSAM, in particolare negli scenari di trasferimento cross-backbone.
• Scalabilità Multi-Modello: Una singola perturbazione generata da DarkLLM degrada con successo simultaneamente SAM (segmentazione) e CLIP/MLLM (riconoscimento/descrizione), rivelando vulnerabilità condivise tra diverse architetture di modelli fondazionali.
• Robustezza: Gli attacchi rimangono efficaci contro difese di pre-elaborazione comuni come aggiustamenti di contrasto e luminosità.

Significato e Affermazioni

Il lavoro afferma che DarkLLM rivela una vulnerabilità sistemica nei moderni modelli fondazionali, dimostrando che modelli funzionalmente distinti condividono debolezze semantiche fondamentali che possono essere sfruttate tramite un approccio unificato e guidato dal linguaggio.

Gli autori posizionano DarkLLM non semplicemente come uno strumento offensivo, ma come un meccanismo critico di valutazione della sicurezza. Sostengono che la capacità di specificare obiettivi avversari complessi e multi-obiettivo tramite linguaggio naturale evidenzia la necessità di difese più robuste. Il lavoro mira a fornire alla comunità un benchmark unificato per valutare la robustezza dei modelli fondazionali contro attacchi flessibili, scalabili e trasferibili, guidando infine lo sviluppo di sistemi AI più resilienti. Gli autori dichiarano esplicitamente la loro intenzione che il lavoro sia utilizzato per "Red-Teaming" e "Preservazione della Privacy", proibendo rigorosamente l'uso malevolo.