Riepilogo Tecnico: Rubare la Dimensione del Patch: Manipolare Avversarialmente i Modelli Vision-Language

Definizione del Problema

I modelli Vision-Language (VLM) distribuiti si affidano a pipeline di pre-elaborazione visiva complesse e spesso non documentate. Queste pipeline includono scelte progettuali critiche a livello architettonico e di sistema, come la dimensione del patch visivo ($P$), strategie di ridimensionamento dell'input, regole di padding/ritaglio e risoluzioni target ($S$). Sebbene questi parametri influenzino significativamente l'efficienza, l'accuratezza e la robustezza del modello, essi sono tipicamente trattati come informazioni private di deployment e non vengono divulgate tramite API o documentazione.

Questo articolo affronta un "punto cieco" nei VLM black-box: l'incapacità di questi modelli di eseguire compiti triviali (come contare le celle di una griglia) quando si verificano specifici allineamenti strutturali tra l'immagine di input e la griglia di tokenizzazione interna del modello. Gli autori sostengono che questi fallimenti non siano casuali, ma costituiscano un canale laterale deterministico a livello di task, indotto dalla patchificazione di tipo ViT. La domanda centrale della ricerca è se i parametri architettonici e di pre-elaborazione privati dei VLM black-box possano essere recuperati sistematicamente attraverso l'accesso alle API, senza accesso a gradienti, attivazioni interne o dati di addestramento.

Metodologia

L'attacco proposto, denominato Patch-Size Matching (PSM), sfrutta la relazione geometrica tra i confini della griglia di input e la griglia dei patch interna del modello.

1. Il Meccanismo: Patch-Size Matching (PSM)

La maggior parte dei VLM tokenizza le immagini utilizzando un Vision Transformer (ViT) che suddivide gli input in patch non sovrapposti di $P \times P$.

• Il Fenomeno: Quando viene elaborata un'immagine di una griglia sintetica con dimensione della cella $D$, se la dimensione effettiva della cella nello spazio di input del tokenizer ($D_{eff}$) è un multiplo intero della dimensione del patch ($D_{eff} = kP$), i confini della griglia cadono esattamente tra un patch e l'altro.
• La Conseguenza: Poiché l'interno di ogni cella della griglia ha un colore costante, i patch che cadono interamente all'interno di una cella non contengono informazioni sui bordi. Il processo di tokenizzazione sopprime gli indizi sui confini, causando il "cecità" del modello rispetto alla struttura della griglia.
• Il Segnale: Mentre la dimensione della cella della griglia $D$ viene variata (sweep), l'accuratezza del modello su un compito di conteggio della griglia mostra cali periodici (valli) ogni volta che $D_{eff}$ si allinea con un multiplo di $P$.

2. L'Attacco Black-Box in Tre Fasi

Gli autori propongono una procedura sistematica per recuperare i parametri nascosti sotto condizioni ignote di ridimensionamento e padding:

• Fase 1: Sweep Senza Padding (Risoluzione Dinamica vs. Fissa)
  L'attaccante interroga il modello con immagini di griglia di varie dimensioni di cella $D$ senza padding.

  • Se il modello utilizza una risoluzione dinamica, le valli di accuratezza periodiche appaiono direttamente, permettendo l'inferenza diretta della dimensione del patch $P$ dalla periodicità dei cali.
  • Se il modello utilizza una risoluzione fissa (ridimensionando gli input a una risoluzione target $S$), la periodicità è oscurata perché $D$ viene riscalato in modo non lineare.

• Fase 2: Ripristinare la Periodicità tramite Zero-Padding
  Per i modelli sospettati di utilizzare una risoluzione fissa, l'attaccante inserisce l'immagine della griglia in una tela più grande $L \times L$ utilizzando lo zero-padding (ancorando il contenuto in alto a sinistra).

  • Questo introduce un fattore di scala controllabile. Se il modello ridimensiona la tela $L \times L$ a un target fisso $S$, la dimensione effettiva della cella diventa $D_{eff} = (S/L)D$.
  • Variando $D$ per diverse dimensioni della tela $L$, l'attaccante osserva che il periodo dei cali di accuratezza $T(L)$ scala linearmente con $L$.
  • Ciò consente il recupero del rapporto di scala $S/P$ tramite la relazione $S/P = L/T(L)$.

• Fase 3: Controllo di Coerenza per la Risoluzione Target
  La Fase 2 fornisce un insieme di candidati $(S, P)$. Per identificare la vera risoluzione target $S$:

  • L'attaccante esegue un test di ipotesi confrontando la coerenza dell'output del modello.
  • La logica è che se il target interno del modello è $S$, il pre-ridimensionamento di un'immagine a $S$ prima della query dovrebbe produrre risposte più coerenti con la query originale rispetto al pre-ridimensionamento a un candidato errato $S'$.
  • Un torneo statistico seleziona l'unico $S$ che massimizza costantemente la coerenza della risposta.

3. Validazione Statistica

Per evitare interpretazioni soggettive dei cali di accuratezza, gli autori impiegano un test di permutazione non parametrico (tipo Welch) per determinare la significatività statistica della periodicità osservata, assicurando che i periodi identificati non siano artefatti del rumore.

Risultati Chiave

L'attacco è stato valutato su modelli open-source (varianti di Qwen-VL, InternVL) e modelli proprietari (GPT-4.1-mini, GPT-4o, Claude 3.7, Claude 4.5).

• Recupero dei Parametri: Il metodo ha recuperato con successo le dimensioni dei patch e i comportamenti di pre-elaborazione.
  • Qwen3-VL 30B: Ha identificato la risoluzione dinamica con $P=16$.
  • Claude 3.7: Ha identificato la risoluzione dinamica con $P=14$.
  • GPT-4.1-mini: Ha identificato la risoluzione dinamica con $P=16$.
  • GPT-4o: Ha identificato la pre-elaborazione a risoluzione fissa. Attraverso il processo in tre fasi, gli autori hanno inferito una risoluzione target $S=512$ e una dimensione del patch $P=16$.
• Robustezza: L'attacco è rimasto efficace anche quando i modelli utilizzavano strategie ignote di ridimensionamento, padding o risoluzione dinamica.
• Costo: L'attacco richiede circa $4.8 \times 10^4$ query (circa $10^7$ token) per intervalli di alta confidenza, costando circa $10\text{--}50$ dollari sotto i tipici prezzi delle API.

Significato e Implicazioni

L'articolo sostiene che il recupero di questi "dettagli di implementazione" non è un semplice esercizio accademico, ma un prerequisito per attacchi di sicurezza avanzati.

1. Attacchi di Trasferimento Consapevoli della Pre-elaborazione: Conoscere l'esatta pipeline di pre-elaborazione consente agli attaccanti di creare perturbazioni avversarie che evitano la distorsione (aliasing) causata dal ridimensionamento e dal padding, migliorando significativamente la trasferibilità.
2. Manipolazione Avversaria Mirata al Modello: Gli autori dimostrano che i parametri trapelati consentono la creazione di esempi avversari che manipolano selettivamente un modello specifico pur rimanendo benigni per altri modelli con pipeline differenti.
   • Prova Sperimentale: In un esperimento di attacco mirato sul dataset NIPS 2017, un attacco creato specificamente per GPT-4o (usando il suo $S=512, P=16$ recuperato) ha ottenuto un tasso di successo dell'86,5% su GPT-4o, mentre ha ridotto il tasso di successo su Claude 3.7 al 4,5%. Al contrario, un attacco mirato a Claude 3.7 ha avuto successo contro di esso (18,5%) pur fallendo contro GPT-4o.

Conclusione

Gli autori concludono che la patchificazione di tipo ViT crea una firma rilevabile nel comportamento black-box, rivelando configurazioni di deployment private. Sostengono che i "dettagli di implementazione" nel frontend visivo sono segreti rilevanti per la sicurezza. L'articolo suggerisce che mitigazioni come la pre-elaborazione randomizzata/stocastica, la tokenizzazione che preserva i bordi o i controlli sulle query sono necessari per prevenire tale fuga di parametri e la conseguente manipolazione mirata ai modelli.