Vision Token Manipulation Attacks on Cloud-Edge Inference of Large Vision-Language Models

Resumo Técnico: Ataques de Manipulação de Tokens de Visão em Inferência Nuvem-Borda de Grandes Modelos de Visão-Linguagem

Definição do Problema
O artigo aborda uma vulnerabilidade de segurança crítica em sistemas de inferência de Grandes Modelos de Visão-Linguagem (LVLM) Nuvem-Borda. Nesta arquitetura, dispositivos de borda com recursos limitados realizam a codificação visual leve e transmitem tokens de visão intermediários para servidores na nuvem, onde residem o codificador de texto computacionalmente intensivo e o backbone de Modelo de Linguagem Grande (LLM). Os autores identificam o link de comunicação entre a borda e a nuvem como uma nova e inexplorada superfície de ataque. Diferente dos ataques tradicionais direcionados a entradas visuais brutas (ex: perturbações adversárias) ou prompts de texto, este trabalho foca em Ataques de Manipulação de Tokens de Visão (VTM). O problema central é que um adversário, operando em um cenário de Homem-no-Meio (MitM) de caixa-preta, pode interceptar e manipular um subconjunto desses tokens de visão transmitidos. Como os tokens de visão são representações compactas e de alta dimensão que codificam conteúdo semântico, a manipulação deles pode interromper a compreensão do LVLM sobre relações espaciais e pistas semânticas, levando a falhas significativas de inferência sem que o atacante precise ter acesso aos pesos do modelo ou aos dados de imagem brutos.

Metodologia
Os autores propõem uma família de Ataques VTM sob um cenário de caixa-preta restrito, onde o adversário não possui acesso aos parâmetros do modelo nem na borda, nem na nuvem. O ataque está sujeito a duas restrições primárias:

1. Consistência Dimensional: Os tokens manipulados devem manter a forma original ($L_v \times d$) para evitar detecção imediata ou falha no pipeline.
2. Orçamento de Manipulação: O adversário pode modificar apenas um subconjunto de tokens ($I$), definido por uma Razão de Manipulação de Tokens ($\rho$), para manter a furtividade.

A metodologia é dividida em dois componentes:

1. Estratégias de Ataque Ingênuas: Os autores projetam quatro estratégias de manipulação de base aplicadas a tokens selecionados aleatoriamente:

   • Permutação (Baseada em Estrutura): Embaralha o arranjo posicional dos tokens selecionados preservando seus valores, interrompendo a consistência estrutural.
   • Mascaramento (Baseado em Valor): Zera os tokens selecionados, removendo o conteúdo informacional.
   • Perturbação Gaussiana (Baseado em Valor): Injeta ruído escalonado pela norma nos tokens selecionados para alterar sua magnitude e direção estocasticamente.
   • Inversão de Sinal (Baseado em Valor): Reverte a direção dos tokens selecionados no espaço de embedding ($\hat{v}_i = -v_i$) enquanto preserva sua norma. Isso cria um grande deslocamento no espaço de representação.

2. Seleção de Tokens Baseada em Otimização: Reconhecendo que a seleção aleatória é subótima, os autores propõem uma estratégia de otimização para identificar os tokens de visão mais influentes. Como a medição direta do impacto na distribuição de saída é intratável em um cenário de caixa-preta, eles utilizam a Disrupção de Autoatenção como um proxy. Eles formulam um objetivo para maximizar a discrepância entre as saídas de autoatenção dos tokens originais e manipulados ($L_{SA}$). Para evitar o viés de seleção para tokens de alta norma (que poderiam ser normalizados por camadas subsequentes), eles introduzem um termo de regularização consciente da norma ($L_{norm}$). O objetivo final maximiza $L_{SA} - \lambda L_{norm}$ usando ascensão de gradiente projetado para determinar o conjunto ideal de tokens a serem atacados, que são então atacados usando a estratégia de Inversão de Sinal.

Principais Contribuições

• Identificação de uma Nova Superfície de Ataque: O artigo define formalmente a interface de transmissão de tokens de visão nuvem-borda como uma superfície de ataque prática e vulnerável para LVLMs.
• Framework de Ataque VTM: Introduz uma família abrangente de ataques ao nível de token, incluindo tanto estratégias de manipulação baseadas em estrutura (permutação) quanto baseadas em valor (mascaramento, Gaussiana, inversão de sinal).
• Estratégia de Otimização: Propõe um método de seleção de tokens baseado em otimização que utiliza disrupção de autoatenção e regularização consciente da norma para aumentar significativamente a eficácia do ataque sob orçamentos limitados.
• Avaliação Empírica: O estudo fornece avaliações extensas em seis LVLMs de última geração (variando de 3B a 72B de parâmetros) e quatro benchmarks diversos (OCRBench, MMBench, HallusionBench, MathVista).

Resultados Experimentais
Os experimentos demonstram que a inferência de LVLM nuvem-borda é altamente vulnerável a Ataques VTM, mesmo com um baixo orçamento de manipulação ($\rho = 0.1$, ou 10% dos tokens):

• Severidade do Impacto: Manipular apenas 10% dos tokens pode reduzir a precisão em até 88,31%. Por exemplo, no benchmark MMBench, o ataque de Inversão de Sinal reduziu a precisão do Qwen2.5-VL-72B-Instruct de 88,39% para 0,23%.
• Eficácia da Inversão de Sinal: Entre as estratégias ingênuas, a Inversão de Sinal produziu consistentemente a degradação mais catastrófica, frequentemente colapsando o desempenho do modelo para precisão próxima de zero no MMBench e HallusionBench. Isso sugere que reverter a orientação semântica dos tokens é mais destrutivo do que embaralhar ou mascarar.
• Variância de Robustez do Modelo: Uma disparidade significativa de robustez foi observada entre as famílias de modelos. Os modelos Qwen2.5-VL exibiram degradação catastrófica sob vários ataques, enquanto os modelos InternVL3.5 demonstraram uma robustez consideravelmente maior. Além disso, as leis de escala foram inconsistentes; modelos InternVL maiores foram geralmente mais robustos, mas essa tendência não se manteve consistentemente para os modelos Qwen.
• Ganho de Otimização: A estratégia de seleção de tokens baseada em otimização ampliou ainda mais a eficácia do ataque em comparação com a seleção aleatória. Por exemplo, no HallusionBench, a estratégia de otimização melhorou a taxa de sucesso do ataque no InternVL3.5-4B e InternVL3.5-38B em 5,79% e 21,09%, respectivamente, em relação à seleção aleatória.

Significância
O artigo afirma que esses resultados revelam uma vulnerabilidade crítica na implantação de LVLMs em ambientes nuvem-borda. Os achados indicam que o link de comunicação que transmite representações intermediárias é um vetor de alto risco que tem sido amplamente negligenciado na literatura de segurança existente, que foca primariamente em ataques no espaço de entrada ou modalidades apenas de texto. O estudo ressalta que mesmo manipulações limitadas e furtivas de tokens de visão podem interromper fundamentalmente a interação visão-linguagem, levando à falha total de inferência. Isso destaca a necessidade urgente de protocolos de transmissão seguros e mecanismos de defesa robustos projetados especificamente para a camada de representação intermediária em sistemas distribuídos de LVLM.