Resumo Técnico: Roubando o Tamanho do Patch: Manipulação Adversária de Modelos de Visão-Linguagem

Declaração do Problema

Modelos de Visão-Linguagem (VLMs) implantados dependem de pipelines de pré-processamento visual complexos e, frequentemente, não documentados. Esses pipelines incluem escolhas críticas de design arquitetural e de sistema, como o tamanho do patch visual ($P$), estratégias de redimensionamento de entrada, regras de preenchimento (padding)/crop e resoluções alvo ($S$). Embora esses parâmetros impactem significativamente a eficiência, a precisão e a robustez do modelo, eles são tipicamente tratados como informações privadas de implantação e não são divulgados via APIs ou documentação.

Este artigo aborda um "ponto cego" em VLMs de caixa-preta: a incapacidade desses modelos de realizar tarefas triviais (como contar células de uma grade) quando ocorrem alinhamentos estruturais específicos entre a imagem de entrada e a grade de tokenização interna do modelo. Os autores postulam que essas falhas não são aleatórias, mas constituem um canal lateral determinístico de nível de tarefa induzido pela patcheação (patchification) do tipo ViT. A questão central de pesquisa é se os parâmetros arquiteturais e de pré-processamento privados de VLMs de caixa-preta podem ser recuperados sistematicamente apenas através de acesso à API, sem acesso a gradientes, ativações internas ou dados de treinamento.

Metodologia

O ataque proposto, denominado Correspondência de Tamanho de Patch (PSM - Patch-Size Matching), explora a relação geométrica entre os limites da grade de entrada e a grade de patches interna do modelo.

1. O Mecanismo: Correspondência de Tamanho de Patch (PSM)

A maioria dos VLMs tokeniza imagens usando um Vision Transformer (ViT) que particiona as entradas em patches não sobrepostos de $P \times P$.

• O Fenômeno: Quando uma imagem de grade sintética com tamanho de célula $D$ é processada, se o tamanho de célula efetivo no espaço de entrada do tokenizador ($D_{eff}$) for um múltiplo inteiro do tamanho do patch ($D_{eff} = kP$), os limites da grade caem exatamente entre os patches.
• A Consequência: Como o interior de cada célula da grade possui uma cor constante, os patches que caem inteiramente dentro de uma célula não contêm informações de borda. O processo de tokenização suprime as pistas de borda, fazendo com que o modelo se torne "cego" à estrutura da grade.
• O Sinal: À medida que o tamanho da célula da grade $D$ é varrido (swept), a precisão do modelo em uma tarefa de contagem de grade exibe quedas periódicas (vales) sempre que $D_{eff}$ se alinha com um múltiplo de $P$.

2. O Ataque de Caixa-Preta em Três Estágios

Os autores propõem um procedimento sistemático para recuperar parâmetros ocultos sob condições desconhecidas de redimensionamento e preenchimento:

• Estágio 1: Varredura Sem Preenchimento (Resolução Dinâmica vs. Fixa)
  O atacante consulta o modelo com imagens de grade de vários tamanhos de célula $D$ sem preenchimento.

  • Se o modelo utiliza resolução dinâmica, as vales de precisão periódica aparecem diretamente, permitindo a inferência direta do tamanho do patch $P$ a partir do período das quedas.
  • Se o modelo utiliza resolução fixa (redimensionando entradas para um alvo $S$), a periodicidade é obscurecida porque $D$ é reescalonado de forma não linear.

• Estágio 2: Restaurando a Periodicidade via Preenchimento com Zero (Zero-Padding)
  Para modelos suspeitos de usar resolução fixa, o atacante incorpora a imagem da grade em uma tela (canvas) maior de $L \times L$ usando preenchimento com zero (ancorando o conteúdo no canto superior esquerdo).

  • Isso introduz um fator de escala controlável. Se o modelo redimensionar $L \times L$ para um alvo fixo $S$, o tamanho de célula efetivo torna-se $D_{eff} = (S/L)D$.
  • Ao varrer $D$ para diferentes tamanhos de tela $L$, o atacante observa que o período das quedas de precisão $T(L)$ escala linearmente com $L$.
  • Isso permite a recuperação da razão de escala $S/P$ via relação $S/P = L/T(L)$.

• Estágio 3: Verificação de Consistência para Resolução Alvo
  O Estágio 2 fornece um conjunto de candidatos para $(S, P)$. Para identificar a verdadeira resolução alvo $S$:

  • O atacante realiza um teste de hipótese comparando a consistência da saída do modelo.
  • A lógica é que, se o alvo interno do modelo for $S$, o pré-redimensionamento de uma imagem para $S$ antes da consulta deve gerar respostas mais consistentes com a consulta original do que o pré-redimensionamento para um candidato incorreto $S'$.
  • Um torneio estatístico seleciona o $S$ único que maximiza consistentemente a consistência da resposta.

3. Validação Estatística

Para evitar interpretações subjetivas das quedas de precisão, os autores empregam um teste de permutação não paramétrico (estilo Welch) para determinar a significância estatística da periodicidade observada, garantindo que os períodos identificados não sejam artefatos de ruído.

Resultados Principais

O ataque foi avaliado em modelos de código aberto (variantes Qwen-VL, InternVL) e modelos proprietários (GPT-4.1-mini, GPT-4o, Claude 3.7, Claude 4.5).

• Recuperação de Parâmetros: O método recuperou com sucesso os tamanhos de patch e comportamentos de pré-processamento.
  • Qwen3-VL 30B: Identificou resolução dinâmica com $P=16$.
  • Claude 3.7: Identificou resolução dinâmica com $P=14$.
  • GPT-4.1-mini: Identificou resolução dinâmica com $P=16$.
  • GPT-4o: Identificou pré-processamento de resolução fixa. Através do processo de três estágios, os autores inferiram uma resolução alvo de $S=512$ e um tamanho de patch de $P=16$.
• Robustez: O ataque permaneceu eficaz mesmo quando os modelos empregaram redimensionamento, preenchimento ou estratégias de resolução dinâmica desconhecidos.
• Custo: O ataque requer aproximadamente $4.8 \times 10^4$ consultas (cerca de $10^7$ tokens), custando cerca de \10\text{--}$50$ sob preços típicos de API.

Significância e Implicações

O artigo afirma que recuperar esses "detalhes de implementação" não é meramente um exercício acadêmico, mas um pré-requisito para ataques de segurança avançados.

1. Ataques de Transferência Conscientes do Pré-processamento: Conhecer o pipeline de pré-processamento exato permite que atacantes criem perturbações adversárias que evitem a distorção (aliasing) causada pelo redimensionamento e preenchimento, melhorando significativamente a transferibilidade.
2. Manipulação Adversária Direcionada ao Modelo: Os autores demonstram que os parâmetros vazados permitem a criação de exemplos adversários que manipulam seletivamente um modelo específico enquanto permanecem benignos para outros com pipelines diferentes.
   • Prova Experimental: Em um experimento de ataque direcionado no dataset NIPS 2017, um ataque criado especificamente para o GPT-4o (usando seu $S=512, P=16$ recuperado) alcançou uma taxa de sucesso de 86,5% no GPT-4o, enquanto reduziu a taxa de sucesso no Claude 3.7 para 4,5%. Inversamente, um ataque direcionado ao Claude 3.7 teve sucesso contra ele (18,5%) enquanto falhou contra o GPT-4o.

Conclusão

Os autores concluem que a patcheação do tipo ViT cria uma assinatura detectável no comportamento de caixa-preta, vazando configurações privadas de implantação. Eles argumentam que os "detalhes de implementação" no front-end de visão são segredos relevantes para a segurança. O artigo sugere que mitigações como pré-processamento randômico/estocástico, tokenização preservadora de bordas ou controles de consulta são necessários para evitar tal vazamento de parâmetros e as subsequentes manipulações direcionadas ao modelo.