SCAM: A Real-World Typographic Robustness Evaluation for Multimodal Foundation Models

Este artigo apresenta o SCAM, o maior e mais diversificado conjunto de dados de ataques tipográficos do mundo real, demonstrando que tais ataques comprometem significativamente o desempenho dos modelos fundacionais multimodais e fornecendo insights sobre como a arquitetura do modelo e o uso de backbones de linguagem maiores podem mitigar essa vulnerabilidade.

O essencial

Imagine que você tem um robô superinteligente, um "olho e cérebro" artificial, capaz de olhar para uma foto e dizer exatamente o que está vendo. Se você mostrar uma foto de um relógio, ele diz: "Isso é um relógio!". Parece perfeito, certo?

Mas os autores deste artigo descobriram que esse robô tem uma fraqueza curiosa: ele é muito distraído por bilhetes de papel.

Aqui está a explicação simples do que eles descobriram, usando analogias do dia a dia:

1. O Problema: O "Golpe do Bilhete" (SCAM)

Os pesquisadores criaram um novo tipo de teste chamado SCAM (que significa "Ataques Sutis de Caracteres em Modelos Multimodais").

• A Analogia: Pense no robô como um turista em uma cidade nova. Se ele vê uma placa de "Pare" (Stop), ele sabe que é um sinal de trânsito. Mas, se alguém colar um post-it (aquele papelzinho amarelo de escritório) ao lado da placa escrito "PIZZA", o turista confuso pode começar a achar que aquilo é uma pizzaria, ignorando o que a placa real diz.
• O que aconteceu: Eles tiraram fotos de objetos reais (como um relógio, uma cadeira ou um carro) e colaram um post-it ao lado com uma palavra que não tem nada a ver com o objeto (ex: um post-it escrito "TÁXI" ao lado de um relógio).
• O Resultado: Quando mostraram essas fotos para os robôs (os modelos de Inteligência Artificial), a maioria deles ficou completamente confusa. Em vez de dizer "é um relógio", eles disseram "é um táxi" só porque leram a palavra no papel. O robô deu mais valor ao texto do que à imagem real!

2. O Banco de Dados: A "Caixa de Brincadeiras"

Antes desse trabalho, os cientistas tinham poucos exemplos desse tipo de truque. Era como tentar aprender a dirigir com apenas 3 carros.

• A Solução: Eles criaram o SCAM, que é como uma "caixa de brinquedos" gigante e diversificada. Eles tiraram 1.162 fotos reais, com objetos variados (de animais a ferramentas) e palavras escritas à mão por pessoas diferentes.
• Por que é importante? Isso permite testar os robôs em cenários do mundo real, não apenas em fotos de computador perfeitas. Eles também criaram duas versões extras: uma sem o bilhete (para ver como o robô deveria se comportar) e uma versão digital (simulada) para ver se o computador consegue imitar o mundo real.

3. O Que Eles Descobriram?

Ao testar dezenas de modelos de IA (como o GPT-4, Claude, LLaVA, etc.), eles viram algumas coisas interessantes:

• Robôs Pequenos vs. Grandes: Os robôs menores (com cérebros menos potentes) foram os que mais sofreram. Eles se deixaram enganar facilmente.
• O Poder do "Cérebro" (LLM): Eles descobriram que, se você colocar um "cérebro" de linguagem muito grande e inteligente por trás da "câmera" do robô, ele fica mais esperto. É como ter um turista que não só vê a placa, mas também sabe ler o bilhete e pensar: "Espera aí, isso é um relógio, o bilhete deve ser uma piada". Quanto maior o cérebro de linguagem, menos o robô se confunde.
• O "Olho" é o Fraco: A parte que vê a imagem (o encoder de visão) é a mais vulnerável. Se o "olho" do robô for fraco, ele não consegue ignorar a distração do bilhete.
• O Mundo Real vs. Simulado: Uma descoberta legal foi que os truques feitos no computador (digitais) funcionam quase tão bem quanto os feitos à mão com papel real. Isso é ótimo para os cientistas, pois podem testar defesas mais rápido no computador sem precisar colar post-its em tudo.

4. Por que isso importa?

Imagine um carro autônomo (que dirige sozinho). Se alguém colar um post-it escrito "ESCOLA" ao lado de um sinal de "PARE" na estrada, e o carro for enganado, ele pode não parar quando deveria, ou parar onde não precisa. Isso é perigoso.

A mensagem principal do artigo é: Nossas IAs são muito boas em ver, mas ainda são muito fáceis de enganar com texto.

Resumo em uma frase

Os pesquisadores criaram um grande teste de "distração visual" para mostrar que, embora nossas IAs sejam inteligentes, elas ainda podem ser enganadas se alguém escrever uma palavra falsa perto de um objeto, e que a única maneira de corrigir isso é tornando o "cérebro" da IA muito mais esperto para entender o contexto, e não apenas a imagem.

Eles liberaram todo esse material (fotos e código) para que outros cientistas possam ajudar a criar robôs mais seguros e que não se deixem enganar por bilhetes amarelos!

Resumo técnico

1. O Problema

Os Modelos Fundacionais Multimodais (como VLMs e LVLMs) demonstraram desempenho excepcional em tarefas de classificação de imagens, recuperação e geração. No entanto, pesquisas recentes revelaram uma vulnerabilidade crítica: ataques tipográficos.

• Mecanismo do Ataque: Esses ataques exploram a dependência excessiva dos modelos na componente textual. Ao inserir texto legível (mas semanticamente enganoso) dentro de uma imagem, os modelos tendem a ignorar o conteúdo visual real e classificar a imagem com base no texto inserido.
• Limitação Atual: A maioria dos conjuntos de dados existentes para estudar essa vulnerabilidade é sintética, pequena ou carece de diversidade. Isso dificulta a avaliação robusta de como esses modelos falham em cenários do mundo real, onde o texto pode aparecer em adesivos, placas ou notas manuscritas em contextos variados.

2. Metodologia e Contribuições Principais

Os autores introduzem o SCAM (Subtle Character Attacks on Multimodal Models), que é, até o momento, o maior e mais diversificado conjunto de dados de ataques tipográficos do mundo real.

A. O Conjunto de Dados SCAM

• Escala e Diversidade: Contém 1.162 imagens cobrindo 660 rótulos de objetos distintos e 206 palavras de ataque únicas (formando 1.147 combinações únicas).
• Coleta Realista: As imagens foram coletadas por nove colaboradores em diversos ambientes (interiores, exteriores, lojas, tráfego) usando diferentes smartphones. O texto de ataque é manuscrito em notas adesivas (post-its) colocadas ao lado dos objetos, simulando cenários cotidianos e de segurança crítica (ex: "pedestre", "não vire à esquerda").
• Tríade de Dados: O dataset oferece três variações alinhadas para cada cena, permitindo uma avaliação causal precisa:
  1. SCAM: A imagem original com o ataque tipográfico real.
  2. NoSCAM: A mesma imagem, mas com o texto de ataque removido (limpo), servindo como baseline.
  3. SynthSCAM: A imagem limpa com o texto de ataque reintroduzido digitalmente (usando a fonte Roboto), permitindo comparar ataques reais vs. sintéticos.

B. Protocolo de Avaliação

Os autores realizaram um benchmark extensivo em 99 modelos, incluindo:

• VLMs (Vision-Language Models): Modelos como CLIP e SigLIP, avaliados em tarefas de classificação zero-shot (calculando a similaridade de cosseno entre a imagem e os rótulos de texto).
• LVLMs (Large Vision-Language Models): Modelos como LLaVA, Gemma3, Llama4, GPT-4o e Claude, avaliados através de prompts generativos de classificação.

3. Resultados Chave

Impacto na Precisão

• Queda Drástica: Os ataques tipográficos causam uma queda média de 26 pontos percentuais na precisão dos VLMs. Em alguns casos (como o modelo RN50), a precisão cai de ~97% para ~36%.
• Eficácia dos Ataque Sintéticos: Os ataques sintéticos (SynthSCAM) são tão eficazes quanto os ataques do mundo real (SCAM), validando o uso de dados sintéticos para pesquisas escaláveis de robustez.

Fatores que Influenciam a Vulnerabilidade

1. Dados de Treinamento: Modelos treinados em conjuntos de dados específicos (como LAION-2B) mostraram-se mais vulneráveis do que aqueles treinados em variantes filtradas do CommonPool. A filtragem baseada em similaridade de embeddings pode propagar a vulnerabilidade.
2. Arquitetura:
   • Modelos baseados em ViT (Vision Transformer) são geralmente mais resilientes que os baseados em ResNet, mas tornam-se mais vulneráveis à medida que o tamanho do patch diminui.
   • O SigLIP demonstrou maior robustez em comparação ao CLIP padrão.
3. Tamanho do Modelo (LLM Backbone):
   • Em LVLMs, a vulnerabilidade é frequentemente herdada do codificador de visão. Modelos menores (ex: LLaVA-8b) sofrem quedas massivas de precisão (>40-60%).
   • Fator Crítico: O uso de backbones de LLM maiores (ex: LLaVA-34b, GPT-4o) reduz significativamente a suscetibilidade aos ataques, mesmo que o codificador de visão permaneça o mesmo. Isso sugere que a capacidade de raciocínio e compreensão do LLM pode compensar as falhas do codificador visual.
4. Tamanho do Ataque: Existe uma correlação forte entre a área ocupada pela nota adesiva e a queda de precisão; quanto maior o texto, maior o impacto negativo.

4. Significado e Conclusão

• Validação de Dados Reais: O SCAM prova que ataques tipográficos do mundo real são uma ameaça tangível e generalizada para modelos multimodais, não apenas um problema teórico de dados sintéticos.
• Direção para Robustez: O estudo indica que simplesmente trocar o codificador de visão por um mais robusto não é suficiente se a integração for ingênua. A solução mais promissora identificada é o uso de backbones de LLM maiores e mais capazes, que melhoram tanto a compreensão tipográfica quanto a robustez contra ataques.
• Aplicações Críticas: Dado o uso crescente de VLMs em sistemas de direção autônoma e diagnósticos médicos, a vulnerabilidade a textos enganosos representa um risco de segurança significativo.
• Recursos Abertos: Os autores disponibilizaram publicamente o dataset SCAM (e suas variações), o código de avaliação e os resultados completos, estabelecendo um novo padrão para a avaliação de segurança em IA multimodal.

Em resumo, o trabalho demonstra que, embora os modelos multimodais de ponta sejam suscetíveis a ataques tipográficos, a arquitetura do modelo (especificamente a força do LLM) e a qualidade dos dados de treinamento são determinantes para mitigar essas falhas.