Resolution Thresholds in VLM Detection of Harmful ASCII Art Across Construction Modes and Languages

Resumo Técnico: Limiares de Resolução na Detecção de Arte ASCII Maliciosa por VLMs

Declaração do Problema
Modelos de Linguagem-Visão (VLMs) de grande escala estão sendo cada vez mais implantados para moderação de conteúdo, mas permanecem vulneráveis a ataques de "jailbreak", onde textos maliciosos são codificados como arte ASCII. Nesses ataques, atores adversários constroem imagens onde palavras prejudiciais são formadas por mosaicos de caracteres inócuos (ex: palavras positivas, símbolos ou emojis). Pesquisas anteriores indicam que os VLMs frequentemente falham em reconhecer o gestalt visual malicioso porque priorizam o significado semântico dos caracteres de preenchimento individuais em detrimento da forma macroestrutural. Embora trabalhos prévios tenham sugerido que o redimensionamento (downscaling) das imagens poderia forçar os modelos a atender à forma geral, nenhum estudo caracterizou sistematicamente como o "limiar de falha de detecção" — a escala de resolução acima da qual a detecção colapsa — varia entre diferentes modos de construção de arte ASCII, arquiteturas de VLM e idiomas de conteúdo (Inglês vs. Chinês).

Metodologia
Os autores conduziram um estudo empírico sistemático utilizando um pipeline customizado para gerar e avaliar imagens de arte ASCII maliciosas.

• Construção do Conjunto de Dados: O estudo utilizou corpora paralelos de palavras/frases maliciosas em inglês e chinês. Cada palavra foi renderizada em imagens de arte ASCII usando oito modos distintos de construção (L1–L8), variando de caracteres de bloco densos (L1) e símbolos simples (L2) até designs com palavras incorporadas (L5), emojis (L6), fragmentos de poemas positivos (L7) e palavras chinesas positivas (L8).
• Escalonamento de Resolução: As imagens foram geradas em dez escalas de resolução ($r \in \{0.1, \dots, 1.0\}$), onde 1.0 representa a referência de resolução total e valores menores representam o redimensionamento (downscaling).
• Avaliação: Oito VLMs de última geração (incluindo GPT-4o-mini, Gemini-3-Flash, Kimi-K2.5 e outros) foram consultados via API do OpenRouter. Os modelos foram instruídos a classificar a emoção da imagem (Negativa vs. Neutra/Positiva). Uma resposta "Negativa" foi tratida como uma detecção bem-sucedida do conteúdo malicioso, enquanto respostas Neutras/Positivas indicaram uma falha (bypass).
• Análise Estatística: O estudo empregou testes de tendência de Cochran–Armitage para verificar tendências de detecção monotônicas, regressão logística para estimar o limiar de 50% de falha de detecção ($\hat{r}_{0.5}$) com intervalos de confiança de 95%, e testes de Qui-quadrado/Exato de Fisher para comparar as taxas de detecção entre os corpora de inglês e chinês. A correção de Benjamini–Hochberg foi aplicada a todos os 763 testes estatísticos.

Principais Contribuições

1. Pipeline de Avaliação e Conjunto de Dados: A criação de um conjunto de dados abrangente abrangendo oito modos de construção, dez escalas de resolução, dois idiomas e oito VLMs.
2. Estimativa de Limiar: Estimativas estatisticamente fundamentadas de limiares de falha de detecção para cada combinação (modelo, modo), quantificando a resolução específica na qual os VLMs perdem a capacidade de perceber formas visuais maliciosas.
3. Análise Cross-Origin: Uma análise descritiva comparando os padrões de detecção de modelos construídos na China versus modelos construídos nos EUA/Ocidente no modo de preenchimento com palavras chinesas (L8), utilizando o modo de palavra em inglês (L5) como controle.

Principais Resultados

• Dependência de Resolução: As taxas de detecção diminuem drasticamente conforme a resolução aumenta para a maioria das combinações modelo-modo. Aproximadamente 60% dos estratos (modelo, modo) válidos mostraram uma tendência decrescente estatisticamente significativa. Isso confirma que imagens de alta resolução permitem que os VLMs foquem em caracteres de preenchimento benignos, causando falha de detecção, enquanto o redimensionamento força a atenção para a forma visual maliciosa.
• Hierarquia de Vulnerabilidade de Modo:
  • Mais Resistente: Modos de incorporação de palavras, particularmente palavras em inglês (L5), foram os mais difíceis de detectar, com uma taxa de detecção agregada de apenas 0.062. Esses modos criam um forte conflito de sinal duplo onde a semântica do nível de caractere suprime a percepção da forma.
  • Mais Detectável: Caracteres de bloco (L1) e emojis (L6) foram os mais fáceis de detectar (taxas agregadas > 0.40), provavelmente devido à sua densidade visual ou distintividade.
  • Intermediário: Palavras chinesas (L8) mostraram detectabilidade intermediária (0.206), performando melhor que palavras em inglês, mas pior que blocos.
• Heterogeneidade de Modelos: O desempenho variou significamente entre os modelos. Gemini-3-Flash e Kimi-K2.5 demonstraram as capacidades de detecção mais fortes com limiares bem definidos. Por outro lado, o Mistral-Small-3.2-24B-Instruct falhou em detectar conteúdo malicioso na maioria dos modos (taxas próximas de zero), e o Llama-4-Maverick e o Nemotron-Nano mostraram baixo desempenho basal. O Grok-4.1-Fast exibiu um padrão único de ser menos sensível a mudanças de resolução do que outros modelos.
• Achados Cross-Language: Após múltiplas correções de comparação, apenas 4,7% dos estratos mostraram diferenças significativas entre as taxas de detecção de inglês e chinês, sugerindo que a vulnerabilidade de detecção por resolução é amplamente agnóstica ao idioma.
• Efeitos de Origem do Modelo: Um padrão descritivo de "crossover" foi observado no modo L8 (palavras chinesas): modelos construídos na China superaram os modelos construídos no Ocidente em baixas resoluções, mas foram superados em altas resoluções. Os autores hipotetizam que isso se deve à maior sensibilidade dos modelos construídos na China ao texto em chinês, o que faz com que eles leiam os caracteres de preenchimento benignos em altas resoluções, suprimindo assim o sinal de afeto negativo. Esse efeito não foi observado no modo de palavra em inglês (L5).

Significância e Alegações
O artigo afirma identificar uma dimensão de vulnerabilidade específica e subexplorada na moderação de conteúdo baseada em VLM: a resolução. Os achados revelam que a resolução é uma variável de primeira ordem que determina o sucesso da detecção, não meramente um parâmetro secundário de qualidade de imagem. O estudo estabelece que:

1. Existe um limiar de falha de detecção consistente acima do qual os VLMs não conseguem identificar de forma confiável a arte ASCII maliciosa.
2. Modos de construção com incorporação de palavras representam um vetor de ataque particularmente robusto que os atuais VLMs lutam para combater, mesmo em resolução total.
3. Não existe um limiar de resolução único que se generalize para todos os modelos; os sistemas de moderação devem caracterizar o perfil de vulnerabilidade específico do VLM implantado.

Os autores declaram explicitamente que este não é um artigo de defesa; eles não propõem novos modelos ou estratégias de mitigação. Em vez disso, o trabalho serve como uma caracterização da vulnerabilidade para motivar o desenvolvimento de padrões de avaliação conscientes da resolução e futuras estratégias defensivas, como o redimensionamento de entradas antes da moderação ou o treinamento de modelos em arte ASCII redimensionada.