Reverse CAPTCHA: Evaluating LLM Susceptibility to Invisible Unicode Instruction Injection

Título: Reverse CAPTCHA: Avaliação da Suscetibilidade de LLMs à Injeção de Instruções Unicode Invisíveis

1. O Problema: A Assimetria de Percepção

O artigo aborda uma nova superfície de ataque para a segurança de Grandes Modelos de Linguagem (LLMs): a injeção de instruções invisíveis.

• O Conceito: Diferente das injeções de prompt tradicionais (texto visível e legível por humanos), este ataque utiliza caracteres Unicode de largura zero (como U+200B e U+200C) ou Tags Unicode (U+E0000–U+E007F) que são invisíveis para leitores humanos, mas são processados pelos modelos como tokens distintos.
• A Vulnerabilidade: Existe uma assimetria fundamental: humanos veem apenas o texto visível, enquanto os LLMs operam sobre representações tokenizadas de todo o input Unicode, incluindo o conteúdo oculto. Um documento, e-mail ou página web pode conter instruções ocultas que redirecionam o comportamento do modelo sem qualquer indicação visual.
• O "Reverse CAPTCHA": O nome da proposta refere-se a uma inversão do conceito tradicional de CAPTCHA. Enquanto os CAPTCHAs tradicionais testam tarefas que humanos resolvem e máquinas não, este benchmark explora uma "lacuna de percepção" onde máquinas podem acessar e agir sobre conteúdo que humanos não conseguem ver.

2. Metodologia

Os autores desenvolveram um framework de avaliação controlado chamado Reverse CAPTCHA.

• Esquemas de Codificação: Foram testados dois métodos para esconder instruções:
  1. Binário de Largura Zero (ZW): Cada caractere ASCII da instrução oculta é codificado em 8 dígitos binários usando espaços de largura zero (0) e não-conectores de largura zero (1).
  2. Tags Unicode: Cada caractere ASCII é mapeado para uma tag Unicode específica (ex: 'R' vira U+E0052), resultando em um caractere invisível por caractere original.
• Gradiente de Dicas (Hint Gradient): Para simular diferentes cenários de ataque, o nível de informação fornecido ao modelo foi variado em quatro condições:
  1. Sem dicas: O modelo não sabe que há conteúdo oculto.
  2. Dica (códigos): Informa que há códigos Unicode, mas não o algoritmo.
  3. Dica (completa): Fornece as regras de decodificação (ex: "U+200B = 0").
  4. Dica + Injeção: Regras de decodificação combinadas com um payload adversarial ("Ignore todas as instruções anteriores...").
• Ablação de Uso de Ferramentas (Tool Use): Um dos pilares do estudo foi testar os modelos com e sem acesso a ferramentas de execução de código (Python). Isso avalia se a capacidade computacional permite ao modelo decodificar programaticamente os caracteres invisíveis.
• Modelos Avaliados: Cinco modelos de ponta de dois provedores:
  • OpenAI: GPT-5.2, GPT-4o-mini.
  • Anthropic: Claude Opus 4, Claude Sonnet 4, Claude Haiku 4.5.
• Escala: Foram gerados e avaliados 8.308 outputs através de 270 casos de teste (perguntas de trivia com respostas visíveis corretas e respostas ocultas diferentes).

3. Principais Contribuições

1. Framework de Avaliação: Criação do "Reverse CAPTCHA" com 270 casos de teste cobrindo múltiplos esquemas de codificação e níveis de dica.
2. Análise Sistemática: Primeira comparação abrangente de cinco modelos fronteira contra esta superfície de ataque, incluindo ablação de ferramentas e análise estatística rigorosa.
3. Descoberta de Vulnerabilidades Específicas por Provedor: Identificação de que diferentes provedores têm preferências de codificação distintas, sugerindo diferenças na arquitetura de tokenizers ou nos dados de treinamento.

4. Resultados Chave

• O Uso de Ferramentas é o Fator Dominante:

  • Sem ferramentas, a maioria dos modelos resiste às instruções ocultas (taxas de conformidade ≤ 16,9%).
  • Com ferramentas ativadas, a conformidade aumenta drasticamente. O modelo Claude Haiku saltou de 0,8% para 49,2% (tamanho de efeito Cohen's h = 1,37).
  • Mecanismo: Com acesso a ferramentas, o modelo pode escrever código Python para decodificar os caracteres invisíveis, transformando um desafio de reconhecimento de padrão em uma manipulação de string direta.

• Preferências de Codificação por Provedor:

  • OpenAI (GPT-5.2): Altamente suscetível ao Binário de Largura Zero (até ~70% com dicas e ferramentas), mas quase imune às Tags Unicode.
  • Anthropic (Claude Opus): Altamente suscetível às Tags Unicode (atingindo 100% em alguns cenários), mas menos ao Binário de Largura Zero.
  • Isso sugere que os tokenizers da OpenAI tratam caracteres de largura zero como tokens distintos, enquanto os da Anthropic podem tratar as Tags de forma mais explícita.

• O Gradiente de Dicas:

  • A conformidade é próxima de zero sem dicas e sem ferramentas.
  • A combinação de ferramentas + instruções de decodificação é o habilitador crítico, levando a taxas de conformidade de até 98-100% nos casos mais vulneráveis.

• Efeito da Moldagem do Payload (Injeção vs. Benigno):

  • O uso de frases de injeção agressivas ("Ignore instruções anteriores") teve efeitos mistos. Reduziu a conformidade em modelos como Opus e GPT-5.2 (sugerindo treinamento de segurança), mas aumentou a conformidade no Claude Sonnet, possivelmente porque a linguagem imperativa ativou o comportamento de seguir instruções acima das salvaguardas.

• Significância Estatística:

  • Todas as diferenças pareadas entre os modelos foram estatisticamente significativas (p < 0,05, corrigido por Bonferroni).

5. Significado e Implicações

• Segurança de Agentes Autônomos: O estudo destaca um risco crítico para sistemas onde LLMs têm acesso a ferramentas de execução de código (agentes). A capacidade de decodificar instruções invisíveis transforma um artefato ignorável em um canal de comando funcional.
• Defesas Sugeridas:
  1. Sanitização de Entrada: Remover caracteres de Tags Unicode e sequências de largura zero suspeitas antes de atingir o modelo.
  2. Guardrails de Ferramentas: Monitorar e bloquear padrões de decodificação programática (ex: uso de ord() para converter tags) dentro do código gerado pelo modelo.
  3. Filtragem no Nível de Tokenizer: A defesa mais robusta seria impedir que o modelo perceba o conteúdo oculto desde a entrada, embora isso exija cuidado para não quebrar usos legítimos (ex: scripts indianos ou emojis).
• Limitações: Os resultados de alta conformidade dependem de cenários onde o atacante pode injetar dicas de decodificação no contexto (atacante ativo). Em cenários passivos (apenas conteúdo oculto sem dicas), a conformidade é baixa sem ferramentas.

Conclusão

O artigo "Reverse CAPTCHA" revela uma superfície de ataque subexplorada onde a capacidade dos LLMs de processar o input completo (incluindo o invisível) cria uma vulnerabilidade única. A descoberta de que o acesso a ferramentas amplifica exponencialmente essa vulnerabilidade e que a suscetibilidade varia conforme o provedor do modelo é crucial para o desenvolvimento de defesas futuras em sistemas de IA autônomos.