Resumo Técnico: Injeção de Papel Estrutural em Prompts de LLM com Templates Handlebars

Declaração do Problema

Aplicações de Grandes Modelos de Linguagem (LLM) frequentemente constroem prompts usando mecanismos de templating, sendo o Handlebars uma escolha dominante (por exemplo, o padrão no Microsoft Semantic Kernel). O Handlebars oferece dois modos de interpolação: o de chaves duplas {{x}} (que aplica escape de HTML) e o de chaves triplas {{{x}}} (que insere dados brutos/raw). O modo de chaves duplas é documentado como o padrão "seguro", projetado para prevenir Cross-Site Scripting (XSS) em contextos HTML ao escapar caracteres como <, >, &, " e '.

O artigo identifica uma lacuna de segurança crítica: a injeção de papel estrutural (structural role injection). Os papéis de chat (System, User, Assistant) em LLMs são frequentemente delimitados por padrões de texto específicos (ex: ``, [INST], Human:). Se um atacante controla os dados injetados em um slot de template, ele pode incorporar esses delimitadores para forjar um turno de maior privilégio, sobrepondo as instruções do desenvolvedor. A questão central é se o escape de HTML do Handlebars neutraliza efetivamente esses delimitadores estruturais. O artigo postula que, como o escape de HTML visa um conjunto específico de caracteres (parênteses angulares), ele pode falhar em proteger contra delimitadores que dependem de outros caracteres (colchetes, dois pontos, cerquilhas de Markdown), deixando os desenvolvedores com uma falsa sensação de segurança.

Metodologia

O estudo emprega uma abordagem de camada dupla combinando análise estática e avaliação empírica em quatro modelos (GPT-3.5 Turbo, GPT-4o mini, GPT-4.1 mini e Claude Haiku 4.5).

1. Análise Diferencial Estática (Independente de Modelo):

   • Os autores analisam sete famílias de delimitadores: plain (instrução pura), Markdown (###), Anthropic (Human:/Assistant:), Llama-2 ([INST], <<SYS>>), ChatML (``), Llama-3 (<|start_header_id|>) e XML (<system>).
   • Eles medem a "taxa de sobrevivência" dos tokens de controle de papel ao passarem pelo escapeExpression do Handlebars. Isso determina quais delimitadores são reescritos (neutralizados) e quais permanecem byte-idênticos (intactos).

2. Avaliação Empírica:

   • Escopo: 5.760 tentativas em 16 cenários (cobrindo 8 categorias de aplicação como sumarização e QA), 7 famílias de delimitadores e 2 objetivos de ataque.
   • Objetivos de Ataque:
     • Sequestro de Tarefa (Task Hijack): Instruir o modelo a abandonar sua tarefa e gerar um token marcador específico.
     • Exfiltração de Segredo (Secret Exfiltration): Instruir o modelo a revelar um segredo "canário" plantado na instrução do sistema (um objetivo mais difícil devido ao treinamento de alinhamento).
   • Variáveis: O estudo alterna o slot do Handlebars entre os modos raw ({{{document}}}) e escaped ({{document}}), mantendo a instrução de sistema confiável constante.
   • Métricas: Taxa de Sucesso de Ataque (ASR) com intervalos de confiança de Wilson de 95%, analisada usando o teste exato de Fisher.

Principais Contribuições

• Isolamento de Mecanismo Estático: O artigo fornece uma análise independente de modelo demonstrando que o escape do Handlebars é incidental em vez de abrangente. Ele neutraliza famílias de parênteses angulares (ChatML, Llama-3, XML), mas deixa famílias de colchetes (Llama-2), dois pontos (Anthropic) e Markdown completamente intactas.
• Proteção Condicional: O estudo estabelece que o padrão escapado "seguro" protege apenas contra esquemas de delimitadores específicos. Para famílias onde os tokens sobrevivem ao escape (ex: Human: ou [INST]), os modos escaped e raw são funcionalmente idênticos em relação ao risco de injeção.
• Validação Empírica: Através de 5.760 tentativas, os autores confirmam que o escape reduz o ASR apenas quando:
  1. A família de delimitadores é neutralizada pelo escape de HTML.
  2. O modelo não está "saturado" (ou seja, suscetível a seguir instruções puras sem enquadramento estrutural).
• Gradiente de Suscetibilidade do Modelo: A pesquisa destaca que a identidade do modelo é um preditor de risco mais forte do que a escolha do templating. Por exemplo, o Claude Haiku 4.5 resistiu a ambos os objetivos quase inteiramente, enquanto o GPT-3.5 Turbo e o GPT-4.1 mini foram altamente suscetíveis, independentemente do escape.

Resultados

• Taxas de Sobrevivência:
  • 0.00 Sobrevivência (Totalmente Neutralizado): ChatML, Llama-3, XML.
  • 1.00 Sobrevivência (Totalmente Intacto): Markdown, Anthropic.
  • 0.33 Sobrevivência (Misto): Llama-2 (sobrevive devido ao [INST], neutralizado devido ao <<SYS>>).
• Taxas de Sucesso de Ataque (ASR):
  • GPT-3.5 Turbo: Mostrou alta suscetibilidade (97% raw, 91% escaped para hijack). O efeito do escape foi visível apenas na família Llama-2 (caindo de 88% para 52%) porque outras famílias já estavam no teto ou totalmente neutralizadas.
  • GPT-4o mini: Demonstrou uma interação mais clara. Famílias de parênteses angulares (Llama-3, XML) viram quedas significativas de ASR com o escape (ex: Llama-3 caiu de 56% para 12%), enquanto famílias de dois pontos/Markdown permaneceram altas (100% e ~88%, respectivamente).
  • Claude Haiku 4.5: Resistiu a todos os ataques (0% ASR) tanto no modo raw quanto no escaped, tornando a escolha de templating irrelevante para este modelo.
• Exfiltração de Segredo: Este objetivo mais difícil não saturou os modelos, revelando de forma mais limpa a interação entre o escape e as famílias de delimitadores. O escape reduziu o vazamento apenas para as famílias neutralizadas (ex: Llama-3 e XML) e teve efeito zero nas famílias sobreviventes (Anthropic, Markdown).

Significância e Alegações

O artigo conclui que o padrão escapado do Handlebars não é um controle de injeção de prompt. Sua proteção é um subproduto do escape de HTML que coincide com o tratamento de parênteses angulares, não um design de defesa para delimitadores estruturais de LLM.

• Falsa Segurança: Desenvolvedores que confiam no padrão "seguro" documentado estão protegidos contra alguns esquemas (ChatML), mas completamente expostos a outros (Anthritopic, Markdown, Llama-2), sem qualquer aviso na documentação.
• Separação Estrutural é Necessária: O artigo argumenta que escolhas de templating não podem substituir a separação estrutural. Uma defesa eficaz requer a separação de instruções de dados em canais distintos, o treinamento de modelos para respeitar hierarquias de instrução ou a codificação explícita de spans não confiáveis de acordo com as regras de delimitadores do formato de chat específico.
• Dependência do Modelo: O perfil de risco é determinado mais pela suscetibilidade inerente do modelo do que pelo modo de escape do mecanismo de templating. Um modelo suscetível a instruções puras será sequestrado independentemente do escape; um modelo resistente permanecerá seguro.

Os autores enfatizam que, embora o padrão escapado deva permanecer habilitado (pois é inofensivo e útil para contextos HTML), ele não deve ser confiado como a única defesa contra injeção de papel estrutural em aplicações de LLM.