Resumo Técnico: Sobre a Inseparabilidade de Instruções e Dados em Modelos de Sequência de Embedding Compartilhado

1. Declaração do Problema

O artigo aborda a vulnerabilidade persistente dos Grandes Modelos de Linguagem (LLMs) à injeção de prompt, onde adversários criam entradas de usuário que fazem o modelo desviar de suas instruções de sistema pretendidas. Embora a comunidade de pesquisa tenha proposto inúmeras defesas (ex: ajuste de instrução, guardrails, engenharia de representação), essas medidas falharam consistentemente em fornecer proteção robusta e de longo prazo. Os autores fazem uma pergunta fundamental: É a prevenção perfeita de injeção de prompt teoricamente possível dentro da atual arquitetura de embedding compartilhado dos transformers?

O problema central é o design arquitetônico onde instruções de sistema confiáveis e dados de usuário não confiáveis são processados através de um pipeline representacional compartilhado. Nessas arquitetias, ambos os inputs são mapeados para o mesmo espaço vetorial via uma função de embedding compartilhada, apagando qualquer distinção imutável entre "código" (instruções) e "dados" (input do usuário) uma vez que entram no modelo.

2. Metodologia e Estrutura Formal

2.1 O Modelo de Ação Promptada

Os autores formalizam o sistema como um Modelo de Ação Promptada $M = (\Sigma, d, E, f, A)$, onde:

• Embedding Compartilhado ($E$): Tanto as instruções confiáveis ($s$) quanto o conteúdo de usuário não confiável ($u$) são mapeados através da mesma função $E: \Sigma \to \mathbb{R}^d$.
• Espaço de Ação ($A$): Inclui geração de tokens e ações de controle autoritativas (recusas, invocação de ferramentas, roteamento de política, escrita de memória).
• Propriedade de Segurança (Controle Semanticamente Fiel - SFC): Os autores definem SFC como o requisito de que o comportamento de controle-autoritativo dependa apenas do conteúdo semântico do input não confiável, e não de variações semanticamente irrelevantes em sua codificação (ex: ofuscação, sufixos adversariais).

2.2 Abordagem Teórica

A prova de impossibilidade baseia-se em três pilares teóricos distintos:

1. Impossibilidade de Recuperação de Proveniência: Usando a distância de Variação Total (TV), os autores demonstram que, quando inputs confiáveis e não confiáveis compartilham um espaço de representação, o erro Bayes-ótimo para recuperar a origem (proveniência) de uma representação é estritamente diferente de zero, a menos que as distribuições sejam disjuntas.
2. Exposição do Caminho de Controle: Eles mostram que, nos mecanismos de atenção padrão, o conteúdo não confiável contribui para a agregação de valor de nós relevantes ao controle (aqueles que determinam recusas ou uso de ferramentas). Assim, os dados não confiáveis influenciam causalmente os outputs de controle.
3. Lacuna de Invariância de Cobertura Finita: Eles argumentam que, como as classes de equivalência semântica (ex: todas as codificações possíveis de uma requisição) são infinitas ou superpolinomiais, e os dados de treinamento são finitos, nenhum mecanismo operando exclusivamente dentro do pipeline compartilhado pode garantir invariância sobre todas as codificações possíveis.

3. Principais Contribuições

1. Formalização do Controle Semanticamente Fiel (SFC): O artigo define SFC como a propriedade de segurança mínima para sistemas agentes, distinguindo entre dependência semântica legítima (recusar requisições prejudiciais) e dependência representacional ilegítima (burlar recusas via truques de codificação).
2. O Teorema da Inseparabilidade: Os autores provam que, em qualquer arquitetura de embedding compartilhado que careça de separação forçada entre controle e dados, a SFC perfeita não pode ser garantida dentro do pipeline representacional compartilhado. Este é um resultado de impossibilidade, não uma crítica aos métodos de treinamento atuais.
3. Isomorfismo Estrutural com a Arquitetura Von Neumann: O artigo estabelece uma analogia precisa entre a injeção de prompt em LLMs e vulnerabilidades de buffer overflow em máquinas Von Neumann. Assim como a memória compartilhada permite que código e dados sejam confundidos (levando a overflows), os embeddings compartilhados permitem que instruções e dados de usuário sejam confundidos (levando à injeção de prompt).
4. Fundamentação Empírica: Os autores fornecem medições confirmando as suposições teóricas:
   • Sobreposição de Vocabulário: Os corpora de instrução e dados de usuário compartilham uma vasta maioria de tokens (cobertura de 61,5%–82,3%), garantindo colisões de embedding.
   • Sobreposição de Representação: As distribuições de estados ocultos para instruções e dados de usuário permanecem indistinguíveis (alta sobreposição MMD) mesmo em camadas profundas, particularmente em camadas relevantes para outputs de controle.
   • Contaminação Comportamental: Experimentos mostram que, mesmo quando os modelos recusam payloads prejudiciais, tokens não confiáveis alteram estados ocultos relevantes ao controle, mudando o enquadramento (framing) e o comprimento da saída, confirmando que o caminho de controle está exposto.

4. Resultados e Descobertas

• Impossibilidade de Prevenção Perfeita: O resultado central é que nenhum defesa operando exclusivamente dentro do pipeline representacional compartilhado (ex: melhores classificadores, ajuste de alinhamento ou filtragem in-pipeline) pode garantir a prevenção perfeita de injeção de prompt.
• O Papel do Treinamento: As defesas atuais (RLHF, guardrails) atuam como "patches" que melhoram o comportamento médio, mas não podem eliminar a vulnerabilidade estrutural. O artigo cita a ablação (cirurgia de pesos que remove capacidades de recusa) como evidência de que a segurança é codificada como uma direção frágil no espaço compartilhado, em vez de um circuito estruturalmente separado.
• Limitações de Marcadores de Posição/Segmento: O artigo demonstra que codificações posicionais e marcadores de segmento suaves (ex: [INST]) são insuficientes porque codificam localização, não proveniência imutável, e podem ser forjados por adversários.
• Limites Quantitativos: Os autores derivam um limite mostrando que, conforme o orçamento computacional de um adversário aumenta, a capacidade de distinguir representações confiáveis de adversariais aproxima-se de um palpite aleatório (a distância TV aproxima-se de 0).

5. Significância e Alegações

O artigo afirma que a injeção de prompt não é meramente um defeito a ser corrigido, mas uma vulnerabilidade estrutural inerente à arquitetura de embedding compartilhado.

• Analogia Arquitetônica: A significância reside em reenquadrar a injeção de prompt como análoga à confusão entre código e dados em máquinas Von Neumann. Assim como os buffer overflows exigiram uma defesa em camadas (canários de pilha, ASLR, bits NX) e, finalmente, linguagens seguras em termos de memória para conter o problema, a injeção de prompt requer a separação arquitetônica entre os canais de instrução e dados.
• Implicações para a Defesa: Os autores argumentam que confiar apenas em "melhor treinamento" ou "classificação in-pipeline" é insuficiente. Uma postura de defesa madura deve incluir:
  1. Mitigações Arquitetônicas: Impor a separação imutável entre controle confiável e conteúdo não confiável (ex: encoders disjuntos, atenção tipada).
  2. Proteções em Tempo de Execução: Defesas em camadas similares ao ASLR ou canários de pilha.
  3. Mudança de Paradigma de Longo Prazo: Mover-se em direção a paradigmas representacionais "semanticamente seguros" que eliminam a confusão de embedding compartilhado por construção.

O artigo conclui que, embora sistemas úteis não precisem ignorar o input do usuário, a prevenção perfeita é impossível sem impor a separação de controle no nível arquitetônico. Até que tal separação seja alcançada, a injeção de prompt permanece um risco irredutível em aplicações integradas com LLMs.