Resumo Técnico: Escondendo-se em Floats Comuns

Declaração do Problema

As defesas atuais contra injeção de prompt indireta e injeção de conteúdo em pipelines de Grandes Modelos de Linguagem (LLMs) baseiam-se em uma premissa central: que os sinais maliciosos são visíveis como texto dentro das visualizações de dados inspecionadas (configuração bruta ou relatórios reconstruídos). Defesas como Prompt Guard, Llama Guard, portões de regex de esquema e spotlighting operam escaneando strings em busca de instruções imperativas ou padrões de ataque conhecidos.

Este artigo identifica um modo de falha onde essa premissa se quebra. Os autores demonstram que, em pipelines que expõem canais numéricos auxiliares reconstruídos (ex: parâmetros de geração procedural, arrays de embeddings ou uniforms de shader) a um LLM, payloads maliciosos podem ser transportados como parâmetros de float estruturados. Quando reconstruídos, esses payloads podem aparecer como telemetria fragmentada (ex: dumps hex) em vez de prosa contígua. Consequentemente, camadas de inspeção baseadas apenas em texto falham em detectar o sinal malicioso porque o sinal não é visível como texto até que já tenha entrado no contexto do modelo, ou não é visível como texto de forma alguma nas visualizações inspecionadas.

Metodologia

Modelo de Ameaça

O estudo foca em um pipeline onde um ativo estruturado submetido pelo usuário (ex: configuração de geração procedural) é reconstruído por um parser confiável em um relatório legível por humanos, que é então resumido ou analisado por um LLM.

• Atacante: Controla os arrays numéricos e campos de ativos upstream, mas não controla o código de reconstrução, os prompts de sistema ou os pesos do modelo.
• Defensor: Pode inspecionar a configuração bruta upstream, o relatório reconstruído, ou ambos, usando portões de regex, classificadores prontos para uso ou modelos ajustados (fine-tuned).
• Objetivo: Determinar se a inspeção baseada apenas em texto pode detectar ataques onde o payload está escondido em arrays de floats e reconstruído como dados não-prosa.

Portadores Esteganográficos

Os autores introduzem dois portadores novos e um portador de ablação para testar os limites de detecção:

1. T2 (Esteganografia de Coeficiente Espectral): Codifica caracteres de payload nos dígitos decimais baixos de valores float que representam coeficientes harmônicos. A configuração bruta não contém texto, mas a reconstrução decodifica esses floats de volta em prosa contígua dentro de uma "Nota de Análise Espectral".
2. T3 (Portador de Array de Float derivado de IFS): Usa um Sistema de Função Iterada (IFS) para conduzir um mapa de contração com bytes de payload. A trajetória resultante $(x, y)$ é armazenada como dois arrays de floats coordenados.
   • Contramedidas: Para reduzir a separabilidade de primeira ordem em relação aos dados harmônicos uniformes, os autores aplicam:
     • Whitening (Branqueamento): XORing dos bytes de payload com um fluxo pseudorandom para remover o viés de frequência de caracteres.
     • Jitter Limitado: Adição de ruído determinístico ($\epsilon \sim U[-0.04, 0.04]$) às coordenadas.
     • Embaralhamento Determinístico: Permutação do array para quebrar sinais de autocorrelação sequencial.
   • Reconstrução: O payload é decodificado e renderizado como um dump hex no estilo xxd (16 bytes por linha) com uma barra lateral ASCII. Este formato não contém prosa contígua, apenas strings hex fragmentadas.
3. T1b-abl (Ablação): Armazena o payload como prosa pura na configuração bruta, mas o reconstrói como um dump hex (idêntico ao formato de reconstrução do T3). Isso isola o efeito da fragmentação da camada de reconstrução.

Configuração Experimental

• Modelos: Três LLMs comerciais (OpenAI GPT-5.4, Google Gemini 3.1 Flash-Lite, Anthropic Claude Sonnet 4.6).
• Defesas: Quatro configurações: Nenhuma, Boundary Prompt (endurecimento de prompt de sistema), Schema Gate (regex no relatório reconstruído) e um Ensemble de Classificador de Camada Dupla (Prompt Guard 2 + TF-IDF ajustado no texto de payload do estudo).
• Escala: 14.400 tentativas atacadas e 4.800 tentativas limpas através de três modelos.
• Métricas:
  • Leakage ASR: Presença de strings alvo na saída (vazamento de informação).
  • Strong ASR: Sucesso estruturalmente conforme (ex: marcador nos primeiros 150 caracteres, reprodução de template injetado).
  • Taxa de Detecção: Fração de ataques sinalizados pelas defesas.

Principais Resultados

Achado Principal: A Falha da Inspeção Baseada Apenas em Texto

O portador T3 alcançou um Leakage ASR de 94,3% contra a defesa de texto mais forte avaliada (Ensemble de Prompt Guard 2 + TF-IDF).

• Comparação: O mesmo texto de payload em forma plana (T0) foi bloqueado (0% ASR) pela mesma defesa.
• Mecanismo: O portador T3 remove sinais textuais na camada bruta (floats) e os fragmenta na camada de reconstrução (dump hex). Nenhuma das visualizações de texto inspecionadas contém evidência de prosa do ataque.
• Replicação: Um detector roberta-base ajustado replicou este padrão, capturando todos os portadores de prosa visível (T0, T2), mas perdendo o T3 inteiramente (0% de detecção). A confiança de pico do classificador nas amostras T3 foi de 0,225, bem abaixo do limite de 0,5.

Análise de Ablação (Decomposição 2x2)

Uma ablação 2x2 isolou os mecanismos necessários para a evasão:

• T0 (Prosa/Prosa): Capturado em ambas as camadas.
• T2 (Estego/Prosa): Evasão na inspeção da camada bruta, mas capturado na reconstrução (prosa visível).
• T1b-abl (Prosa/Hex): Evasão na inspeção da camada de reconstrução (prosa), mas capturado na inspeção da camada bruta.
• T3 (Estego/Hex): Evasão em ambas as camadas.
  Isso confirma que tanto a esteganografia de dados quanto a fragmentação da camada de reconstrução são necessárias para derrotar a inspeção de texto de camada dupla.

Desempenho Específico do Modelo

• GPT-5.4: Maior ASR (68,5% geral, 97,0% para T3 sob o classificador).
• Claude Sonnet 4.6: Menor ASR (50,8% geral) devido principalmente a recusas, embora o T3 ainda tenha alcançado 92,3% de ASR sob a defesa do classificador.
• Strong ASR: Mesmo com a defesa do classificador, o T3 alcançou sucesso estruturalmente conforme significativo (ex: 81,6% para injeção de metadados fabricados), provando que sistemas downstream podem agir sobre marcadores reproduzidos mesmo que o modelo "recuse" o imperativo.

Limites de Detecção

• Zero-Shot Prompt Guard 2: Detectou 0% dos payloads, incluindo o texto puro (T0). Os autores interpretam isso como um descompasso de escopo fora da distribuição (modelos de guarda visam sobreposições imperativas, enquanto os payloads são metadados declarativos), não uma falha arquitetônica geral.
• Patch Sensível ao Formato: Um detector simples de linhas xxd adicionado ao portão de esquema reduziu o ASR do T3 para 0%. No entanto, os autores observam que isso é uma assinatura específica de apresentação, não uma defesa geral contra a classe de portadores.

Significância e Alegações

O artigo não afirma apresentar um exploit indetectável ou uma vulnerabilidade universal em todos os pipelines de entrada estruturada. Em vez disso, estabelece um limite de falha reproduzível para a inspeção baseada apenas em texto em arquiteturas de pipeline específicas.

1. Limitação das Defesas Centradas em Texto: A principal contribuição é demonstrar que, quando um pipeline admite um portador onde o sinal malicioso não é visível como texto até (ou a menos que) entre no contexto do modelo, as proteções de texto (Prompt Guard, Llama Guard, regex) são insuficientes.
2. Portador vs. Conteúdo: O estudo prova que o portador determina a detectabilidade, não o conteúdo do payload. O mesmo payload é bloqueado quando visível como prosa, mas tem sucesso quando escondido em floats e fragmentado como hex.
3. Risco de Metadados Declarativos: O ataque tem sucesso porque os payloads são enquadrados como metadados declarativos (ex: "tokens de configuração de auditoria") em vez de instruções imperativas. Isso contorna defesas treinadas para recusar sobreposições imperativas, explorando um descompasso nas distribuições de treinamento de segurança.
4. Escopo Modesto: Os autores afirmam explicitamente que a contribuição não é um exploit indetectável. A implementação atual do T3 é detectável via validação semântica (verificando validade de atratores IFS) ou detectores de formato de dump hex específicos. A significância reside em identificar as condições específicas (reconstrução confiável de canais numéricos auxiliares) sob as quais as suposições de segurança baseadas em texto falham.