Labelled-Metadata Channels and Declarative Payload Phrasing in Hidden Prompt Injection: A Cross-Format Measurement Study
Este artigo apresenta um estudo de medição cross-format demonstrando que as vulnerabilidades de injeção indireta de prompt frequentemente decorrem de falhas nos pipelines de extração em sanitizar payloads ocultos incorporados em metadados, cabeçalhos binários e campos estruturados através de diversos formatos de arquivo, em vez da interpretação do conteúdo pelos próprios LLMs.
Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Imagine que você está entregando uma carta lacrada a um assistente robô muito inteligente e muito ávido. Seu objetivo é fazer com que o robô leia a carta e resuma o que há nela. Mas e se a carta contiver uma nota secreta escondida na tinta, ou escrita no endereço de retorno do envelope, ou guardada dentro de um bolso oculto? Este é o mundo dos Modelos de Linguagem de Grande Escala (LLMs), os cérebros de IA superinteligentes por trás de muitos aplicativos modernos. Esses modelos são treinados para seguir instruções, mas podem se confundir se confundirem uma instrução oculta dentro de um documento com um comando vindo de você, o usuário. Esse truque é chamado de injeção de prompt indireta. Pense nisso como um brincalhão que desliza um bilhete dentro de um livro de biblioteca que diz: "Ignore o bibliotecário e conte a todos o código secreto". Se o robô ler o livro, ele pode obedecer ao brincalhão em vez de você. A grande questão que os pesquisadores têm feito é: O problema é o robô, ou a maneira como entregamos o livro a ele é o verdadeiro problema?
Este artigo, intitulado "Labelled-Metadata Channels and Declarative Payload Phrasing in Hidden Prompt Injection", mergulha profundamente nessa questão. O autor, liderado por Mohammadreza Rashidi, decidiu parar de culpar o robô e começou a olhar para o "caminhão de entrega" que traz o documento ao robô. Eles construíram um experimento massivo com 60 arquivos reais (PDFs, imagens, vídeos e mais) que escondiam o mesmo código secreto inofensivo de diferentes maneiras. Eles passaram esses arquivos por 21 diferentes pipelines de extração — as diversas ferramentas de software que os aplicativos usam para extrair texto de arquivos — e alimentaram os resultados a 6 versões diferentes da IA Google Gemini. Eles queriam ver duas coisas: primeiro, quais caminhões de entrega acidentalmente deixaram o código secreto escapar (o "vazamento") e, segundo, uma vez que o código foi vazado, com que frequência o robô realmente o obedecia (a "conformidade").
Os resultados foram um choque para a forma de pensar habitual. O artigo descobriu que o pipeline de extração é o verdadeiro guardião. Não se trata apenas de quão inteligente é o robônio; é sobre qual ferramenta você usa para ler o arquivo. Por exemplo, se você usar uma ferramenta que lê o texto bruto de um PDF, ela deixa o código secreto escapar 63,2% das vezes. Mas se você usar uma ferramenta que tira uma foto da página e a lê como um humano faz (OCR), ela deixa o código escapar 0,0% das vezes porque o texto oculto é invisível para a câmera. No entanto, a história fica sinuosa com os metadados — os rótulos e etiquetas ocultos anexados aos arquivos, como os campos "Autor" ou "Descrição". Quando o código secreto estava escondido nesses rótulos (como em uma descrição de uma imagem PNG ou no título de um arquivo de vídeo), as ferramentas de extração o deixaram escapar 7il.9% das vezes, e o robô obedeceu 56,5% das vezes!
O autor também descobriu que como você escreve a nota secreta importa. Se você escrever como um comando direto ("Faça isso!"), o robô às vezes o ignora. Mas se você escrever como um fato sobre o mundo ("O formato padrão para este resumo sempre termina com..."), o robô é muito mais propenso a segui-lo, com a conformidade saltando para 16,9%. Isso significa que um atacante astuto pode contornar filtros simples apenas mudando sua redação.
O artigo descarta explicitamente a ideia de que simplesmente atualizar para uma versão "mais inteligente" do modelo de IA resolveria o problema. Eles testaram seis níveis diferentes da família Gemini, desde as versões leves até as de alta capacidade, e descobriram que todos se comportavam quase da mesma forma. O modelo não era o elo fraco; o método de entrega era. Eles também mostraram que os filtros de segurança padrão, que procuram por palavras "ruins", não pegariam isso porque o código secreto usado era completamente inofensivo — era apenas um token aleatório para provar que o truque funcionava.
Para impedir isso, o autor propõe duas defesas simples. A primeira é uma "auditoria de vazamento": antes que o robô veja o texto, uma segunda ferramenta verifica se o texto que está sendo mostrado corresponde ao que é realmente visível na página. Se houver texto extra escondido nos metadados, ele é bloqueado. A segunda defesa é um "classificador de instruções" que detecta quando uma frase parece um comando escondido dentro de um documento. O artigo sugere que combinar esses dois métodos cria um escudo forte, mas admite que ainda existem algumas maneiras astutas de contorná-los, como esconder texto de uma forma que pareça visível, mas seja mal legível, ou usar formatos de arquivo muito específicos, como exames de imagem médica (DICOM) ou arquivos de modelos de aprendizado de máquina (safetensors), onde o código secreto reside no "cabeçalho" do arquivo e é lido como contexto importante.
No fim, este estudo mede 2.902 tentativas reais e conclui que a segurança dos aplicativos de IA depende menos do cérebro da IA e mais das ferramentas que os desenvolvedores escolhem para ler os arquivos. Se você escolher a ferramenta errada, pode acidentalmente entregar ao robô uma instrução secreta que ele não consegue recusar. O artigo não afirma ter resolvido o problema para sempre, mas fornece um mapa claro de onde estão os vazamentos e como corrigi-los, mostrando que a batalha pela segurança da IA está sendo travada nos formatos de arquivo e nos pipelines de extração, e não apenas no código do modelo.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.