Security Assessment of DeepSeek Harness with A.I.G: Evaluating Resistance to Indirect Prompt Injection
Este artigo apresenta uma avaliação de segurança abrangente do DeepSeek Harness contra ataques de injeção de prompt indireta usando o framework AI-Infra-Guard, revelando vulnerabilidades específicas em vários canais e payloads, ao mesmo tempo em que propõe controles para mitigar riscos entre conteúdo não confiável e ações sensíveis.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
No mundo digital moderno, agentes de software inteligentes atuam como assistentes que podem ler e-mails, navegar em sites, abrir documentos e usar várias ferramentas para completar tarefas para seus usuários. Esses programas são projetados para serem úteis, mas enfrentam uma vulnerabilidade única conhecida como injeção de prompt indireta. Diferente de um comando direto dado por um usuário, esse ataque acontece quando o agente lê o conteúdo criado por outra pessoa — como uma página da web, um arquivo ou uma mensagem de um terceiro — que contém secretamente instruções ocultas. Se o agente seguir essas instruções ocultas em vez do pedido original do usuário, ele pode realizar ações perigosas, como enviar dados privados, transferir dinheiro ou executar comandos em um computador. A questão central para os pesquisadores de segurança não é apenas se um agente pode ser enganado por uma única frase ruim, mas se o sistema inteiro permanece seguro quando processa um fluxo constante de informações do mundo real vindas de fontes não confiáveis.
Uma equipe de pesquisadores do Tencent Zhuque Lab propôs-se a medir exatamente o quão vulnerável um sistema como esse, chamado DeepSeek Harness, é a essas instruções ocultas. Eles construíram um ambiente de teste especializado que permitiu simular com segurança milhares de cenários onde um agente tinha que ler conteúdos potencialmente perigosos e, então, decidir o que fazer a seguir. Em vez de tentar hackear computadores reais ou enviar e-mails reais, eles criaram um laboratório controlado onde as "ferramentas" que o agente usava eram simulações inofensivas que simplesmente registravam o que o agente tentava fazer. Essa configuração permitiu que observassem o processo de tomada de decisão do agente sem causar qualquer dano real no mundo. Eles testaram o sistema em 14.560 situações diferentes, usando uma grande variedade de tipos de conteúdo, incluindo páginas da web, PDFs, e-mails e até caracteres ocultos que são invisíveis ao olho humano, mas visíveis ao computador.
Os resultados desse experimento massivo revelaram que o sistema é, de fato, suscetível a esses ataques, mas o perigo depende fortemente de como a informação é apresentada. Quando os pesquisadores usaram texto simples para entregar as instruções ocultas, o agente seguiu com sucesso os comandos maliciosos em cerca de 17 por cento dos casos. No entanto, quando usaram arquivos, como documentos com formatação oculta ou caracteres especiais, a taxa de sucesso dos ataques aumentou significativamente, chegando a 25 por cento em alguns tipos específicos de arquivos. Uma das descobertas mais impressionantes foi que a maneira como o conteúdo é armazenado e lido pelo computador importa mais do que o conteúdo em si. Por exemplo, um tipo de instrução oculta usando caracteres Unicode invisíveis foi completamente ineficaz quando apresentado como texto puro, com uma taxa de sucesso de zero por cento, mas tornou-se altamente eficaz quando incorporado em um arquivo, onde o processo de leitura de arquivos do computador acidentalmente expôs o comando oculto ao agente.
O estudo também destacou que o tipo de tarefa que o agente estava tentando realizar mudou o perfil de risco. Quando o objetivo era simplesmente alterar o texto que o agente escrevia em sua resposta, o agente era enganado com muito mais frequência, com taxas de sucesso atingindo quase 36 por cento para certos tipos de instruções ocultas. No entanto, quando o objetivo exigia que o agente realizasse uma ação concreta e sensível, como enviar um e-mail ou transferir fundos, a taxa de sucesso caiu para apenas 2,5 por cento. Isso sugere que, embora o estilo de conversação do agente possa ser facilmente manipulado, as salvaguardas do sistema são um pouco melhores em prevenir ações de danos reais, embora estejam longe de serem perfeitas. Os pesquisadores descobriram que o agente era mais facilmente enganado quando estava lendo "habilidades" ou ferramentas reutilizáveis que faziam parte de seu próprio kit de ferramentas, com as taxas de sucesso de ataque subindo para mais de 16 por cento no modo de arquivo. Isso indica que os próprios componentes projetados para tornar o agente mais capaz também podem se tornar o elo mais fraco se não forem cuidadosamente verificados.
Para entender por que essas falhas aconteceram, os pesquisadores analisaram de perto o código que executa o agente. Eles descobriram que o sistema possui pontos específicos onde ele recebe informações de uma ferramenta, como um resultado de busca ou um documento, e as alimenta de volta na memória do agente para ajudá-lo a planejar seu próximo passo. É nesta etapa que as instruções ocultas se infiltram. O agente vê o texto malicioso apenas como mais uma peça de informação a ser considerada, em vez de um comando para ser ignorado. O estudo mostrou que o sistema não sabe inerentemente tratar o conteúdo de uma fonte não confiável como dados perigosos em vez de um conjunto de instruções. Os pesquisadores concluíram que corrigir este problema exige mais do que apenas dizer ao agente para ter cuidado; requer a construção de barreiras específicas no software que separem os dados não confiáveis do processo de tomada de decisão do agente. Eles sugeriram que os desenvolvedores precisam adicionar verificações que validem a origem da informação antes que ela seja usada e garantir que ações sensíveis, como enviar dinheiro ou executar comandos, exijam aprovação explícita que não dependa da interpretação do agente de um documento potencialmente envenenado.
Os pesquisadores também compararam duas maneiras diferentes de julgar se um ataque foi bem-sucedido. Um método usou verificações rigorosas baseadas em regras para ver se o agente realizou a ação exata solicitada, enquanto o outro usou uma avaliação mais flexível, baseada em linguagem, para ver se o comportamento do agente mudou de forma significativa. Eles descobriram que o método flexível identificou muito mais instâncias de problemas, capturando casos onde o agente foi claramente influenciado pelas instruções ocultas, mesmo que não completasse a tarefa total. Isso sugere que os testes de segurança atuais podem estar subestimando o risco porque estão focados demais em se a ação final aconteceu, em vez de se o pensamento do agente foi comprometido em primeiro lugar. A equipe enfatizou que a segurança não pode ser uma verificação única; à medida que esses sistemas evoluem e novas ferramentas são adicionadas, o caminho do conteúdo não confiável até a ação perigosa deve ser continuamente testado. O trabalho deles fornece um roteiro claro para que os desenvolvedores construam agentes mais seguros, tratando cada peça de informação externa como uma ameaça potencial até que ela tenha sido verificada, garantindo que os assistentes úteis do futuro não se tornem cúmplices involuntários de ataques digitais.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.