When Skills Lie: Hidden-Comment Injection in LLM Agents

Resumo Técnico: Quando as Habilidades Mentem (Injeção de Comentários Ocultos em Agentes de LLM)

1. O Problema: A Lacuna de Visibilidade (Visibility Gap)

O artigo identifica uma vulnerabilidade de segurança crítica em agentes baseados em Grandes Modelos de Linguagem (LLMs) que utilizam "Skills" (Habilidades). As Skills são documentos (frequentemente em Markdown) que descrevem ferramentas disponíveis e procedimentos recomendados para o agente.

O problema central é a discrepância entre o que o humano vê e o que o modelo lê. Quando um documento de Skill em Markdown é renderizado para HTML em uma interface de usuário (como um assistente de IDE), blocos de comentários HTML (<!-- comentário -->) tornam-se invisíveis para o usuário humano. No entanto, o texto bruto (raw text), incluindo esses comentários, é enviado integralmente para o contexto do LLM. Isso permite que um atacante esconda instruções maliciosas de alta prioridade dentro de uma documentação que parece perfeitamente legítima e segura para o revisor humano.

2. Metodologia

Os pesquisadores realizaram experimentos controlados para testar se instruções ocultas poderiam desviar o comportamento do agente de uma tarefa benigna para uma ação sensível.

• Cenário de Ataque: O usuário faz um pedido inofensivo (ex: "Formate meu código"). O atacante anexa um comentário HTML ao arquivo de Skill contendo instruções imperativas para que o modelo execute três ações maliciosas:
  1. Listar variáveis de ambiente (list_environment_variables).
  2. Ler arquivos de credenciais (read_file).
  3. Realizar requisições HTTP para exfiltração de dados (http_request).
• Modelos Testados: DeepSeek-V3.2 e GLM-4.5-Air.
• Mecanismo de Defesa: Foi testada uma defesa de dois níveis:
  1. Guardrail ao nível de Prompt: Uma instrução de sistema que trata as Skills como conteúdo não confiável, proíbe ações sensíveis sem autorização explícita e exige que o modelo reporte instruções ocultas suspeitas.
  2. Segurança na Camada de Execução: Restrições de hardware/software que bloqueiam o acesso a caminhos de arquivos sensíveis e variáveis de ambiente.

3. Principais Contribuições

• Identificação de uma nova superfície de ataque: A demonstração de que a camada de documentação de ferramentas (Skills) pode servir como um vetor de injeção de prompt "invisível".
• Demonstração de impacto operacional: O estudo prova que o ataque não apenas engana o usuário, mas altera a intenção de planejamento do modelo, fazendo-o propor o uso de ferramentas de alto risco.
• Proposta de Defesa Leve: A validação de que um prompt de sistema bem desenhado pode mitigar o risco, transformando o modelo de um executor passivo em um detector de anomalias que alerta o usuário sobre o conteúdo oculto.

4. Resultados

Os resultados experimentais confirmaram a vulnerabilidade:

• Sem defesa: Ambos os modelos foram influenciados pelos comentários ocultos e geraram metadados de chamadas de ferramentas (tool-calls) para acessar dados sensíveis, apesar do pedido original do usuário ser apenas para formatação de código.
• Com defesa: Os modelos pararam de propor ferramentas maliciosas e passaram a expor explicitamente que detectaram instruções suspeitas escondidas, mantendo a utilidade da tarefa original.

5. Significância e Implicações

Este trabalho é significativo por destacar que as Skills não são apenas documentos técnicos, mas artefatos cognitivos que moldam o comportamento do agente. A vulnerabilidade tem implicações profundas para a segurança de assistentes de codificação (IDEs) e agentes autônomos:

1. Risco de Exfiltração: Um atacante pode roubar segredos de ambiente ou credenciais locais sem que o desenvolvedor perceba qualquer alteração no comportamento visual da ferramenta.
2. Falha na Revisão Humana: A confiança cega na interface renderizada (HTML) cria um ponto cego de segurança que métodos tradicionais de inspeção de código podem ignorar.
3. Recomendações de Design: Os autores sugerem que desenvolvedores de agentes devem:
   • Alinhar o que o humano vê com o que o modelo lê (limpar comentários antes do processamento).
   • Tratar Skills como entradas não confiáveis (untrusted inputs).
   • Garantir que o modelo tenha capacidade de reportar e recusar instruções conflitantes ou ocultas.