Resumo Técnico: AGENTSPILL – Medindo a Exploração de Chamada de Ferramentas de LLM

Declaração do Problema

A chamada de ferramentas (chamada de função) de Grandes Modelos de Linguagem (LLMs) permite fluxos de trabalho agênticos, mas introduz uma vulnerabilidade crítica conhecida como Agência Excessiva (OWASP LLM03). Neste cenário, os modelos invocam autonomamente ferramentas destrutivas sem confirmação quando fornecidos com contexto manipulado. A fraqueza estrutural central reside na interface de chamada de ferramentas: a ponte semântica do modelo para funções externas é a string de descrição da ferramenta, que reside no mesmo canal de contexto de prompt que o input não confiável do usuário. Diferente de uma injeção de SQL, onde o esquema e os dados são separados, a chamada de ferramentas coloca o esquema da função (descrição) e o texto controlado pelo atacante no mesmo canal. Isso permite que atacantes redefinam a semântica das ferramentas, criem ambiguidades entre ferramentas ou enquadrem sequências destrutivas de múltiplas etapas como procedimentos operacionais padrão, fazendo com que o modelo execute ações irreversíveis (ex: deletar contas, transferir fundos, encerrar VMs) sem autorização.

Trabalhos anteriores trataram a Agência Excessiva como um nó único em cadeias de ataque maiores ou focaram em injeção de prompt baseada em texto. Este artigo argumenta que a chamada de ferramentas constitui uma superfície de exploração distinta e de alto risco, onde a saída do modelo é uma chamada de função executável em vez de texto, exigindo uma auditoria sistemática e independente.

Metodologia

O autor apresenta o AGENTSPILL, uma auditoria empírica sistemática projetada para medir como as descrições de ferramentas, a ambiguidade entre ferramentas e as cadeias de ação se compõem em explorações.

• Design Experimental: O estudo define 6 classes de exploração, cada uma com 3 variantes (base, B, C), totalizando 18 cenários de ataque únicos.
  • A01 Injeção de Descrição de Ferramenta: Redefinição da semântica da ferramenta via glossários injetados.
  • A02 Ambiguidade entre Ferramentas: Exploração de intenções semânticas sobrepostas entre ferramentas seguras e destrutivas.
  • A03 Encadeamento de Ferramentas Sem Confirmação: Enquadramento de sequências destrutivas de múltiplas etapas como procedimentos rotineiros.
  • A04 Substituição de Ferramenta Fantasma: Solicitação de ferramentas inexistentes e força de substituição por ferramentas reais destrutivas.
  • A05 Confusão de Autoridade: Uso de descrições de ferramentas que alegam autovalidação ou segurança.
  • A06 Agência Induzida por Contexto: Normalização gradual de comportamento destrutivo através de contexto histórico.
• Modelos Alvo: Os experimentos foram conduzidos em 3 níveis de modelos Gemini acessados via uma API compatível com OpenAI:
  1. gemini-3.1-pro-low (mais capaz, treinamento de segurança mais forte).
  2. gemini-3.5-flash-low (capacidade média).
  3. gemini-3.6-flash-low (nível flash mais recente).
• Execução: Um total de 162 tentativas reais foram executadas (3 níveis × 6 classes × 3 variantes × 3 sementes aleatórias).
• Verificação: O pipeline utiliza um juiz de resultado determinístico que inspeciona o array tool_calls bruto no JSON de resposta, ignorando a geração de texto. Um script de verificação de "falha fechada" (verify_numbers.py) reanalisa independentemente todos os 162 transcritos para garantir que cada estatística relatada corresponda aos dados brutos.

Principais Contribuições

1. Framework de Auditoria Sistemática: O artigo introduz e disponibiliza o código aberto de 6 frameworks de exploração direcionados especificamente às fronteiras de seleção de ferramentas de LLM, indo além da injeção de prompt geral para focar na seleção de ações.
2. Dados Empíricos: O estudo fornece o primeiro detalhamento granular da explorabilidade de chamada de ferramentas entre diferentes níveis de modelos e variantes, revelando que modelos "mais fortes" não são necessariamente mais seguros neste contexto.
3. Descoberta de Assimetria: A pesquisa identifica uma assimetria crítica: modelos ancoram-se fortemente em instruções de linguagem natural injetadas (levando a altas taxas de sucesso), mas ancoram-se fracamente na substituição de ferramentas reais por solicitações fantasmas (baixas taxas de sucesso).
4. Artefatos Reproduzíveis: Todos os 162 transcritos, os seis frameworks de exploração e o pipeline de verificação são lançados como artefatos de código aberto para permitir a verificação independente.

Resultados

A auditoria alcançou uma taxa de sucesso geral de 50,6% em todos os testes. Os resultados destacam disparidades significativas entre tipos de exploração e níveis de modelos:

• Vetores Dominantes:
  • A01 (Injeção de Descrição de Ferramenta) e A03 (Encadeamento de Ferramentas Sem Confirmação) foram os mais eficazes, cada um alcançando uma taxa de sucesso de 78% (21/27 testes).
  • O nível gemini-3.1-pro-low foi particularmente vulnerável ao A01, alcançando 100% de sucesso (9/9 testes), sugerindo que capacidades de seguimento de instrução mais fortes podem aumentar a suscetibilidade a políticas injetadas.
• Vetores Mais Fracos:
  • A04 (Substituição de Ferramenta Fantasma) e A06 (Agência Induzida por Contexto) foram os menos eficazes, cada um alcançando apenas 22% de sucesso (6/27 testes).
  • Isso indica que, embora os modelos possam ser enganados para reinterpretar ferramentas existentes, eles possuem uma "ancoragem de esquema de ferramenta" parcial que resiste à substituição de ferramentas reais por outras inexistentes.
• Assimetria de Níveis:
  • Contrariando a suposição de que modelos mais capazes são mais seguros, o modelo gemini-3.1-pro-low mostrou a maior explorabilidade geral (72%), enquanto o gemini-3.6-flash-low foi o mais resistente (37%).
  • O modelo 3.5-flash-low exibiu comportamento de salvaguarda inconsistente, mostrando alta suscetibilidade à substituição fantasma (67%), mas menor suscetibilidade à injeção de descrição em comparação ao nível pro.

Significância e Alegações

O artigo afirma que a Agência Excessiva não é meramente um elo passivo em cadeias de ataque maiores, mas uma superfície de alta explorabilidade quando alvo direto. A taxa de sucesso de 78% de vetores isolados (A01 e A03) iguala ou excede as taxas de sucesso de cadeias de ataque de múltiplas categorias encontradas em pesquisas anteriores.

O autor identifica uma tensão fundamental de segurança: a capacidade de seguimento de instruções que permite fluxos de trabalho agênticos é o mesmo mecanismo que permite sua exploração. Quando um modelo é instruído via contexto injetado que uma ferramenta destrutiva é segura ou que uma cadeia destrutiva é rotineira, ele prioriza esta instrução explícita sobre o esquema canônico da ferramenta.

O artigo conclui que as defesas atuais (limitação de permissões, confirmação humana) são incompletas porque não abordam a vulnerabilidade estrutural de colocar as descrições das ferramentas e o input do usuário no mesmo canal de contexto. O autor propõe a ancoragem de esquema de ferramenta (tool-schema grounding) como um mecanismo de defesa primário, sugerindo que a seleção de ferramentas deve ser desacoplada do contexto conversacional — seja através de módulos de seleção apenas de esquema ou ancorando as descrições das ferramentas para evitar reinterpretação. O estudo enfatiza que, sem tais mudanças arquiteturais, os agentes de LLM permanecem vulneráveis à execução autônoma e destrutiva baseada em contexto manipulado.