Capability Gates Are Not Authorization: Confused-Deputy Failures in LLM Agent Frameworks

Resumo Técnico: Portões de Capacidade Não São Autorização

Declaração do Problema
O artigo identifica uma lacuna de segurança crítica nos atuais frameworks de agentes de Large Language Model (LLM): a confusão entre controle de capacidade (capability gating) e autorização por chamada (per-call authorization). Embora frameworks como LangChain, LlamaIndex e Stripe Agent Toolkit consigam restringir quais ferramentas um agente pode acessar (controle de capacidade), eles falham por padrão ao não validar se uma chamada de ferramenta específica com valores de argumentos específicos é autorizada antes da execução.

Isso cria uma vulnerabilidade de deputado confuso (confused-deputy). Neste padrão, um componente privilegiado (o tempo de execução do agente) é induzido por uma entrada controlada pelo atacante (via injeção de prompt indireta) a fazer uso indevido de sua autoridade. Se o tempo de execução aceita uma chamada de ferramenta emitida pelo modelo baseando-se apenas na existência da ferramenta e na validade do esquema — sem verificar os valores concretos dos argumentos (ex: account=acct_ATTACKER_999) contra uma política externa — o modelo não confiável fornece efetivamente tanto a ação quanto o fato da autorização. O artigo argumenta que modelos de "nível de implantação" (deployment-tier), otimizados para custo, são significativamente mais propensos a emitir essas chamadas não autorizadas (Taxa de Tentativa de Ação Não Autorizada [ASR] média de 0,603) em comparação com modelos de elite (flagship models) (0,189), exacerbando o risco.

Metodologia
Os autores empregaram uma metodologia de três frentes:

1. Auditoria Cross-Framework: Uma análise estática de commits públicos fixados para LangChain/LangGraph, LlamaIndex e Stripe Agent Toolkit. A auditoria buscou especificamente por uma verificação de autorização determinística e de falha segura (fail-closed) sobre valores de argumentos concretos após a emissão pelo modelo, mas antes da execução de efeitos colaterais.
2. Medição de Ameaças: Um benchmark complementar medindo a ASR de 27 modelos (incluindo variantes de nível de implantação e de elite) sob cenários de injeção de prompt alinhados à tarefa. O suporte utilizou dispositivos (fixtures) em ambiente isolado (sandbox), sumidouros (sinks) não roteáveis e canários determinísticos para medir a taxa de tentativas de chamadas de ferramentas não autorizadas sem executar efeitos colaterais reais.
3. Avaliação de Controle: O design e teste do SCOPEGATE, um controle de Ponto de Decisão de Política/Ponto de Execução de Política (PDP/PEP). Os autores avaliaram o SCOPEGATE contra:
   • Uma Prova de Conceito (PoC) reproduzível usando LangChain e LlamaIndex para demonstrar a lacuna padrão.
   • Um conjunto de supressão estática de 48 vetores adversariais (incluindo espaços em branco, homógrafos, confusão de tipos e injeção de NaN).
   • Uma simulação de atacante adaptativo (40 iterações) usando um modelo GLM-5.2.
   • Testes de controle benignos para medir taxas de negação falsa.
   • Uma vinheta de contenção específica usando o modelo soberano Latam-GPT.

Principais Contribuições

• Medição de Ameaça: O artigo fornece evidência empírica de que modelos de nível de implantação tentam ações não autorizadas aproximadamente 3,2 vezes mais frequentemente do que modelos de elite sob enquadramento de injeção alinhada à tarefa.
• Auditoria de Framework: Estabelece que os principais frameworks de agentes entregam controle de capacidade, mas carecem de autorização por chamada determinística e de falha segura para valores de argumentos por padrão. Isso deixa a decisão de autorização para o integrador, em vez de para o framework.
• Controle SCOPEGATE: Os autores introduzem o SCOPEGATE, um PDP/PEP de cinco estágios que impõe:
  1. Escopo (Scope): Nega ferramentas não listadas.
  2. Autorização (Authorization): Nega argumentos que não estejam em listas de permissão verificadas (ex: IDs de conta específicos).
  3. Teto de Dinheiro (Money Ceiling): Nega números não finitos, NaN ou montantes que excedam um teto para ferramentas de pagamento.
  4. Idempotência (Idempotency): Nega chamadas que geram efeitos colaterais e que não possuem uma chave de idempotência confiável.
  5. Negação Padrão (Default Deny): Todos os erros ou falhas de política resultam em negação.
• Reprodutibilidade: O artigo fornece um artefato completo (scopegate-runtime) permitindo que outros reproduzam a lacuna do framework e a mitigação do SCOPEGATE.

Resultos

• Descobertas da Auditoria: Todos os três frameworks auditados (LangChain, LlamaIndex, Stripe Agent Toolkit) foram identificados como carentes de um portão de autorização de falha segura padrão para valores de argumentos fornecidos pelo modelo.
• Execução da PoC: Na PoC de LangChain/LlamaIndex, a requisição de um modelo comprometido para atualizar uma conta de pagamento para um ID controlado pelo atacante foi executada pelo despacho padrão do framework. Quando roteada através do SCOPEGATE, a mesma requisição foi negada na etapa de autorização.
• Resistência à Supressão: O SCOPEGATE negou com sucesso 48/48 vetores adversariais estáticos e 29/29 tentativas não autorizadas em uma execução adaptativa de 40 iterações.
• Controles Benignos: O sistema reportou 0/10 negações falsas para chamadas benignas e autorizadas em modelos nativos de chamada de função.
• Contenção: Na vinheta de pagamento Latam-GPT, o modelo tentou pagamentos não autorizados em 10/10 testes; o SCOPEGATE negou todas as 10 tentativas na etapa de autorização.

Significância e Alegações
O artigo alega modestamente identificar uma "lacuna padrão" específica nas arquiteturas atuais de agentes, em vez de descobrir novas técnicas de injeção de prompt ou alegar resolver o problema da injeção inteiramente.

• Não é uma Cura: Os autores declaram explicitamente que o SCOPEGATE não previne injeção de prompt, não detecta envenenamento de pesos de modelos e não garante saídas de linguagem natural seguras. É um mecanismo de contenção que limita as consequências de um modelo comprometido.
• Distinção Operacional: A principal significância é a distinção operacional entre "expor uma ferramenta" e "autorizar uma chamada". O artigo argumenta que confiar nos argumentos bem tipados do modelo como autoridade executável é uma falha de design fundamental nos padrões atuais.
• Sem CVEs: O artigo afirma não haver CVEs específicos contra os frameworks auditados, enquadrando as descobertas como "evidência de endurecimento e padrões" onde o integrador é atualmente o responsável pela mediação completa.
• Escopo de Inferência: As descobertas sobre o risco de modelos de nível de implantação baseiam-se em uma varredura medida de modelos otimizados para custo adequados para tráfego de alto volume, não uma alegação sobre frotas de produção de fornecedores específicos.

Em conclusão, o artigo argumenta que, para que agentes de LLM sejam implantados com segurança com ferramentas que geram efeitos colaterais, os frameworks devem ir além do controle de capacidade para implementar verificações de autorização por chamada, determinísticas e de falha segura, contra políticas externas. O SCOPEGATE serve como uma implementação de referência para este limite.