Resumo Técnico: Certificação Quantitativa da Seleção de Ferramentas por Agentes

Declaração do Problema

Agentes de Modelos de Linguagem de Grande Escala (LLM) dependem cada vez mais de ferramentas externas para interagir com o mundo, tipicamente por meio de um pipeline de duas etapas: um retriever filtra um grande conjunto de ferramentas em um conjunto principal (slate) de top-$N$, e um seletor (o LLM) escolhe a ferramenta específica a invocar. Embora as avaliações existentes meçam o desempenho em benchmarks curados e benignos, elas falham em capturar os riscos de implantação inerentes a registros abertos (por exemplo, Protocolo de Contexto de Modelo). Nesses ambientes, os conjuntos de ferramentas são moldados por terceiros que podem publicar ferramentas enganosas, quase duplicadas ou maliciosas.

Os métodos de avaliação atuais dependem de análises qualitativas ou estimativas pontuais de precisão em conjuntos de dados fixos. Essas abordagens não conseguem distinguir entre sistemas que falham raramente e aqueles que falham frequentemente, nem podem fornecer uma base para comparar a robustez entre diferentes modelos, retrievers ou políticas de registro. O desafio central é estabelecer um certificado quantitativo: um limite de alta confiança sobre a probabilidade de que um pipeline de seleção de ferramentas satisfaça uma especificação de segurança declarada quando as ferramentas são amostradas de uma distribuição realista de conjuntos implantados.

Metodologia: LLMCert-T

Os autores introduzem o LLMCert-T, um framework estatístico projetado para retornar limites superiores de alta confiança sobre a probabilidade de que um pipeline de seleção de ferramentas satisfaça uma especificação de segurança sob uma distribuição realista de ferramentas.

1. Framework Formal

O framework modela o pipeline de seleção de ferramentas como uma caixa preta operando sobre $R$ rodadas.

• Pipeline: Uma intenção do usuário $u$ é processada por um retriever para produzir um conjunto principal $S_u$ (top-$N$ ferramentas), que o seletor $L$ avalia para escolher uma ferramenta $\hat{t}$.
• Especificação ($\phi$): Um predicado definindo um resultado satisfatório (por exemplo, "a ferramenta selecionada deve satisfazer a intenção sem exceder os privilégios do usuário").
• Distribuição ($\Delta$): Um processo estocástico que gera sequências de "ferramentas inseridas" que evoluem o conjunto rodada a rodada. Diferentemente de ataques adversariais que otimizam para modelos específicos, $\Delta$ modela condições realistas de implantação onde editores de terceiros introduzem ferramentas.

2. O Processo de Amostragem ($\Delta$)**

Para garantir realismo e informatividade, $\Delta$ é implementado como um processo estocástico condicional:

• Geração Rodada a Rodada: Um gerador LLM propõe $k$ ferramentas inseridas em cada rodada $r$, condicionado à escolha anterior do seletor $\hat{t}^{(r-1)}$. Esse ciclo de feedback concentra a massa de amostragem em sequências que expõem as suscetibilidades específicas do seletor.
• Geração Constrained: A saída do gerador passa por pós-processamento determinístico para garantir que as ferramentas se assemelhem a entradas reais de registro:
  • Colisão de Parâmetros: Copia esquemas de parâmetros de ferramentas selecionadas anteriormente para corresponder às expectativas do usuário.
  • Clones Homoglyph: Substitui caracteres por variantes Unicode visualmente semelhantes (por exemplo, 'a' cirílico para 'a' latino) para evadir a deduplicação por correspondência exata, mantendo-se legível por humanos.
  • Sinais de Persuasão: Adiciona marcadores como [official], v2 ou [enterprise] a nomes e descrições para simular sinais de autoridade.
• Redução Bernoulli: Cada trajetória de $R$ rodadas é reduzida a um único resultado binário $Z_u$ (1 se a especificação se mantiver para todas as rodadas, 0 caso contrário). Isso permite a agregação de $n$ ensaios em um limite estatístico.

3. Mecanismo de Certificação

O LLMCert-T agrega os $n$ ensaios Bernoulli independentes ($Z_1, \dots, Z_n$) para calcular um limite superior unilateral de Clopper-Pearson ($p_u$) sobre a probabilidade de satisfação.

• Se $C$ falhas forem observadas em $n$ ensaios, $p_u$ é o maior valor da verdadeira probabilidade de satisfação consistente com os dados observados no nível de confiança $1-\alpha$.
• Essa abordagem fornece uma garantia rigorosa, não assintótica, de que a taxa de falha real não é superior ao limite, independentemente da precisão do modelo subjacente em conjuntos limpos.

Principais Contribuições

1. Distração como Propriedade de Implantação: O artigo formaliza a seleção de ferramentas sobre uma distribuição de ferramentas que um agente pode encontrar após a implantação, separando o "o quê" (especificação de segurança) das "condições" (distribuição de ferramentas).
2. Certificação Quantitativa: Instancia um processo estocástico para gerar sequências realistas de ferramentas inseridas e agrega resultados em um limite superior estatisticamente rigoroso, indo além de estimativas pontuais.
3. Identificação de Modos de Falha: Através da avaliação em conjuntos de ferramentas BFCL e OpenAPI com quatro seletores de peso aberto (4B–14B parâmetros), o framework identifica cinco mecanismos específicos de distração e demonstra que os limites de correção certificados caem significativamente abaixo dos limites inferiores de conjuntos limpos.

Resultados Experimentais

Avaliado em benchmarks padrão (BFCL, OpenAPI) com $n=1000$ ensaios e $R=10$ rodadas:

• Precisão Limpa vs. Comportamento Certificado: Há uma desconexão nítida entre a precisão do benchmark e a robustez certificada. Enquanto os seletores alcançam limites inferiores de precisão limpa ($p^{clean}_{\ell}$) entre 0,69 e 0,75, os limites superiores certificados ($p_u$) sob distribuições realistas caem para aproximadamente 0,20 para as especificações mais severas.
• Modos de Falha Críticos:
  • Seleção de Distratores: Os seletores são consistentemente enganados por ferramentas com sinais de credibilidade superficial (por exemplo, [official], v2) que parecem mais autoritárias, mas carecem de funcionalidade. O limite superior certificado é 0,20.
  • Saturação Top-N: Ferramentas quase duplicadas com esquemas de parâmetros copiados deslocam a ferramenta de verdade fundamental do conjunto principal top-$N$ em 89% dos ensaios dentro de dez rodadas. O limite superior certificado é 0,20.
  • Elevação de Privilégios: Os seletores aceitam justificativas na descrição para permissões elevadas (por exemplo, "necessário para registro de conformidade"), resultando em um limite de 0,65.
  • Gatilho de Abstenção e Mudança de Intenção: Estes são menos severos (limites ~0,73–0,75), pois os seletores têm maior probabilidade de escolher uma ferramenta errada do que de recusar ou mudar de intenção sem sinais fortes de persuasão.
• Impacto de Mitigações: Cinco mitigações representativas (retrievers defendidos, monitores de anomalias, prompt estruturado, ajuste de alinhamento, filtros de perplexidade) foram avaliadas. Nenhuma fechou a lacuna nas duas especificações mais fortes (Seleção de Distratores e Saturação Top-N). A melhor mitigação (SecAlign para Seleção de Distratores) apenas elevou o limite de 0,20 para 0,30.
• Inclusão Forçada: Mesmo quando o retriever é forçado a incluir uma ferramenta satisfatória no conjunto principal, o limite certificado permanece abaixo de 0,50, indicando que a falha ocorre principalmente na fase de seleção, e não apenas na recuperação.

Significado e Alegações

O artigo alega que a precisão do benchmark em conjuntos curados não é um resumo suficiente do comportamento do pipeline implantado. A lacuna entre o desempenho em conjuntos limpos e o comportamento sob distribuições realistas de ferramentas é uma vulnerabilidade fundamental.

• Métricas Acionáveis: O LLMCert-T fornece uma métrica que é intuitiva, acionável e comparável entre modelos, retrievers e políticas de registro.
• Padrão Diagnóstico: Como as mitigações atuais falham em fechar a lacuna nas especificações mais fortes, o framework serve como um padrão diagnóstico para avaliar futuros métodos de mitigação.
• Natureza da Vulnerabilidade: O principal risco de implantação não é a má compreensão semântica, mas a suscetibilidade a sinais de credibilidade no nível de metadados (sinais de autoridade, quase duplicatas) que manipulam o retriever e o seletor.

Os autores posicionam o LLMCert-T não como uma solução que corrige essas vulnerabilidades, mas como o primeiro framework capaz de quantificá-las com garantias estatísticas, convertendo assim o comportamento de implantação em uma propriedade mensurável.