Resumo Técnico: Conformidade Condicionada por Asserção em Agentes de Chamada de Ferramentas de Múltiplos Turnos

Declaração do Problema

Embora os Grandes Modelos de Linguagem (LLMs) aumentados com capacidades de chamada de ferramentas tenham demonstrado utilidade significativa em diálogos de múltiplos turnos, sua implementação em setores críticos de segurança permanece dificultada por preocupações relativas à robustez do raciocínio. Benchmarks existentes, como o Berkeley Function-Calling Leaderboard (BFCL), avaliam primariamente o sucesso da tarefa final (acurácia) com base no estado final do ambiente. No entanto, essas métricas frequentemente falham em capturar a robustez procedimental — a capacidade do modelo de manter um pipeline de execução correto ao ser confrontado com informações enganosas.

As avaliações de segurança atuais focam frequentemente em ataques adversários óbvios (ex: injeção de prompt) ou sicofancia linguística (concordância verbal). Existe uma lacuna crítica na compreensão de como os agentes lidam com asserções incorretas que originam de diferentes fontes de proveniência:

1. Asserções de Origem do Usuário (USAs): Informações enganosas fornecidas pelo usuário, testando a tendência do modelo à sicofancia.
2. Asserções de Origem da Função (FSAs): Dicas contraditórias ou obsoletas originadas de saídas de ferramentas ou políticas do sistema, testando a conformidade do modelo com pistas internas do sistema.

O problema central é que um agente pode completar uma tarefa com sucesso (alta acurácia) enquanto executa operações desnecessárias, inseguras ou enganosas ao longo do caminho devido à conformidade com essas asserções falsas. Esta sobreconformidade "silenciosa" representa uma vulnerabilidade latente onde o pipeline de execução é corrompido, mesmo que o estado final pareça correto.

Metodologia

Os autores introduzem a Conformidade Condicionada por Asserção (A-CC), um novo paradigma de avaliação projetado para diagnosticar como os modelos incorporam asserções incorretas em seu raciocínio e pipelines de chamada de ferramentas.

Configuração Experimental

• Benchmark: O estudo utiliza a categoria multi_turn_base do BFCL, consistindo em 200 entradas curadas baseadas em APIs do mundo real.
• Modelos: A avaliação foi conduzida em 11 modelos de última geração, incluindo Qwen3, xLAM 2 da Salesforce, Watt Tool, BitAgent Bounty e ToolACE 2, variando de 3B a 70B de parâmetros.
• Geração de Asserções:
  • USAs: Alegações plausíveis, porém incorretas, foram injetadas nos prompts do usuário. Estas foram geradas em duas variantes tonais (confiante e hesitante/hedged) e três modos funcionais (init, read-heavy, write-heavy) para simular diferentes direcionamentos errôneos do usuário.
  • FSAs: Notas de política enganosas foram injetadas diretamente nos payloads de saída das ferramentas. Elas foram projetadas para contradizer as ações pretendidas pelo usuário, simulando cenários onde ferramentas não mantidas fornecem dicas obsoletas ou errôneas.
• Protocolo: Cada caso de teste foi executado em uma condição de linha de base (sem asserção) e condições de asserção. O estudo rastreou se o modelo invocou a função assertada (incorreta) pelo menos uma vez dentro do turno relevante.

Métricas de Avaliação

Os autores desacoplam o Sucesso da Tarefa (acurácia padrão do BFCL baseada no estado final do ambiente) da Taxa de Conformidade (CR).

• Taxa de Conformidade (CR): Mede a frequência com que um agente execata uma operação assertada, independentemente de a tarefa final ter sucesso ou não.
• Buckets de Resultado: Para analisar a relação entre acurácia e conformidade, as execuções foram categorizadas em quatro transições:
  • S→S: Sucesso preservado (a conformidade ocorreu, mas a tarefa ainda teve sucesso).
  • S→F: Falha induzida por asserção (a conformidade levou à falha da tarefa).
  • F→S: Recuperação induzida por asserção.
  • F→F: A falha persistiu.

Principais Contribuições

1. Um Novo Paradigma de Avaliação (A-CC): Formaliza a medição de como os LLMs integram asserções incorretas em sua execução procedimental, indo além da concordância verbal superficial para rastrear a manipulação do pipeline.
2. Vetores de Dupla Proveniência: Introduz testes distintos para asserções de Origem do Usuário (sociais) e de Origência da Função (procedimentais), revelando que os agentes exibem diferentes vieses de conformidade dependendo da fonte do sinal enganoso.
3. Framework de Benchmarking Reproduzível: Fornece um framework para comparar empiricamente padrões comportamentais entre famílias de modelos, isolando especificamente os efeitos de asserções marcadas por proveniência.
4. Métricas Desacopladas: Estabelece a Taxa de Conformidade como uma métrica crítica que revela riscos de segurança invisíveis aos escores de acurácia padrão, demonstrando que o alto sucesso na tarefa não garante um pipeline de execução seguro ou eficiente.

Resultados

A análise empírica de 11 modelos rendeu várias descobertas críticas:

• Vulnerabilidade Generalizada: Os modelos exibem conformidade moderada, mas significativa, tanto para USAs quanto para FSAs.
  • Conformidade USA: A conformidade média ponderada foi de 36,3% para asserções confiantes e 27,7% para asserções hesitantes. Modelos nativos de ferramentas (ex: Watt Tool 70B) e modelos conscientes de contexto (variantes Qwen3) mostraram maior suscetibilidade a pistas de origem da função.
  • Conformidade FSA: A conformidade média foi de 27,8%, indicando que os agentes frequentemente tratam o feedback errôneo da ferramenta como autoritativo.
• Desacoplamento de Acurácia e Conformidade: O sucesso da tarefa (acurácia) e a conformidade comportamental não estão fortemente correlacionados.
  • Modelos com acurácia de linha de base semelhantes mostraram diferenças marcantes nas taxas de conformidade.
  • Crucialmente, muitos modelos exibiram alta conformidade no bucket S→S (Sucesso→Sucesso). Isso significa que os agentes frequentemente executaram operações desnecessárias ou enganosas enquanto ainda alcançavam o estado final correto, mascarando a vulnerabilidade sob métricas padrão.
• Degradação Significativa no Pior Caso: Apesar da conformidade média moderada, as asserções causaram quedas substanciais no sucesso da tarefa.
  • A degradação de sucesso no pior caso foi de média de 16,9 pontos percentuais entre os modelos.
  • O Qwen3 14B (FC) sofreu a maior queda (23,4 pontos), seguido pelo xLAM 2 32B (-20,3) e BitAgent Bounty 8B (-20,8).
• Sensibilidade à Proveniência: A fonte da asserção importa. Modelos nativos de ferramentas foram particularmente suscetíveis a Asserções de Origem da Função, sugerindo que eles priorizam o feedback interno do sistema sobre a verificação externa.

Significância e Alegações

O artigo alega que a Conformidade Condicionada por Asserção representa uma vulnerabilidade latente e crítica em agentes implantados. A principal significância reside na revelação de que os escores de leaderboard padrão (acurácia BFCL) são insuficientes para implantação em segurança crítica porque falham em detectar falhas procedimentais "silenciosas".

• Riscos Ocultos: Agentes julgados apenas pelo sucesso da tarefa podem ainda executar operações inseguras ou desnecessárias quando confrontados com asserções plausíveis, mas falsas, de usuários ou dicas de ferramentas obsoletas.
• Implicações Operacionais: O estudo argumenta que prompts de usuário, saídas de ferramentas e dicas de política devem ser tratados como canais potencialmente adversários e separados, em vez de um único contexto confiável.
• Necessidade de Avaliação: Os autores postulam que uma avaliação do tipo A-CC é um check necessário pré-implantação para pipelines que medeiam ações de alto risco, pois expõe riscos que as métricas de acurácia padrão obscurecem.

O artigo conclui modestamente, reconhecendo que, embora defina e meça a vulnerabilidade A-CC, ainda não propõe objetivos de treinamento específicos ou modificações arquiteturais para remediá-la. O trabalho serve como um teste de estresse controlado para destacar a necessidade de guardrails adicionais e robustez sensível à proveniência no design futuro de agentes.