Resumo Técnico: Os Agentes Sabem o Que Não Podem Fazer?

Declaração do Problema

Agentes que utilizam ferramentas, os quais aproveitam Modelos de Linguagem de Grande Escala (LLMs) para interagir com APIs e ambientes externos, frequentemente incorrem em custos computacionais substanciais devido a longas cadeias de raciocínio e uso iterativo de ferramentas. Em cenários de implantação prática, muitas tarefas tornam-se inviáveis porque as capacidades específicas necessárias para a conclusão bem-sucedida estão indisponíveis sob as restrições atuais de ferramentas e ambiente.

As atuais avaliações e paradigmas de benchmark para agentes assumem amplamente que as tarefas são solucionáveis dentro do ambiente fornecido. Eles recompensam principalmente a execução persistente e o sucesso final da tarefa, muitas vezes negligenciando "comportamentos frágeis" onde os agentes continuam a raciocinar e invocar ferramentas mesmo após se tornar impossível completar a tarefa. Isso resulta em desperdício severo de tokens e custos de interação desnecessários. Além disso, a construção de tarefas genuinamente inviáveis para avaliação é desafiadora; os métodos existentes dependem fortemente de anotação humana intensiva em mão de obra ou estratégias de perturbação que não garantem a remoção de capacidades críticas, permitindo potencialmente que os agentes resolvam tarefas por meio de estratégias alternativas.

Metodologia: FeasiGen

Os autores propõem o FeasiGen, um pipeline automático projetado para construir tarefas de agente inviáveis e avaliar a capacidade de um agente de reconhecê-las. O framework opera em três etapas:

1. Coleta de Dados: Tarefas são coletadas de conjuntos de dados existentes de agentes (BFCL, StableToolBench, API-Bank, $\tau$-bench) que operam sobre um conjunto fechado de ferramentas, onde cada tarefa está associada a um pool fixo e pré-definido de ferramentas disponíveis.
2. Identificação de Ferramentas Críticas: O sistema executa múltiplos sistemas de agentes nas tarefas originalmente solucionáveis. Coleta rastros bem-sucedidos de chamadas de ferramentas e identifica ferramentas críticas como a interseção de ferramentas compartilhadas em todas as diversas estratégias de execução bem-sucedidas. A hipótese subjacente é que ferramentas consistentemente necessárias em diferentes trajetórias bem-sucedidas representam dependências de execução indispensáveis.
3. Geração de Tarefas Inviáveis: As ferramentas críticas identificadas são mascaradas (removidas) do pool de ferramentas candidatas. Isso transforma a tarefa originalmente solucionável em uma inviável sob o ambiente restrito.

Protocolo de Avaliação:
O artigo introduz métricas de avaliação conscientes de viabilidade além das taxas padrão de sucesso de tarefas:

• Taxa de Continuação Falsa (FCR): Mede a proporção de tarefas inviáveis onde o agente falha em detectar a capacidade ausente e continua a execução em vez de parar.
• Custo de Token para Parada Antecipada ($TC_{early-stop}$) vs. Custo de Token para Falha na Tarefa ($TC_{task-failure}$): Quantifica o trade-off de eficiência, medindo os tokens economizados pela terminação antecipada versus os tokens desperdiçados na execução falha.
• Pontuação de Sucesso Consciente de Viabilidade (FASS): Uma métrica unificada que combina a detecção correta de viabilidade e a conclusão bem-sucedida da tarefa em tarefas viáveis.

A verificação humana em um subconjunto estatisticamente fundamentado (95% de confiança, margem de erro de 5%) confirmou que 94,7% das instâncias construídas são genuinamente inviáveis.

Principais Resultados

Os experimentos foram conduzidos em nove modelos modernos (incluindo as famílias GPT-5.5, DeepSeek-V4, Qwen3.5 e Llama3.1) sob arquiteturas de agente único e multiagente (planejador–executor).

• Detecção Fraca de Inviabilidade: Os sistemas de agentes atuais exibem capacidade significativamente fraca de detectar tarefas inviáveis. A Taxa de Continuação Falsa (FCR) varia de 23,5% (GPT-5.5 de melhor desempenho) a 73,9% (Qwen3.5-9B). Isso indica que os agentes frequentemente desperdiçam recursos tentando tarefas impossíveis.
• Impacto na Eficiência: Falhar em detectar inviabilidade é custoso. O custo de token da execução falha ($TC_{task-failure}$) é 2,3x a 5,0x maior do que o custo da parada antecipada ($TC_{early-stop}$) entre os modelos.
• Melhoria com Multiagente: Arquiteturas de multiagente melhoram significativamente a detecção de inviabilidade. Ao introduzir uma etapa de planejamento que decompõe tarefas e identifica capacidades necessárias antes da execução, a FCR média cai de 54,6% (agente único) para 17,5%. O melhor par de multiagentes (Qwen-122B $\to$ GPT-OSS) alcançou uma FCR de 2,6%.
• Modo de Raciocínio: Habilitar modos de raciocínio geralmente melhora a detecção e reduz o consumo de tokens para parada antecipada, embora o efeito varie conforme o tamanho e a família do modelo.
• Anomalias de Escala: A consciência de viabilidade não escala uniformemente com o tamanho do modelo. Enquanto os modelos Qwen3.5 mostram detecção aprimorada com parâmetros maiores, os modelos Llama3.1 degradam (a FCR aumenta 29,3% de 70B para 405B), sugerindo que escolhas de treinamento e objetivos de alinhamento (por exemplo, recompensar o engajamento em vez da recusa) influenciam essa capacidade mais do que a contagem de parâmetros isoladamente.
• Contaminação de Benchmark: O estudo observou "falsos positivos" onde agentes geraram respostas corretas para tarefas inviáveis sem invocar ferramentas. A análise manual sugeriu que 91% desses casos envolveram a produção direta de respostas finais, provavelmente devido à memorização de saídas de tarefas a partir de corpora de pré-treinamento (contaminação de benchmark), em vez de raciocínio genuíno sobre a disponibilidade de ferramentas.

Significado e Contribuições

O artigo reivindica as seguintes contribuições:

1. Pipeline FeasiGen: O primeiro framework automático para construir tarefas de agente inviáveis identificando e mascarando dependências de execução críticas, alcançando mais de 94% de precisão na verificação humana.
2. Avaliação Consciente de Viabilidade: A introdução de métricas (FCR, razões de custo de token) que medem explicitamente a capacidade de um agente de reconhecer restrições e terminar a execução, abordando uma lacuna nos paradigmas de avaliação atuais que focam exclusivamente no sucesso da tarefa.
3. Evidência Empírica de Limitações: A avaliação abrangente revela que os agentes atuais, mesmo os de melhor desempenho, lutam para reconhecer condições inviáveis, levando a desperdício significativo de recursos.
4. Insights Arquiteturais: A descoberta de que a decomposição multiagente (especificamente a etapa de planejamento) é um fator dominante na melhoria da detecção de viabilidade, oferecendo um caminho prático para sistemas de agentes mais eficientes e robustos.

Os autores concluem que o sucesso da tarefa sozinho é insuficiente para avaliar o comportamento robusto de agentes em cenários práticos. Eles destacam que os benchmarks existentes podem superestimar a verdadeira capacidade do agente devido à memorização e à falta de raciocínio consciente de restrições, instando a comunidade a incorporar a detecção de viabilidade nos protocolos padrão de avaliação.