Resumo Técnico: DecisionBench

Declaração do Problema

Agentes de Modelos de Linguagem de Grande Escala (LLM) estão sendo cada vez mais implantados para tarefas de longo horizonte que envolvem minutos a horas de uso de ferramentas. Uma ineficiência crítica nos fluxos de trabalho agênicos atuais é a tendência de resolver subtarefas localmente usando um único modelo, frequentemente superdimensionado, em vez de delegar para modelos pares menores ou com especializações diferentes. Embora o roteamento de subtarefas para pares seja um potencial deslocador da fronteira de Pareto, os praticantes atualmente carecem de um benchmark para medir a delegação emergente — a capacidade de um agente decidir autonomamente se deve delegar, a quem e quais informações fornecer sobre os pares. Benchmarks existentes (por exemplo, GAIA, $\tau$-bench, BFCL) focam na capacidade de agente único, enquanto pesquisas sobre sistemas multiagente frequentemente dependem de atribuições de papel codificadas manualmente em vez de comportamentos emergentes. Além disso, benchmarks de roteamento consciente de custos geralmente tratam o roteamento como uma política aprendida externa, e não como um comportamento intrínseco do orquestrador.

Metodologia: O Substrato DecisionBench

Os autores introduzem o DecisionBench, um substrato de benchmark fixo projetado para isolar e medir a delegação emergente em fluxos de trabalho agênicos de longo horizonte. O substrato é agnóstico quanto à forma como as informações dos pares são geradas ou entregues, permitindo a avaliação de diversos métodos de orquestração.

Componentes Principais

1. Suite de Tarefas: Um conjunto fixo de tarefas de longo horizonte extraídas de três benchmarks estabelecidos: GAIA (QA de uso geral de ferramentas), $\tau$-bench (diálogo agente-ferramenta-usuário) e BFCL multi-turn (chamada de função). Estes são divididos em um conjunto de Etapa 1 (perfilamento) e um conjunto de Etapa 2 (avaliação) por meio de uma amostragem estratificada determinística de 20/80.
2. Pool de Modelos Pares: Um pool heterogêneo de 11 modelos de 7 famílias de fornecedores (OpenAI, Anthropic, Google DeepMind, DeepSeek, Moonshot, Qwen, MiniMax), fixados em uma data específica de congelamento (2026-04-29) para garantir reprodutibilidade.
3. Interface de Delegação: O agente orquestrador opera com uma ferramenta call_model(name, subtask, budget_usd) para delegar subtarefas. Uma ferramenta opcional read_profile(model) permite que o orquestrador recupere descrições estruturadas dos pares.
4. Camada de Anotação: Uma taxonomia fixa de 7 habilidades (por exemplo, adesão ao esquema de chamada de ferramenta, rastreamento de estado multi-turno, recuperação de informações) e um marcador de etapas determinístico e baseado em regras. Esta camada atribui habilidades a etapas de trajetória sem julgamento de LLM, permitindo a avaliação em nível de processo de se uma delegação foi enviada a um par bem adequado para a habilidade específica da subtarefa.
5. Suite de Métricas: Um perfil multieixo cobrindo:
   • Métricas de Resultado: Qualidade da tarefa final, custo e latência.
   • Métricas de Processo: Taxa de delegação, fidelidade de roteamento-at-$k$ (com que frequência o agente escolhe os $k$ melhores pares para uma dada habilidade), preferência própria do fornecedor e um teto de delegação contrafactual.

Intervenções de Referência

Para caracterizar o substrato, os autores instanciam cinco condições de referência:

• Cego: Nenhuma informação sobre pares; delega com base apenas em priores.
• Consciente-C1/C2/C3: Descrições de pares pré-carregadas construídas via (C1) rubricas curadas, (C2) estatísticas determinísticas de traços da Etapa 1, ou (C3) resumos de julgamento de LLM duplo fora do pool. Estas são emparelhadas com acesso sob demanda a read_profile.
• Consciente-Apenas-Ferramenta: Idêntico ao C2, mas com a descrição pré-carregada suprimida, isolando o efeito do canal de entrega (ferramenta sob demanda vs. prompt pré-carregado).

Contribuições Principais

1. O Substrato de Benchmark: Um framework reutilizável compreendendo uma suite de tarefas fixa, pool de pares, interface de delegação, camada de anotação e suite de métricas multieixo especificamente para delegação emergente.
2. Suite de Intervenções de Referência: Um conjunto de baselines (C1, C2, C3 e a ablação do canal de entrega) para iniciar comparações para futuros métodos de orquestração.
3. Caracterização Empírica: Uma varredura abrangente em 11 modelos, 3 benchmarks e 5 condições ($N=23.375$ instâncias de tarefas) revelando que métricas em nível de processo detectam sinais de orquestração que métricas baseadas apenas em resultado ignoram.
4. Lançamento de Artefatos: O substrato, camada de anotação, 33 cartões de perfil, pipeline de análise e 220 arquivos de execução são lançados para permitir pesquisa reprodutível.

Resultados Principais

A varredura experimental produziu três achados primários:

1. Qualidade é Plana entre Condições: A qualidade média da tarefa final é estatisticamente indistinguível entre as quatro condições de consciência ($|\beta| \le 0,010, p \ge 0,21$). Confiar apenas em métricas de qualidade ignoraria completamente o sinal de orquestração.
2. O Canal de Entrega Domina o Conteúdo: A fidelidade de roteamento varia significativamente.
   • O acesso sob demanda à ferramenta (aware-tool-only) mais que duplica a precisão de roteamento-at-1 em comparação com a baseline cega (14,2% $\to$ 29,5%) enquanto mantém paridade de qualidade e menor custo médio.
   • Descrições pré-carregadas capturam menos da metade desse ganho (C2: 20,8%, C3: 15,5%, C1: 7,5%).
   • Isso indica que o mecanismo de entrega de informações (ferramenta recuperável vs. prompt estático) é mais crítico do que o conteúdo específico da descrição do par.
3. Espaço Subutilizado Significativo: Um teto de delegação contrafactual (assumindo delegação perfeita de etapa única para o melhor par da Etapa 1) coloca o desempenho perfeito 15–31 pontos percentuais acima do desempenho medido em cada suite. Isso localiza uma grande lacuna para que futuros métodos de orquestração fechem.
4. Preferência Própria do Fornecedor: Agentes exibem um viés estilo "LLM-como-julgador", delegando excessivamente para pares da própria família de fornecedor em taxas 1,5–3,7$\times$ maiores que o acaso.

Significado e Alegações

O artigo afirma que o DecisionBench desloca o paradigma de avaliação de apenas resultado (qualidade) para análise em nível de processo (fidelidade, comportamento de roteamento). O significado principal reside em demonstrar que:

• Métricas de processo são essenciais: Um método de orquestração pode melhorar significativamente a fidelidade de roteamento e a eficiência de custos sem se traduzir imediatamente em maior qualidade de tarefa final nas configurações atuais.
• Mecanismos de entrega importam: O "como" da informação do par (ferramentas sob demanda) é um motor mais forte da qualidade de delegação do que o "o quê" (conteúdo da descrição).
• Espaço substancial para melhoria: A lacuna entre o desempenho atual e o teto contrafactual sugere que os métodos de orquestração atuais estão longe do ótimo, particularmente para agentes de capacidade média.

Os autores permanecem modestos, observando que os ganhos de fidelidade ainda não se traduziram em melhorias de qualidade, possivelmente devido a baixas taxas de delegação, sinal parcial nas descrições dos pares ou saturação de atenção por prompts pré-carregados. Eles postulam que fechar essa lacuna requer delegar com mais frequência, delegação multi-etapa ou feedback mais rico durante a tarefa — cenários para os quais o DecisionBench foi projetado para avaliar.