Resumo Técnico: Anchor – Mitigação da Deriva de Artefatos na Geração de Benchmarks para Agentes

Declaração do Problema

Os benchmarks atuais para agentes de IA empresariais sofrem de um defeito fundamental de construção denominado deriva de artefatos. Na geração tradicional de benchmarks, os quatro componentes críticos de uma tarefa — a instrução ($I$), o ambiente ($E$), a solução oráculo ($x^*$) e o verificador ($V$) — são frequentemente criados por meio de processos fracamente acoplados. Esse desacoplamento leva a inconsistências onde os artefatos discordam sobre os requisitos da tarefa. Por exemplo, um ambiente pode carecer de dados assumidos pela instrução, um oráculo pode depender de um estado omitido pelo ambiente, ou um verificador pode aceitar resultados não solicitados pela instrução. Essas inconsistências resultam em ambientes que são insolúveis, suscetíveis à exploração de recompensas (reward hacking) ou simplesmente inconsistentes, criando uma lacuna entre as pontuações do benchmark e o desempenho em produção no mundo real.

Metodologia: O Pipeline Anchor

Para abordar a deriva de artefatos, os autores introduzem o Anchor, um pipeline de geração de tarefas que compila todos os quatro artefatos de tarefa a partir de uma única especificação resolvida. O pipeline opera da seguinte forma:

1. Formalização: Um especialista de domínio e um engenheiro formalizam um fluxo de trabalho empresarial (por exemplo, priorização de faturas, programação de produção) como um programa de restrições paramétrico utilizando OR-Tools CP-SAT. Essa especificação inclui variáveis de decisão, restrições de regras de negócios e uma métrica de objetivo.
2. Resolução: Para um conjunto dado de parâmetros ($\theta$), o solucionador CP-SAT rejeita a instância como inviável ou certifica uma solução ótima ($x^*_\theta$). Esse resultado, combinado com os parâmetros e restrições, forma uma especificação resolvida ($S_\theta$).
3. Compilação Determinística: Quatro camadas de tradução projetam deterministicamente $S_\theta$ nos artefatos da tarefa:
   • Gerador de Instruções: Renderiza parâmetros, restrições e objetivos em linguagem natural.
   • Gerador de Configuração: Escreve registros iniciais amostrados no contêiner do ambiente.
   • Gerador de Oráculo: Escreve a solução certificada do solucionador como o estado terminal de referência.
   • Gerador de Verificador: Avalia estados terminais contra as restrições e o objetivo do programa.

Como todos os artefatos são projeções determinísticas da mesma especificação resolvida, as inconsistências são mitigadas por construção. O pipeline inclui cinco verificações ponta a ponta (pontuação de agente sem operação, replay do oráculo, julgamento de consistência por LLM, faróis de exploração de recompensas e verificações pontuais de especialistas) para expor defeitos residuais.

Principais Contribuições

1. O Pipeline Anchor

Uma nova estrutura de criação de tarefas que unifica a geração de instrução, ambiente, oráculo e verificador a partir de um único programa de restrições. Essa abordagem garante que a dificuldade seja ajustável via parâmetros e que as soluções ótimas sejam matematicamente certificadas, permitindo currículos de treinamento verificáveis.

2. ERP-Bench

Um benchmark de 300 tarefas de longo horizonte abrangendo fluxos de trabalho de compras e manufatura dentro do Odoo 19, um sistema ERP de código aberto de nível de produção.

• Escopo: Abrange 29 padrões de fluxo de trabalho, incluindo reposição rotineira, recuperação de interrupções e cenários de produção e atendimento.
• Complexidade: As tarefas envolvem dados estruturados (pedidos de venda, pedidos de compra, ordens de produção, listas de materiais) e exigem que os agentes naveguem por regras de negócios complexas (prazos de entrega, quantidades mínimas de pedido, restrições de capacidade).
• Verificação: O verificador utiliza um sistema de pontuação ponderada (25% satisfação de restrições, 60% otimalidade, 15% rastreabilidade) com portões de zero absoluto para falhas críticas.

3. Avaliação Abrangente

Os autores avaliaram cinco modelos de fronteira (GPT-5.5, Claude Opus 4.7, GLM-5.1, GLM-5V-Turbo, Kimi K2.5) em três harnesses (codificação, navegador, uso de computador) ao longo de 18.000 tentativas.

• Harnesses: Construídos sobre o toolkit de código aberto pi-mono para refletir andaimes do mundo real em vez de wrappers específicos de benchmark.
• Métricas: Avaliados Pass@1, Pass@5, pontuações médias e a lacuna entre viabilidade e otimalidade.

Resultados

1. Correlação de Dificuldade

A intervenção paramétrica de dificuldade prevê com sucesso o desempenho realizado. Em todos os modelos e harnesses, as pontuações Pass@5 caem monotonicamente dos níveis fáceis para os difíceis:

• Codificação: 70,5% $\to$ 22,3%
• Navegador: 46,5% $\to$ 7,7%
• Uso de computador: 56,0% $\to$ 9,5%

Parâmetros da tarefa, como o número de centros de trabalho, ordens de produção e fornecedores distintos, mostram correlações negativas fortes com o Pass@1.

2. A Lacuna entre Viabilidade e Otimalidade

Existe uma lacuna significativa entre satisfazer restrições e alcançar a otimalidade. Em todos os modelos, os agentes satisfazem as restrições explícitas da tarefa em 26,1% das tentativas, mas alcançam uma solução totalmente ótima em apenas 17,4%. O modelo mais forte (GPT-5.5 em codificação) apresenta uma lacuna de 23,4 pontos. A degradação da pontuação é impulsionada principalmente por restrições explícitas quebradas (viabilidade) e não por trade-offs subótimos entre planos viáveis.

3. Desempenho do Harness

Os modelos performam significativamente melhor no harness de codificação (orientado a API) em comparação com os harnesses de navegador ou uso de computador.

• Harnesses de GUI resolvem 16–56 pontos percentuais a menos de tarefas do que o harness de codificação.
• Harnesses de GUI custam 3,1–14,3 vezes mais por tentativa de tarefa devido a contagens de turnos mais altas (limitações de agrupamento de ações em UI versus API).
• Nenhuma instância de exploração de recompensas (reward hacking) foi observada durante a avaliação.

4. Confiabilidade

Os agentes de fronteira atuais ainda não são confiáveis o suficiente para implantação sem supervisão. Embora o Pass@5 (pelo menos um sucesso em cinco tentativas) seja mensurável, o Pass5 (todas as cinco tentativas tendo sucesso) é aproximadamente uma ordem de magnitude menor (por exemplo, 9,8% em codificação), indicando alta variância no desempenho do agente.

Significado e Alegações

O artigo afirma que Anchor e ERP-Bench fornecem uma receita concreta para construir ambientes de avaliação auditáveis para trabalho de agentes economicamente valioso. Ao formalizar fluxos de trabalho empresariais em programas de otimização de restrições, os autores demonstram que é possível gerar benchmarks realistas, verificáveis e escaláveis que mitigam a deriva de artefatos que aflige as avaliações atuais.

Os autores posicionam este trabalho como um passo para fechar a lacuna entre as pontuações do benchmark e o desempenho em produção. Eles observam que, embora a estrutura priorize tarefas viáveis, reprodutíveis e exatamente graduáveis, ela é naturalmente adequada para trabalho empresarial visível em estados terminais do sistema (como operações de ERP), mas menos adequada para fluxos de trabalho que dependem de julgamento tácito ou negociação. O lançamento do gerador de tarefas e do conjunto de dados em erpbench.ai destina-se a apoiar pesquisas adicionais sobre treinamento e avaliação de agentes verificáveis.