Resumo Técnico: Opti-Agent-Bench

Declaração do Problema

Os agentes baseados em Grandes Modelos de Linguagem (LLMs) estão sendo cada vez mais implantados para resolver problemas de otimização, porém os benchmarks existentes falham em avaliar suas capacidades em cenários do mundo real. A limitação primária dos atuais frameworks de avaliação é sua dependência de formulações matemáticas pré-estruturadas (ex: "minimizar o atraso total ponderado sujeito a restrições de capacidade"). Esses benchmarks permitem que os agentes tenham sucesso através do reconhecimento de padrões contra templates acadêmicos conhecidos (como o TSP ou o Problema da Mochila) em vez de demonstrar uma compreensão empresarial genuína. Consequentemente, modelos que alcançam alta precisão em problemas sintéticos ou de livros didáticos frequentemente colapsam quando confrontados com tarefas de escala industrial, onde a estrutura de otimização deve ser inferida a partir de descrições de negócios desordenadas e ambíguas. Além disso, os benchmarks convencionais tipicamente dependem de avaliações de métrica única (ex: valor da função objetivo ou passagem/falha binária), o que mascara modos de falha críticos, como omissão de restrições, inconsistência entre modelo e código, e divergência entre relatório e implementação.

Metodologia

Os autores introduzem o Opti-Agent-Bench, um benchmark de ponta a ponta projetado para avaliar agentes de P&D de otimização ao longo de todo o pipeline: desde a compreensão de descrições em linguagem de negócios até a modelagem matemática, seleção de algoritmos, implementação de código e geração de relatórios de solução.

1. O Framework de Validade ORAC

Para garantir o rigor científico, o benchmark utiliza o Optimization R&D Agent Checklist (ORAC), um framework de validade de dois níveis:

• Validade de Formulação do Problema: Garante que as tarefas sejam genuinamente desafiadoras e representativas da complexidade do mundo real. Isso é alcançado através de quatro princípios de design:
  • Autenticidade Semântica de Negócios: As tarefas utilizam terminologia específica do domínio (ex: "tempo de inatividade de troca", "taxa de rendimento") em vez de jargão acadêmico.
  • Design Anti-Template: Cada tarefa inclui "armadilhas" estruturais (ex: restrições ocultas, objetivos não padronizados) que fazem com que templates padrão produzam soluções inviáveis ou subótimas.
  • Acoplamento de Múltiplas Restrições: As restrições interagem de forma não trivial, exigindo raciocínio sistêmico holístico.
  • Anti-Reconhecimento de Padrões: As descrições evitam palavras-chave que revelem diretamente o tipo de problema, forçando os agentes a inferir a estrutura a partir do contexto.
• Validade da Solução: Garante que as métricas de pontuação reflitam fielmente a qualidade da solução. Distingue entre sucesso superficial e capacidade genuína, aplicando verificações para:
  • Viabilidade vs. Correção: Verificando soluções contra restrições de um Oráculo de verdade fundamental (ground-truth), não apenas contra as restrições declaradas pelo agente.
  • Valor Objetivo vs. Fidelidade do Modelo: Detectando "correção coincidente", onde um modelo falho gera um bom valor objetivo.
  • Código Executável vs. Implementação Correta: Realizando "diferenças semânticas" entre formulações matemáticas e o código.
  • Relatório Coerente vs. Relatório Fiel: Cruzando relatórios com logs de execução reais para detectar alucinações.

2. Arquitetura de Avaliação Modular

O benchmark decompõe o pipeline de otimização em quatro módulos independentemente avaliáveis, com verificações de consistência entre módulos:

1. Compreensão do Problema: Identificação de objetivos, variáveis e restrições a partir de linguagem natural.
2. Modelagem Formal: Tradução da compreensão em formulações matemáticas rigorosas.
3. Design de Algoritmo e Implementação: Seleção e codificação de algoritmos de solução.
4. Geração de Relatórios: Comunicação de resultados e insights.

Métricas de Consistência: O framework introduz três métricas de consistência entre módulos para detectar desalinhamentos:

• Consistência Compreensão–Modelo (C12): O modelo reflete fielmente o problema compreendido?
• Consistência Modelo–Código (C23): O código implementa fielmente o modelo declarado?
• Consistência Código–Relatório (C34): O relatório descreve com precisão a implementação?

3. Tarefas do Benchmark e Configuração Experimental

O benchmark compreende 12 tarefas de escala industrial abrangendo diversos tipos de problemas, incluindo programação inteira, otimização robusta, programação estocástica, processos de decisão de Markov (MDP), programação de cone de segunda ordem (SOCP) e otimização não convexa.

• Design de Tarefa: Cada tarefa inclui armadilhas anti-template, instâncias de múltiplas escalas (pequena, média, grande) e modelos de referência verificados por especialistas.
• Agente de Avaliação: Um avaliador automatizado (Claude Opus 4.6) atua como um especialista sênior em Pesquisa Operacional, aplicando rubricas estruturadas com checkpoints de peso por severidade (Crítico, Maior, Menor) para pontuar os outputs dos agentes.
• Sistema Experimental: Os autores avaliam os agentes usando um agente de otimização dedicado construído sobre o framework RD-Agent, que desenvolve soluções iterativamente através de loops de exploração de dados, geração de código e depuração.

Principais Contribuições

1. Primeiro Benchmark de Ponta a Ponta: O Opti-Agent-Bench é o primeiro benchmark a avaliar agentes de otimização em todo o pipeline, desde requisitos de linguagem de negócios até relatórios de solução, cobrindo nove cenários de escala industrial.
2. Arquitetura Modular com Verificações de Consistência: Introduz um sistema de avaliação modular que assessora independentemente a compreensão, modelagem, implementação e relatório, enquanto mede explicitamente a consistência entre estágios para diagnosticar pontos específicos de falha.
3. Framework de Validade ORAC: O desenvolvimento de um framework de validade de dois níveis (ORAC) que garante tanto o rigor do design da tarefa (via armadilhas anti-template) quanto a integridade da pontuação (via verificação semântica).
4. Identificação de Modos de Falha: Através de experimentos sistemáticos, os autores identificam modos de falha críticos invisíveis para métricas convencionais, incluindo omissão de restrições sob linguagem de negócios, inconsistência modelo-código, colapso de escalabilidade e divergência relatório-implementação.

Resultados e Descobertas

O artigo relata que os atuais agentes baseados em LLM exibem uma fragilidade significativa ao transitar de problemas acadêmicos estruturados para cenários de negócios do mundo real.

• Falha de Reconhecimento de Template: Agentes que dependem de reconhecimento de padrões falham catastroficamente em tarefas com armadilhas anti-template. Por exemplo, em uma tarefa personalizada de escalonamento de material de rolo, agentes ancorados no template do "Problema de Corte e Estoque" falharam em reconhecer o problema como uma tarefa de escalonamento online dinâmica com restrições dependentes do tempo, levando a custos de transporte subótimos.
• Detecção de Inconsistência: A avaliação modular revelou que os agentes frequentemente produzem modelos matematicamente corretos que não são fielmente implementados em código, ou geram relatórios que descrevem soluções idealizadas em vez do código realmente executado.
• Problemas de Escalabilidade: Métodos que têm sucesso em instâncias pequenas frequentemente falham em escala, destacando uma lacuna de robustez que avaliações de métrica única não detectam.
• Lacunas de Desempenho: Mesmo modelos avançados lutam com a "lacuna de formulação" — a distância cognitiva entre a linguagem de negócios e a estrutura matemática — resultando em desempenho próximo de zero em instâncias de escala industrial comparado à alta precisão em problemas de livros didáticos.

Significância

O artigo argumenta que o campo da P&D de otimização atingiu um ponto onde a capacidade de traduzir requisitos de negócios complexos e ambíguos em modelos matemáticos corretos é o principal gargalo, e não a capacidade de resolver problemas bem formulados. Ao mudar o paradigma de avaliação de "resolver um problema conhecido" para "descobrir e resolver um problema desconhecido", o Opti-Agent-Bench fornece um padrão necessário para avaliar a prontidão real dos agentes de LLM para implantação industrial. O trabalho enfatiza que a verdadeira capacidade de otimização exige compreensão profunda do domínio, modelagem criativa e consistência rigorosa em todo o pipeline de desenvolvimento, capacidades que os benchmarks atuais superestimam sistematicamente.