Resumo Técnico: COOPA – Uma Arquitetura de Agente LLM Modular para Problemas de Pesquisa Operacional

1. Definição do Problema

A Pesquisa Operacional (PO) fornece uma estrutura rigorosa para a tomada de decisões de alto risco em diversos domínios, como cadeias de suprimentos, energia e finanças. No entanto, a modelagem eficaz de PO permanece intensiva em termos de especialização, exigindo a tradução de descrições em linguagem natural para variáveis matemáticas, objetivos e restrições, seguidos pela implementação do solver.

Sistemas recentes de Grandes Modelos de Linguagem (LLMs) tentaram automatizar esse pipeline, mas sofrem de três limitações críticas:

1. Baixa Precisão em Problemas Complexos: O gargalo principal não é a geração de código (que frequentemente passa), mas sim os erros de formulação. Estudos indicam que 50–70% das falhas decorrem de formulações incompletas, definições de variáveis incorretas ou objetivos mal especificados. Os sistemas atuais tipicamente geram uma única formulação em uma única passagem, carecendo de mecanismos para corrigir erros semânticos antes da execução do código.
2. Saídas Opacas: Os sistemas existentes fornecem formulações e soluções, mas carecem de proveniência ao nível de elemento. Os usuários não conseguem rastrear elementos específicos do modelo (parâmetros, restrições) de volta ao texto de origem, forçando a reconstrução manual do raciocínio do LLM para verificar a correção.
3. Suporte a Solvers Rígido: A maioria dos sistemas é codificada para backends de solver específicos (ex: Gurobi, Pyomo). Adaptar-se a novas classes de problemas (ex: multi-objetivo, não convexos) ou bibliotecas de solvers frequentemente exige retreinamento ou mudanças arquiteturais significativas.

2. Metodologia: A Arquitetura COOPA

Os autores propõem o COOPA (COoperative OPerations Agent), um sistema multi-agente modular e hierárquico construído sobre o smolagents. Ele aborda as limitações identificadas através de três componentes principais:

A. Modelagem Estruturada com Rastreabilidade de Origem

Em vez de geração de formato livre, o COOPA mapeia as descrições dos problemas para um esquema estruturado (baseado em Pydantic) contendo quatro tipos de elementos:

• Parâmetros: Valores e domínios com referências de origem.
• Variáveis: Variáveis de decisão com limites e referências de origem.
• Objetivo: Direção e expressão matemática com referências de origem.
• Restrições: Expressões e tipos com referências de origem.

Cada elemento inclui um campo SourceReference citando o texto exato da descrição do problema que o motivou. Isso cria uma trilha de auditoria do enunciado do problema até o modelo matemático, facilitando a verificação humana.

B. Seleção de Modelo Iterativa Baseada em Confiança

Para mitigar erros de formulação, o COOPA não se compromete com uma única saída. Em vez disso, ele emprega um loop iterativo:

1. Geração: O sistema gera $k$ modelos candidatos (padrão $k=3$).
2. Autoavaliação: Para cada candidato, o LLM atribui uma pontuação de confiança (0–100) e uma explicação em linguagem natural para cada uma das quatro dimensões (Parâmetros, Variáveis, Objetivo, Restrições).
3. Seleção: O sistema seleciona o modelo final usando um critério max-min: $M^* = \arg\max_i (\min_j c_{i,j})$. Isso seleciona o candidato com a maior confiança no pior caso, garantindo que nenhuma dimensão individual seja criticamente fraca.
4. Refinamento: Candidatos subsequentes ($M_2, \dots, M_k$) são gerados usando o histórico dos candidatos anteriores e suas avaliações, permitindo que o modelo aborde explicitamente as dimensões de baixa confiança.

C. Despacho de Multi-Solver

O COOPA desacopla a classificação do problema da execução do solver. Um agente despachante classifica o modelo selecionado e o encaminha para um de quatro Agentes de Otimização especializados:

• Otimizador Matemático: Lida com LP, MIP e NLP usando Pyomo (com GLPK/IPOPT).
• Otimizador Combinatório: Lida com roteamento, escalonamento e atribuição usando Google OR-Tools.
• Otimizador Metaheurístico: Lida com problemas não convexos, caixa-preta e multi-objetivo usando pymoo (ex: NSGA-II).
• Otimizador Geral: Lida com tarefas baseadas em simulação ou numéricas customizadas usando Python/NumPy padrão.

Esta arquitetura permite que novos backends de solver sejam adicionados simplesmente definindo um novo agente, sem modificar as etapas de modelagem ou seleção.

3. Principais Contribuições

1. Modelagem Iterativa Baseada em Confiança: Um mecanismo inovador que gera múltiplas formulações candidatas e seleciona a mais robusta com base em um critério de confiança max-min, visando diretamente o gargalo da etapa de formulação.
2. Rastreabilidade de Origem: Um esquema de saída estruturado que vincula cada elemento de modelagem a um texto de origem citado, fornecendo uma trilha de auditoria para verificação humana.
3. Despacho de Multi-Solver Extensível: Uma arquitetura modular que roteia problemas para agentes de solver especializados (Pyomo, OR-Tools, pymoo, etc.), permitindo o suporte a diversas classes de problemas de PO sem retreinamento.
4. Avaliação Abrangente: Uma avaliação de benchmark em três conjuntos de dados (ComplexLP, IndustryOR, BWOR), oito backbones de LLM (incluindo GPT-5, GPT-4.1, o3, o4-mini, Gemini-3-Flash, Qwen3) e quatro baselines.

4. Resultados Experimentais

• Desempenho: O COOPA alcança a maior precisão média macro (64,8%) entre todos os backbones, superando o próximo melhor método (OR-LLM-Agent com 61,6%) em 3,2 pontos percentuais. Ele atinge o melhor desempenho em 6 de 8 backbones de LLM.
• Ganhos: A melhoria sobre o baseline mais forte é de até 6,7 pontos percentuais (em GPT-5) e 6,3 pontos (em GPT-4.1).
• Estudo de Ablação: Remover o componente de modelagem iterativa (resolvendo apenas o primeiro candidato) reduz a precisão média entre modelos de 64,8% para 61,8%. Isso confirma que a modelagem iterativa baseada em confiança é o principal motor dos ganhos de desempenho do COOPA.
• Correlação de Confiança: Existe uma correlação positiva ($r=0,58, p=0,003$) entre a melhoria da pontuação de confiança e os ganhos de precisão, sugerindo que o avaliador de confiança fornece um sinal genuíno para selecionar melhores formulações.
• Despacho de Solver: Embora 91,1% dos problemas nos benchmarks atuais tenham sido roteados para o Otimizador Matemático (refletindo a dominância de LP/MIP nos datasets), estudos de caso demonstram a capacidade do sistema de rotear corretamente problemas multi-objetivo para o Otimizador Metaheurístico (pymoo), gerando frentes de Pareto completas onde baselines de solver único falharam ou retornaram soluções escalares subótimas.

5. Significância e Alegações

O artigo afirma que o COOPA aborda o "gargalo da formulação" na PO baseada em LLM ao mudar da geração de passagem única para a autocorreção iterativa e verificação estruturada.

• Interpretabilidade: Ao fornecer rastreabilidade de origem e explicações de confiança, o COOPA vai além da geração "caixa-preta", permitindo que profissionais auditem o raciocínio por trás de escolhas de modelagem específicas.
• Escalabilidade: O design modular permite que o sistema se adapte a novos backends de solver e classes de problemas (ex: otimização multi-objetivo) sem retreinar o LLM central, uma limitação das abordagens baseadas em fine-tuning.
• Papel da Iteração: Os autores enfatizam que o refinamento iterativo é mais benéfico quando o modelo de base é forte o suficiente para se autocorrigir, mas ainda não está saturado. O mecanismo atua como um "equalizador", proporcionando ganhos significativos para modelos mais fracos (ex: +8,9% no Qwen3-30B) enquanto mantém ou melhora ligeiramente o desempenho em modelos mais fortes.

Limitações e Trabalho Futuro:
Os autores reconhecem que o despacho de multi-solver é atualmente menos validado empiricamente devido à dominância de LP/MIP nos benchmarks existentes. Eles observam que o processo iterativo aumenta o custo computacional (aproximadamente 7x mais uso de tokens em comparação com métodos de passagem única). O trabalho futuro envolve testar em benchmarks mais amplos com tipos de problemas diversos, avaliar o impacto da rastreabilidade na eficiência da verificação humana através de estudos com usuários e integrar modelos baseados em treinamento (ex: ORLM) como agentes de base.

O artigo posiciona o COOPA não como um tomador de decisão autônomo, mas como um sistema de suporte à decisão projetado para reduzir a barreira de especialização para a modelagem de PO, mantendo a supervisão humana através da transparência e auditabilidade.