Resumo Técnico: PEARL – Modelagem de Otimização Interativa com Solver-no-Loop a partir de Linguagem Natural

1. Definição do Problema

A modelagem de otimização envolve a tradução de problemas de decisão do mundo real, tipicamente descritos em linguagem natural (LN), para formulações matemáticas formais e código de solver executável. Embora os Grandes Modelos de Linguagem (LLMs) tenham mostrado potencial para automatizar essa tarefa, as abordagens existentes tratam majoritariamente a tarefa como um problema de geração de etapa única (one-shot). Os métodos atuais dependem de prompting fixo, fluxos de trabalho desenhados manualmente ou ajuste fino supervisionado para produzir uma formulação completa em uma única passagem.

Este paradigma falha em capturar a natureza inerentemente interativa da modelagem no mundo real, onde especialistas humanos participam de ciclos repetidos de resolver–depurar–revisar. Erros menores em restrições, indexação ou vinculação de dados frequentemente tornam os modelos infactíveis ou produzem erros silenciosos de tempo de execução. Sistemas automatizados existentes raramente condicionam o processo ao feedback do solver, executam modelos parciais para diagnóstico de problemas ou aprendem quando terminar. Consequentemente, os outputs gerados frequentemente alucinam restrições ou falham em tempo de execução. O artigo argumenta que a modelagem de otimização deve ser reconceitualizada não como geração estática de texto, mas como um processo de decisão multi-turno e integrado a ferramentas, onde o agente aprende a interagir com solvers para verificar e refinar seus outputs.

2. Metodologia: Framework PEARL

Os autores introduzem o PEARL (modelagem de otimização interativa com aprendizado por reforço de agente integrado a ferramentas), um sistema que formaliza a modelagem de otimização como um Processo de Decisão de Markov Parcialmente Observável (POMDP) episódico.

2.1 Formulação POMDP

• Estado ($S$): O estado latente do ambiente inclui a semântica real do problema, erros de modelagem ocultos e estados internos do solver, que não são diretamente observáveis.
• Observação ($O$): O agente observa a especificação em LN, o histórico de conversas, artefatos de código intermediários e, crucialmente, o feedback da ferramenta (logs de execução, status do solver como "inviável" ou "ótimo", valores de objetivo e relatórios de validação).
• Espaço de Ação ($A$): O agente seleciona entre dois tipos de ações:
  1. Ações de Linguagem Natural: Revisar ou estender a formulação matemática (variáveis, objetivos, restrições) e planos de implementação.
  2. Ações de Invocação de Ferramenta: Acionar a ferramenta Execute (para rodar código Python e invocar solvers) ou a ferramenta Validate (para realizar verificações determinísticas).
• Terminação ($T$): O episódio termina quando o agente emite uma resposta final (formulação + código) ou esgota um orçamento de turnos/tempo.

2.2 Ambiente e Ferramentas

O ambiente fornece duas ferramentas de primeira classe:

• Execute: Executa o código Python gerado pelo modelo em um ambiente de execução (runtime) isolado e com recursos limitados. Ele retorna feedback estruturado incluindo o status do solver (ótimo, inviável, ilimitado), valores de objetivo e soluções extraídas.
• Validate: Realiza verificações determinísticas em artefatos (ex: satisfação de restrições) e compara valores de objetivo contra soluções de referência, se disponíveis.
  Diferente de trabalhos anteriores onde a execução é um avaliador post-hoc, o PEARL incorpora esses rastros e diagnósticos diretamente no fluxo de observação, permitindo que o agente revise iterativamente com base no feedback.

2.3 Design de Recompensa

A função de recompensa $R(\tau)$ é projetada para ser verificável e fundamentada no solver, evitando proxies baseados em texto. Ela consiste em dois componentes:

1. Recompensa de Formato ($r_{fmt}$): Fornece incentivos densos para a sintaxe correta de invocação de ferramentas e adesão aos formatos de saída, estabilizando o treinamento ao desencorajar interações inválidas.
2. Recompensa de Correção ($r_{corr}$): Fundamentada na execução do solver. Se existir um valor ótimo de referência $v_{label}$, o agente recebe uma recompensa positiva se o valor de objetivo da solução gerada $v_{pred}$ satisfizer $|v_{pred} - v_{label}| \le \epsilon$. Isso recompensa diretamente a correção do solver em vez de uma boa conformidade heurística.

2.4 Objetivo de Treinamento

O PEARL emprega Aprendizado por Reforço Agêntico com rollouts de múltiplos turnos.

• Otimização de Política: A política é inicializada a partir de um LLM pré-treinado e otimizada usando aprendizado por reforço estilo GRPO com clipping desacoplado (inspirado em DAPO) para lidar com retornos de alta variância em ambientes aumentados por ferramentas.
• Atribuição de Crédito: As recompensas são esparsas e atrasadas. O sistema normaliza os retornos ao nível de trajetória dentro de um lote para calcular vantagens, permitindo a atribuição de crédito de longo horizonte sobre toda a trajetória de resolver–depurar–revisar, em vez de apenas o output final.
• Currículo: O treinamento se adapta aos desafios específicos de otimização, movendo-se de instâncias curtas e totalmente especificadas para entradas de contexto longo e de estilo industrial, enquanto trata a não-determinística do solver como ruído do ambiente.

3. Principais Contribuições

1. Reconceptualização da Modelagem: O artigo formaliza a modelagem de otimização como um problema de decisão interativo e de múltiplos turnos, onde a execução do solver e o feedback de diagnóstico são tratados como componentes de estado observáveis, distintos da geração tradicional de etapa única.
2. RL Agêntico para Otimização: Introduz o primeiro método de RL agêntico especificamente para modelagem de otimização, permitindo que agentes aprendam quando executar, como revisar com base em diagnósticos do solver e quando terminar, em vez de depender de heurísticas fixas.
3. Superioridade Empírica com Modelos Compactos: Experimentos extensos demonstram que o PEARL melhora substancialmente as taxas de resolução verificadas em relação a baselines fortes de etapa única e aumentados por ferramentas. Notavelmente, o PEARL-Qwen3-4B (um modelo de 4 bilhões de parâmetros) supera significativamente modelos de propósito geral muito maiores, incluindo o DeepSeek-V3.2-685B, tanto em precisão macro quanto micro-média em tarefas de otimização.

4. Resultados Experimentais

Os autores avaliaram o PEARL através de diversos benchmarks (NL4Opt, MAMO, NLP4LP, OptMATH, IndustryOR, ComplexOR, Resocratic).

• Desempenho vs. Escala: O PEARL-4B alcançou um Pass@1 macro-médio de 69,71%, superando o DeepSeek-V3.2-685B (66,51%) e o GPT-5 (71,40%). Mostrou ganhos particularmente fortes em benchmarks complexos e subespecificados como MAMO ComplexLP e Resocratic.
• Interação vs. Estruturação (Scaffolding): Estudos de ablação confirmaram que os ganhos de desempenho derivam da política de interação aprendida, e não meramente da presença de uma estrutura de ferramenta. Um modelo base usando a mesma interface de ferramenta, mas sem o treinamento de RL agêntico, alcançou uma precisão significativamente menor.
• Análise de Modo de Falha: O treinamento do PEARL deslocou os modos de falha de erros de execução e parsing (ex: erro de código/runtime, extração de formato) para questões mais centradas na modelagem (ex: incompatibilidade de objetivo, inviabilidade). Isso indica que o agente aprendeu com sucesso a reparar erros de implementação e interagir com solvers, embora erros estruturais de formulação continuem sendo um desafio.
• Dinâmica de Treinamento: O comportamento de uso de ferramentas convergiu cedo no treinamento, enquanto o treinamento posterior refinou o detalhe e a estrutura da trajetória de modelagem. O Ajuste Fino Supervisionado (SFT) serviu como um bom ponto de partida (warm-start), mas não foi o principal motor do desempenho final em comparação ao RL agêntico fundamentado no solver.

5. Significância e Alegações

O artigo afirma que a interação aprendida e a utilização de feedback podem superar a escala bruta do modelo em problemas de tomada de decisão estruturada como a otimização. Ao tratar a modelagem como um processo interativo, o PEARL permite que modelos compactos (ex: 4 bilhões de parâmetros) alcancem desempenho comparável ou superior a modelos de propósito geral muito maiores, tornando a invocação agêntica repetida mais prática para implantação.

Os autores mantêm uma postura modesta em relação ao escopo de suas alegações:

• Os resultados demonstram eficácia no regime atual de NL-para-Opt público.
• Os benchmarks não esgotam a complexidade do mundo real; configurações empresariais estocásticas, robustas e altamente específicas de domínio permanecem sub-representadas.
• A validação baseada em solver é parcial; embora melhore a viabilidade, não pode garantir totalmente a correção estrutural contra especificações ambíguas.

Sugere-se que trabalhos futuros estendam a modelagem agêntica para cenários estocásticos e robustos com validadores mais ricos e políticas de interação mais adaptativas.