Generating Robust Portfolios of Optimization Models using Large Language Models

Resumo Técnico: Geração de Portfólios Robustos de Modelos de Otimização usando Modelos de Linguagem de Grande Escala

Declaração do Problema

A otimização matemática é um pilar da tomada de decisões estruturadas em domínios como alocação de recursos e planejamento. No entanto, a formulação de modelos de otimização que reflitam fielmente os requisitos do mundo real permanece um gargalo significativo, exigindo uma combinação rara de expertise de domínio e conhecimento profundo em otimização. Embora os Modelos de Linguagem de Grande Escala (LLMs) tenham demonstrado potencial na automação da geração de modelos a partir de descrições em linguagem natural, as abordagens existentes geralmente produzem um único modelo candidato. Isso representa um risco de confiabilidade, pois não há garantia de que qualquer modelo gerado por um LLM seja preciso ou de alta qualidade. Os métodos atuais frequentemente dependem de ajuste fino computacionalmente pesado para gerar um único modelo sem garantias de qualidade.

Metodologia

Os autores propõem um algoritmo inovador, leve e livre de treinamento, projetado para gerar um portfólio de modelos de otimização, em vez de uma única instância. A abordagem aproveita uma perspectiva dual sobre as capacidades dos LLMs, unificando-as em um único framework:

1. Gerador Estocástico: O LLM atua como um gerador ($g$), produzindo uma distribuição de modelos candidatos de otimização por meio de amostragem estocástica repetida. Isso captura trade-offs diversos inerentes à tarefa de otimização.
2. Avaliador de Raciocínio: O LLM atua como um juiz ou avaliador ($e$), classificando os candidatos gerados com base em sua alinhamento com a descrição do problema em linguagem natural, utilizando o conhecimento de mundo e as capacidades de raciocínio do modelo.

Construção do Portfólio:
O método constrói um portfólio $P(d; \alpha)$ para uma descrição de problema $d$ e um limiar definido pelo usuário $\alpha \in (0, 1)$. O portfólio inclui os candidatos de maior classificação $o^{(i)}_e$ tais que a probabilidade cumulativa de geração dos modelos incluídos atenda a uma condição específica:
$$k^*(\alpha) = \inf \left\{ k \in \mathbb{N} : \sum_{i=1}^{k} p(o^{(i)}_e) \geq 1 - \alpha \right\}$$
Essencialmente, o portfólio compreende os modelos de maior classificação cuja probabilidade combinada de geração excede $1-\alpha$. Isso garante que o portfólio inclua modelos que sejam altamente prováveis (do gerador) ou altamente classificados (pelo avaliador).

Contribuições Teóricas e Garantias

O artigo fornece garantias teóricas sobre a "cobertura" do portfólio — definida como a proporção de candidatos de alta qualidade (de acordo com uma classificação de preferência humana $\pi^*$) incluídos no conjunto. Os autores definem duas condições de alinhamento:

• Alinhamento do Avaliador: A classificação do avaliador corresponde à classificação humana.
• Alinhamento do Gerador: O gerador atribui probabilidades mais altas a modelos que são classificados mais alto pelos humanos.

O resultado teórico central é que o portfólio é garantido para conter candidatos de alta qualidade se ou o gerador ou o avaliador estiverem alinhados com humanos:

• Robustez do Avaliador: Se o avaliador estiver alinhado, o portfólio alcança cobertura total ($c(P) = 1$), independentemente da qualidade do gerador.
• Robustez do Gerador: Se o gerador estiver alinhado, o portfólio alcança cobertura positiva ($c(P) > 1 - 2\alpha/k^*(\alpha)$) para qualquer avaliador, desde que $\alpha < 0,5$.

Isso estabelece um processo de "humano no loop", onde um tomador de decisões pode revisar múltiplos candidatos de alta qualidade antes de comprometer-se com um, mitigando o risco de confiar em uma única saída potencialmente falha de um LLM.

Resultados Experimentais

Os autores validam sua abordagem por meio de dois conjuntos de experimentos:

1. Simulação com Dados Sintéticos:

   • Os autores simularam vários tipos de geradores e avaliadores com diferentes níveis de alinhamento humano (Alinhado, Levemente Alinhado, Uniforme, Desalinhado) e taxas de erro do avaliador.
   • Descobertas: Os resultados confirmaram os limites teóricos. Mesmo com um gerador "Levemente Alinhado" e variando os erros do avaliador, o portfólio alcançou cobertura positiva para $\alpha < 0,5$. Os experimentos ilustraram ainda o trade-off entre o tamanho do portfólio e a cobertura: maior alinhamento em qualquer componente permitiu portfólios menores enquanto mantinham alta cobertura.

2. Modelagem de Otimização do Mundo Real (Conjunto de Dados NL4LP):

   • O método foi aplicado a 25 problemas de otimização do conjunto de dados NL4LP.
   • Configuração: Um gerador (gpt-5.4-nano) produziu 50 modelos candidatos por problema. Dois tipos de avaliadores foram testados: um LLM como juiz (pontuação baseada na descrição do problema e na verdade fundamental) e um ranqueador baseado na probabilidade do gerador.
   • Descobertas: Os portfólios propostos superaram consistentemente os portfólios construídos por amostragem aleatória. Especificamente, portfólios avaliados usando as capacidades de raciocínio do LLM alcançaram pontuações mais altas do que aqueles que dependiam exclusivamente das probabilidades do gerador. Os resultados demonstraram que a abordagem aproveita efetivamente as forças complementares das capacidades generativas e de raciocínio para produzir conjuntos robustos de modelos de otimização.

Significância e Alegações

O artigo alega oferecer uma solução principiante para a imprevisibilidade da geração de modelos únicos por LLMs em otimização. Ao mudar de um paradigma de geração "única vez" para uma abordagem de "portfólio", o método fornece garantias de robustez: candidatos de alta qualidade são garantidos para estar presentes no portfólio, desde que pelo menos um componente (gerador ou avaliador) esteja bem alinhado com as preferências humanas.

Os autores enfatizam que sua abordagem é livre de treinamento e leve, contrastando com trabalhos anteriores que exigem ajuste fino. A significância reside em habilitar um processo de tomada de decisões onde humanos podem revisar um conjunto curado de candidatos, garantindo que a seleção final seja retirada de um pool que teoricamente contém a solução ótima, mesmo na presença de limitações dos LLMs. O trabalho não alega substituir especialistas humanos, mas sim aumentá-los, reduzindo o espaço de busca para um conjunto de alta probabilidade de modelos viáveis.