Resumo Técnico: Modelos de Linguagem de Grande Escala como Geradores Amortizados da Frente de Pareto para Otimização Convexa Bi-Objetivo com Restrições

1. Formulação do Problema

O artigo aborda o desafio de gerar frentes de Pareto viáveis para otimização contínua bi-objetivo com restrições. Diferentemente de problemas de objetivo único que resultam em um único ótimo, problemas bi-objetivo exigem a identificação de um conjunto de soluções (a fronteira de Pareto) que capturem os trade-offs entre dois objetivos concorrentes.

As abordagens existentes geralmente dependem de escalarização iterativa, algoritmos evolutivos ou solucionadores numéricos específicos do problema. Esses métodos exigem otimização repetida e um design algorítmico significativo para cada nova instância de problema. Embora Modelos de Linguagem de Grande Escala (LLMs) tenham demonstrado potencial em otimização, as aplicações atuais funcionam majoritariamente como ferramentas assistivas (por exemplo, geração de código, proposta de heurísticas) ou são limitadas a contextos combinatórios discretos. Os autores identificam uma lacuna: não há um método eficaz para utilizar LLMs como solucionadores amortizados de ponta a ponta que mapeiem diretamente uma descrição do problema para um conjunto ordenado de vetores de decisão contínuos viáveis que aproximem a frente de Pareto.

Os desafios específicos neste domínio incluem:

• Saída Contínua: Gerar sequências decimais brutas é difícil para modelos autoregressivos devido ao comprimento, irregularidade e à confusão entre precisão e formatação.
• Viabilidade Numérica: Cada vetor gerado deve satisfazer restrições (limites de caixa e desigualdades lineares) e manter precisão numérica.
• Geometria Global: Todo o conjunto de vetores deve preservar a geometria global de trade-off da fronteira, e não apenas a precisão de pontos individuais.

2. Metodologia: O Framework DIPS

Os autores propõem o DIPS (Solver de Pareto Discretizado, Inicializado e Otimizado por Currículo), um framework unificado que adapta LLMs pré-treinados em geradores amortizados de frente de Pareto. O framework consiste em cinco componentes-chave:

A. Esquema de Discretização

Para superar a lacuna entre modelagem de linguagem e otimização contínua, o DIPS substitui a serialização decimal bruta por uma codificação de dois tokens compacta para valores com precisão de quatro casas decimais.

• Cada escalar $v$ é codificado como <sXiXXX><dXXX>.
• O primeiro token (<sXiXXX>) armazena o sinal, a parte inteira e o primeiro dígito decimal.
• O segundo token (<dXXX>) armazena os três dígitos decimais restantes.
• Isso reduz o comprimento da sequência em aproximadamente 70% e regulariza a estrutura de saída.

B. Inicialização de Tokens Fundamentada Numericamente (NGTI)

A introdução de novos tokens numéricos em um vocabulário pré-treinado frequentemente leva à instabilidade. O DIPS emprega NGTI para inicialização térmica desses novos tokens.

• Em vez de inicialização aleatória, o NGTI compõe os embeddings dos novos tokens reutilizando a estrutura de embedding numérico existente do modelo pré-treinado (dígitos, sinais, pontos decimais).
• Pesos dependentes da posição e pequenas perturbações dependentes do valor são aplicados para garantir que tokens numericamente próximos comecem com embeddings próximos, preservando a ordem numérica local.

C. Otimização por Currículo de Três Fases (TPCO)

A perda de entropia cruzada (CE) padrão é insuficiente, pois trata todos os erros de token igualmente, ignorando a proximidade numérica. Por outro lado, impor perdas numéricas imediatamente desestabiliza o treinamento. O DIPS introduz um Currículo de Três Fases:

1. Fase 1 (Aprendizado Estrutural): O modelo aprende o formato de serialização e a estrutura global da fronteira usando apenas perda de entropia cruzada.
2. Fase 2 (Alinhamento Grosso): Um alinhamento numérico grosso é introduzido, direcionando a massa de probabilidade para a região numérica correta (por exemplo, sinal e parte inteira corretos).
3. Fase 3 (Alinhamento Fino): Um alinhamento numérico fino é adicionado para refinar a precisão restante (dígitos decimais).
   Essa abordagem escalonada garante que a competência estrutural seja estabelecida antes de exigir precisão numérica.

D. Fusão de Pareto Multi-Passagem (MPPF)

No momento da inferência, uma única passagem de decodificação pode perder partes da fronteira. O DIPS emprega um procedimento leve de Fusão de Pareto Multi-Passagem:

• O modelo gera múltiplas frentes candidatas ($N$ passagens).
• Os candidatos são arredondados, deduplicados e filtrados quanto à viabilidade.
• Uma ordenação não-dominada é realizada, e as soluções são selecionadas via amostragem uniforme do comprimento do arco no espaço de objetivos normalizado para garantir cobertura densa.

3. Contribuições Principais

1. Formulação: O artigo formula a geração de frente de Pareto de ponta a ponta para otimização convexa bi-objetivo com restrições como um problema de modelagem de linguagem autoregressiva, tratando o LLM como um solucionador amortizado.
2. Framework DIPS: Os autores propõem um framework inovador que combina discretização, NGTI e TPCO para tornar a geração de frente de Pareto contínua aprendível para LLMs pré-treinados.
3. Desempenho: O método demonstra que um LLM de 7 bilhões de parâmetros ajustado pode superar LLMs de propósito geral e de raciocínio substancialmente maiores, bem como métodos clássicos robustos de escalarização, sob orçamentos de tempo equivalentes.

4. Resultados Experimentais

Os autores avaliaram o DIPS em cinco famílias de problemas convexos bi-objetivo com restrições (Quadrática Bi-objetivo Geral, Quadrática Separável, Mínimos Quadrados do tipo Ridge, Regressão Huber e Objetivos baseados em Softplus) com dimensões de decisão $n \in [10, 20]$.

Métricas de Desempenho:

• Viabilidade: O DIPS+MPPF alcançou 100% de viabilidade em todas as cinco famílias de problemas.
• Razão de Hipervolume (HV): O DIPS+MPPF alcançou razões de hipervolume normalizadas de 96,2%–99,8% em relação às frentes de referência.
• Tempo de Inferência: Com inferência acelerada por vLLM, o DIPS resolve uma única instância em apenas 0,16 segundos (passagem única) e 0,49 segundos (com MPPF).

Comparações:

• vs. LLMs de Propósito Geral: Mesmo os modelos de propósito geral mais fortes (por exemplo, GPT-5.2, Claude Sonnet 4.5) falharam em produzir consistentemente frentes viáveis de alta qualidade (viabilidade < 82%, HV < 0,61) e exigiram tempos de inferência significativamente mais longos (segundos a minutos).
• vs. LLMs de Raciocínio: Modelos de raciocínio (por exemplo, DeepSeek-R1, GPT-5.2 Thinking) mostraram melhorias marginais na viabilidade, mas exigiram 1,8–6 minutos por instância, falhando em escalar efetivamente para saídas contínuas de conjunto.
• vs. Otimizadores Clássicos: Sob um orçamento de tempo de relógio de 0,5 segundos equivalente, o DIPS+MPPF foi competitivo com os métodos clássicos de escalarização mais fortes (Soma Ponderada, NBI, NC) em qualidade da fronteira e superior em viabilidade. Embora os métodos clássicos pudessem alcançar um HV ligeiramente maior com tempo de computação ilimitado, o DIPS forneceu qualidade comparável com a maior viabilidade sob a restrição de tempo estrita, sem chamadas de solucionador por instância.

Estudos de Ablação:

• A remoção da discretização (Decimal Bruto) causou colapso no treinamento.
• A inicialização aleatória de tokens numéricos levou à instabilidade e ao mau desempenho em famílias complexas.
• O uso apenas de Entropia Cruzada (sem TPCO) resultou em menor qualidade da fronteira, confirmando a necessidade de supervisão numérica consciente de métricas.

5. Significado e Alegações

O artigo alega que LLMs podem servir como geradores amortizados eficazes para aproximação de frente de Pareto contínua, oferecendo uma alternativa orientada por linguagem à invocação repetida de solucionadores para a classe estudada de problemas de otimização.

• Interface Unificada: O DIPS fornece uma interface de otimização unificada que mapeia descrições de problemas diretamente para soluções, removendo a necessidade de os usuários selecionarem algoritmos ou invocarem software especializado.
• Eficiência: A abordagem alcança resultados de alta qualidade em milissegundos, ordens de magnitude mais rápidos do que estratégias baseadas em prompts ou otimizadores clássicos sob orçamentos de tempo apertados.
• Generalização: O framework generaliza para dimensões não vistas ($n=21, 22, 23$) e diferentes famílias de problemas quando treinado em um conjunto de dados unificado, sugerindo que LLMs podem internalizar a estrutura geométrica da tarefa de otimização.

Limitações e Direções Futuras:
Os autores reconhecem que o estudo foi conduzido em um regime controlado, gerado por solucionador. Trabalhos futuros incluem estender o DIPS para benchmarks mais amplos, classes de restrições mais ricas, espaços de objetivos de dimensões mais altas e funções objetivo não convexas. O framework atual é limitado a contextos convexos.