💻 computer science

Relation Reasoning with LLMs in Expensive Optimization

Este artigo apresenta o R2SAEA, um algoritmo evolutivo assistido por substituto inovador que aproveita um modelo de linguagem grande treinado por reforço para realizar raciocínio baseado em relações eficiente e sem treinamento prévio para problemas de otimização custosos, superando assim a sobrecarga de retreinamento dos substitutos tradicionais e alcançando desempenho de ponta.

Autores originais: Ye Lu, Bingdong Li, Aimin Zhou, Hao Hao

Publicado 2026-05-06

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Ye Lu, Bingdong Li, Aimin Zhou, Hao Hao

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando encontrar a melhor rota através de uma vasta e nebulosa cadeia de montanhas. O problema é que verificar a altitude de qualquer ponto específico leva um dia inteiro de caminhada (isso é o que o artigo chama de "avaliação cara"). Você tem um número limitado de dias (um orçamento apertado), então não pode simplesmente caminhar por todos os lugares.

Tradicionalmente, cientistas usam "mapas" (modelos matemáticos) para adivinhar onde estão os pontos baixos. Mas esses mapas são complicados: à medida que você explora novas áreas, os mapas antigos tornam-se inúteis, e você precisa gastar tempo valioso redesenhando-os do zero. Este é o gargalo que o artigo tenta resolver.

Aqui está a solução do artigo, decomposta em conceitos simples:

1. O Novo "Mapa": Um Juiz Inteligente em vez de uma Calculadora

Em vez de tentar prever a altitude exata de um ponto (o que é difícil e requer redesenho constante), os autores ensinam uma IA a agir como um juiz em uma luta de boxe.

Método Antigo: A IA tenta adivinhar a pontuação exata de cada lutador.
Novo Método (R2SAEA): A IA olha apenas para dois lutadores por vez e responde a uma pergunta simples: "O Lutador A é melhor que o Lutador B?"

Isso é chamado de Raciocínio Relacional. Como os algoritmos evolutivos (o método de busca) se importam principalmente com qual opção é melhor que outra, e não com os números exatos, essa abordagem de "juiz" é muito mais eficiente.

2. O Truque da "Âncora": Evitando a Sobrecarga da Biblioteca

Se você tem 100 caminhantes e quer saber como cada um deles se compara a todos os outros, você teria que perguntar ao juiz sobre cerca de 10.000 pares. São muitas perguntas para a IA lidar de uma vez (ela ficaria sem "memória" ou contexto).

Os autores inventaram uma estratégia de "Âncora":

Em vez de perguntar sobre todos de uma vez, eles escolhem um caminhante como a "Âncora" (o ponto de referência).
Eles perguntam à IA: "Como o Caminhante A se compara à Âncora? Como o Caminhante B se compara à Âncora? Como o Caminhante C se compara à Âncora?"
Eles fazem isso para cada caminhante, um por um.
O Resultado: Isso transforma uma pilha massiva e confusa de perguntas em uma série de listas pequenas e gerenciáveis. É como pedir a um professor para avaliar uma turma comparando cada aluno à "média da classe" um por um, em vez de tentar comparar cada aluno com todos os outros simultaneamente.

3. O Sistema de "Votação": Transformando Opiniões em uma Pontuação

Depois que a IA julga todos os pares, ela tem um monte de opiniões de "Melhor/Pior". Como escolher o melhor caminhante?

O sistema usa um Mecanismo de Votação.
Se a IA diz "O Caminhante X é melhor que 90% das Âncoras", o Caminhante X recebe uma pontuação alta.
Se o Caminhante X é pior que a maioria, ele recebe uma pontuação baixa.
Isso converte as "opiniões" da IA em uma classificação clara, para que o algoritmo de busca saiba exatamente quais caminhantes enviar para a verificação cara e real.

4. Treinando o Juiz: Aprendizado por Reforço (O "Treinador")

Os autores não usaram apenas uma IA genérica; eles treinaram uma específica (baseada em um modelo chamado Qwen2.5) para ser um juiz mestre.

Eles criaram um "Treinador" (Aprendizado por Reforço) que observava a IA fazendo previsões.
Se a IA acertasse a relação, o Treinador dava uma recompensa. Se errasse, recebia uma penalidade.
Com o tempo, a IA aprendeu a detectar diferenças sutis entre soluções muito melhor do que uma IA genérica conseguiria.
A Magia: Uma vez treinada, essa IA não precisa ser retreinada todos os dias. Ela pode apenas "pensar" (inferir) na hora. Isso economiza uma enorme quantidade de tempo e dinheiro.

5. O Juiz "Tamanho Bolso": Executando em Dispositivos Pequenos

Normalmente, IAs poderosas precisam de supercomputadores gigantes e caros. Os autores mostraram que, ao reduzir o modelo e comprimir seu "cérebro" (um processo chamado quantização), esse juiz inteligente pode rodar em dispositivos pequenos e portáteis, como um laptop de alto nível ou até mesmo um chip especializado usado em drones ou robôs (dispositivos de borda).

A Conclusão

O artigo afirma que, ao transformar o problema em uma série de simples comparações "A vs. B", usando um método inteligente de "Âncora" para manter as perguntas gerenciáveis e treinando um juiz especializado de IA, eles podem encontrar as melhores soluções para problemas difíceis usando muito menos testes caros do que os métodos anteriores.

É mais rápido: Não há necessidade de redesenhar o mapa a cada vez.
É mais barato: A IA pode rodar em hardware menor e menos dispendioso.
Funciona melhor: Nos testes, este método encontrou soluções superiores às de outros métodos de ponta em problemas de objetivo único e multiobjetivo.

Os autores disponibilizaram seu "juiz inteligente" e o código para que outros possam usar, provando que você não precisa de um supercomputador para resolver problemas de otimização caros se fizer as perguntas certas.

Resumo Técnico: R2SAEA – Raciocínio de Relações com LLMs em Otimização Custosa

Declaração do Problema
Problemas de Otimização Custosa (EOPs) são caracterizados por funções objetivo de caixa-preta onde as avaliações são onerosas (por exemplo, experimentos físicos, simulações de alta fidelidade) e os gradientes estão indisponíveis. O principal gargalo na resolução de EOPs é o orçamento limitado de avaliações. Embora Algoritmos Evolutivos Assistidos por Surrogados (SAEAs) mitiguem isso ao utilizar modelos aprendidos para filtrar candidatos, os surrogados convencionais (modelos de regressão, classificação ou relação) tipicamente exigem retreinamento frequente à medida que a população evolui. Este ciclo "treinar-predizer" incorre em sobrecarga computacional significativa, que pode anular os ganhos de eficiência da assistência por surrogados. Além disso, embora Modelos de Linguagem de Grande Porte (LLMs) tenham demonstrado promessa em otimização, a implantação direta de modelos de ponta em laços evolutivos é frequentemente impraticável devido aos altos custos de inferência e latência, e modelos menores carecem das capacidades específicas de raciocínio necessárias para inferência de relações confiável.

Metodologia: R2SAEA
O artigo propõe o R2SAEA (Algoritmo evolutivo assistido por surrogado de LLM baseado em relação treinado por reforço), um framework que substitui o ciclo tradicional de retreinamento por um surrogado baseado em relação, apenas de inferência, alimentado por um LLM ajustado. A metodologia consiste em três componentes principais:

Raciocínio de Relações como Aprendizado em Contexto:
Em vez de treinar um modelo paramétrico, o artigo formula a modelagem de surrogados de relação como uma tarefa de raciocínio em par em contexto. O LLM é instruído a prever a superioridade relativa entre pares de soluções com base em um conjunto de exemplos rotulados (contexto). Dois critérios principais são suportados:
- Critério de Função (C1): Rotulagem binária ( $+1/-1$ ) baseada na superioridade do valor objetivo.
- Critério de Categoria (C2): Rotulagem ternária ( $+1/0/-1$ ) distinguindo relações interclasse (boa vs. ruim) e intraclasse.
Construção Iterativa de Contexto Baseada em Âncoras:
Para abordar a complexidade quadrática das comparações em pares ( $O((n+q)^2)$ ) que excede os limites de contexto, os autores introduzem uma estratégia iterativa baseada em âncoras.
- A tarefa é decomposta em $n$ rodadas de inferência, onde cada solução existente no conjunto de contexto atua como uma "âncora" fixa.
- Para cada âncora, o LLM recebe um prompt contendo relações rotuladas entre a âncora e outras soluções de contexto, além de relações não rotuladas entre a âncora e as soluções candidatas.
- Isso reduz a complexidade do prompt para linear ( $O(n+q)$ ) por rodada, garantindo estabilidade e escalabilidade.
Agregação Baseada em Votação:
O LLM produz uma matriz de relações em pares. Estas são agregadas em escores de qualidade absolutos para seleção de candidatos via um mecanismo de votação:
- Para C1, o escore é a soma negativa das relações previstas (contando quantas âncoras um candidato supera).
- Para C2, um escore normalizado é computado com base na frequência com que candidatos são julgados "melhores" ou "piores" pelos grupos de âncoras "boas" e "ruins".
Ajuste Fino com Aprendizado por Reforço (GRPO):
Para permitir implantação eficiente, zero-shot, sem retreinamento por geração, os autores ajustam finamente um LLM compacto (Qwen2.5-7B) usando Otimização de Política Relativa em Grupo (GRPO).
- Dados: Trajetórias de treinamento são geradas a partir de execuções evolutivas em funções de referência (LZG, CEC), criando pares de instrução onde a verdade fundamental é a relação real em pares.
- Recompensa: Uma função de recompensa baseada em regras avalia a conformidade com o formato de saída JSON, a precisão da relação e a diversidade de saída (penalizando previsões degeneradas).
- Vantagem: O GRPO elimina a necessidade de um modelo crítico separado, usando normalização de recompensa por grupo para fornecer sinais de aprendizado estáveis para rótulos de relação discretos.

Principais Contribuições

Formulação: O artigo formula a modelagem de surrogados baseada em relação como um problema de raciocínio de LLM em contexto sob os critérios C1 e C2, introduzindo um mecanismo de construção de prompt iterativo baseado em âncoras para reduzir a complexidade de contexto de quadrática para linear.
Estratégia de Agregação: Uma estratégia de agregação baseada em votação é projetada para converter relações previstas em pares em escores absolutos para classificação de candidatos, permitindo que operadores de seleção SAEA padrão utilizem as saídas de LLM.
Pipeline de RL: Um pipeline de ajuste fino de RL ponta a ponta é estabelecido usando trajetórias evolutivas e GRPO. Os modelos resultantes (ReLLM-C1/C2) demonstram precisão superior de previsão de relação em comparação com LLMs de propósito geral robustos e permitem implantação zero-shot sem retreinamento.
Desempenho: O framework alcança desempenho state-of-the-art (SOTA) em benchmarks de otimização custosa tanto de objetivo único (SOP) quanto multiobjetivo (MOP), superando SAEAs clássicos (baseados em regressão, classificação e relação) e baselines de LLMs gerais.

Resultados Experimentais

Desempenho de Otimização: Em benchmarks de objetivo único (suites LZG, YLL), o R2SAEA-SOP alcançou a melhor classificação média (2,69) entre sete algoritmos, superando o DRSO baseado em relação em 22/45 casos e a Otimização Bayesiana em 23/45 casos. Em testes multiobjetivo (DTLZ, WFG, MaF), o R2SAEA-MOP ficou em primeiro lugar com uma classificação média de 2,84, superando significativamente surrogados baseados em classificação (CPS-MOEA, CSEA) e baseados em regressão (K-RVEA).
Previsão de Relações: Avaliações offline mostraram que os modelos ReLLM ajustados por RL superaram significativamente seus modelos base pré-ajuste e LLMs gerais de ponta (incluindo GPT-4o, Gemini-2.5-Pro e Qwen3-235B) em precisão de relação em pares e consistência de classificação (Spearman's $\rho$ ). Notavelmente, LLMs gerais frequentemente produziram correlações próximas de zero ou negativas, falhando em produzir classificações significativas sem treinamento específico para a tarefa.
Escalabilidade e Robustez: O modelo demonstrou robustez a mudanças na dimensionalidade do espaço de decisão ( $D \in \{5, 10, 30\}$ ) e no tamanho do contexto. A normalização local (nível de prompt) foi encontrada superior à normalização global para inferência relacional.
Implantação: Variantes quantizadas (4-bit e 8-bit) de um modelo de 3 bilhões de parâmetros mantiveram alta precisão enquanto permitiam inferência eficiente em dispositivos de borda (por exemplo, Jetson Orin NX), apoiando um paradigma de surrogado prático em nível de hardware.

Significado e Alegações
O artigo alega que o R2SAEA preenche a lacuna entre o alto potencial de raciocínio dos LLMs e os requisitos estritos de eficiência da otimização custosa. Ao mudar de um paradigma "treinar-predizer" para um paradigma "apenas inferência", o método elimina a sobrecarga do retreinamento frequente de surrogados. Os autores enfatizam que sua abordagem fornece um paradigma de surrogado zero-shot, onde um único modelo especializado pode ser incorporado em laços evolutivos sem adaptação adicional. O trabalho representa o primeiro ajuste fino explícito de LLMs especificamente para otimização evolutiva assistida por surrogados, oferecendo uma rota viável para otimização em tempo real e amigável ao hardware em ambientes com recursos limitados.