💻 computer science

Relation Reasoning with LLMs in Expensive Optimization

Este artículo presenta R2SAEA, un algoritmo evolutivo asistido por sustitutos novedoso que aprovecha un modelo de lenguaje grande entrenado por refuerzo para realizar un razonamiento basado en relaciones eficiente y sin ejemplos para problemas de optimización costosos, superando así la sobrecarga de reentrenamiento de los sustitutos tradicionales y logrando un rendimiento de vanguardia.

Autores originales: Ye Lu, Bingdong Li, Aimin Zhou, Hao Hao

Publicado 2026-05-06

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Ye Lu, Bingdong Li, Aimin Zhou, Hao Hao

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando encontrar la mejor ruta a través de una vasta y neblinosa cordillera. El problema es que verificar la elevación de cualquier punto individual requiere un día completo de caminata (esto es lo que el artículo denomina una "evaluación costosa"). Tienes un número limitado de días (un presupuesto ajustado), por lo que no puedes simplemente caminar por todas partes.

Tradicionalmente, los científicos utilizan "mapas" (modelos matemáticos) para adivinar dónde están los puntos bajos. Pero estos mapas son engañosos: a medida que exploras nuevas áreas, los mapas antiguos se vuelven inútiles y tienes que gastar tiempo valioso redibujándolos desde cero. Este es el cuello de botella que el artículo intenta resolver.

Aquí está la solución del artículo, desglosada en conceptos simples:

1. El nuevo "mapa": Un juez inteligente en lugar de una calculadora

En lugar de intentar predecir la altura exacta de un punto (lo cual es difícil y requiere redibujar constantemente), los autores enseñan a una IA a actuar como un juez en una pelea de boxeo.

Antigua forma: La IA intenta adivinar la puntuación exacta de cada luchador.
Nueva forma (R2SAEA): La IA solo mira a dos luchadores a la vez y responde una pregunta simple: "¿Es el Luchador A mejor que el Luchador B?"

Esto se llama Razonamiento de Relaciones. Dado que los algoritmos evolutivos (el método de búsqueda) se preocupan principalmente por qué opción es mejor que otra, y no por los números exactos, este enfoque de "juez" es mucho más eficiente.

2. El truco del "Ancla": Evitar la sobrecarga de la biblioteca

Si tienes 100 caminantes y quieres saber cómo se compara cada uno con todos los demás, tendrías que preguntarle al juez sobre 10.000 pares. Eso son demasiadas preguntas para que la IA las maneje de una vez (se quedaría sin "memoria" o contexto).

Los autores inventaron una estrategia de "Ancla":

En lugar de preguntar sobre todos a la vez, eligen a un caminante como el "Ancla" (el punto de referencia).
Le preguntan a la IA: "¿Cómo se compara el Caminante A con el Ancla? ¿Cómo se compara el Caminante B con el Ancla? ¿Cómo se compara el Caminante C con el Ancla?"
Hacen esto con cada caminante, uno por uno.
El resultado: Esto convierte una pila masiva y confusa de preguntas en una serie de listas pequeñas y manejables. Es como pedirle a un profesor que califique a una clase comparando a cada estudiante con el "promedio de la clase" uno por uno, en lugar de intentar comparar a cada estudiante con todos los demás simultáneamente.

3. El sistema de "votación": Convertir opiniones en una puntuación

Después de que la IA juzga todos los pares, tiene un montón de opiniones de "Mejor/Peor". ¿Cómo eliges al mejor caminante?

El sistema utiliza un Mecanismo de Votación.
Si la IA dice "El Caminante X es mejor que el 90% de los Anclas", el Caminante X obtiene una puntuación alta.
Si el Caminante X es peor que la mayoría, obtiene una puntuación baja.
Esto convierte las "opiniones" de la IA en una clasificación clara, para que el algoritmo de búsqueda sepa exactamente a qué caminantes enviar a realizar la verificación costosa y del mundo real.

4. Entrenando al juez: Aprendizaje por Refuerzo (El "Entrenador")

Los autores no solo utilizaron una IA genérica; entrenaron una específica (basada en un modelo llamado Qwen2.5) para ser un juez maestro.

Crearon un "Entrenador" (Aprendizaje por Refuerzo) que observaba a la IA hacer suposiciones.
Si la IA adivinaba correctamente la relación, el Entrenador daba una recompensa. Si adivinaba mal, recibía una penalización.
Con el tiempo, la IA aprendió a detectar las diferencias sutiles entre soluciones mucho mejor que una IA genérica podría hacerlo.
La magia: Una vez entrenada, esta IA no necesita ser reentrenada cada día. Solo puede "pensar" (inferir) sobre la marcha. Esto ahorra una gran cantidad de tiempo y dinero.

5. El juez de "tamaño de bolsillo": Ejecución en dispositivos pequeños

Por lo general, las IAs potentes necesitan superordenadores gigantes y costosos. Los autores demostraron que, al reducir el modelo y comprimir su "cerebro" (un proceso llamado cuantización), este juez inteligente puede ejecutarse en dispositivos pequeños y portátiles, como un portátil de gama alta o incluso un chip especializado utilizado en drones o robots (dispositivos de borde).

La conclusión

El artículo afirma que, al convertir el problema en una serie de comparaciones simples "A vs. B", utilizando un método de "Ancla" inteligente para mantener las preguntas manejables y entrenando a un juez de IA especializado, pueden encontrar las mejores soluciones para problemas difíciles utilizando muchas menos pruebas costosas que los métodos anteriores.

Es más rápido: No hay necesidad de redibujar el mapa cada vez.
Es más barato: La IA puede ejecutarse en hardware más pequeño y menos costoso.
Funciona mejor: En pruebas, este método encontró mejores soluciones que otros métodos de primer nivel en problemas de objetivo único y de múltiples objetivos.

Los autores han puesto a disposición su "juez inteligente" y el código para que otros lo utilicen, demostrando que no necesitas un superordenador para resolver problemas de optimización costosos si haces las preguntas correctas.

Resumen Técnico: R2SAEA – Razonamiento de Relaciones con LLMs en Optimización Costosa

Enunciado del Problema
Los Problemas de Optimización Costosa (EOP) se caracterizan por funciones objetivo de caja negra donde las evaluaciones son costosas (por ejemplo, experimentos físicos, simulaciones de alta fidelidad) y los gradientes no están disponibles. El principal cuello de botella en la resolución de EOP es el presupuesto de evaluación limitado. Aunque los Algoritmos Evolutivos Asistidos por Surrogados (SAEA) mitigan esto utilizando modelos aprendidos para filtrar candidatos, los surrogados convencionales (modelos de regresión, clasificación o relación) generalmente requieren reentrenamiento frecuente a medida que evoluciona la población. Este ciclo de "entrenar-predicción" incurre en una sobrecarga computacional significativa, que puede anular las ganancias de eficiencia de la asistencia por surrogado. Además, aunque los Modelos de Lenguaje Grandes (LLM) han demostrado ser prometedores en optimización, el despliegue directo de modelos de vanguardia en bucles evolutivos a menudo es impráctico debido a los altos costos de inferencia y la latencia, y los modelos más pequeños carecen de las capacidades de razonamiento específicas requeridas para una inferencia de relaciones fiable.

Metodología: R2SAEA
El artículo propone R2SAEA (Algoritmo evolutivo asistido por surrogado de LLM basado en relaciones entrenado por refuerzo), un marco que reemplaza el ciclo tradicional de reentrenamiento con un surrogado basado en relaciones, solo de inferencia, impulsado por un LLM ajustado finamente. La metodología consta de tres componentes principales:

Razonamiento de Relaciones como Aprendizaje en Contexto:
En lugar de entrenar un modelo paramétrico, el artículo plantea el modelado de surrogados de relaciones como una tarea de razonamiento por pares en contexto. Se solicita al LLM que prediga la superioridad relativa entre pares de soluciones basándose en un conjunto de ejemplos etiquetados (contexto). Se admiten dos criterios principales:
- Criterio de Función (C1): Etiquetado binario ( $+1/-1$ ) basado en la superioridad del valor objetivo.
- Criterio de Categoría (C2): Etiquetado ternario ( $+1/0/-1$ ) que distingue relaciones interclase (bueno vs. malo) e intraclase.
Construcción Iterativa de Contexto Basada en Anclajes:
Para abordar la complejidad cuadrática de las comparaciones por pares ( $O((n+q)^2)$ ) que excede los límites de contexto, los autores introducen una estrategia iterativa basada en anclajes.
- La tarea se descompone en $n$ rondas de inferencia, donde cada solución existente en el conjunto de contexto actúa como un "anclaje" fijo.
- Para cada anclaje, el LLM recibe una solicitud que contiene relaciones etiquetadas entre el anclaje y otras soluciones del contexto, más relaciones sin etiquetar entre el anclaje y las soluciones candidatas.
- Esto reduce la complejidad de la solicitud a lineal ( $O(n+q)$ ) por ronda, garantizando estabilidad y escalabilidad.
Agregación Basada en Votación:
El LLM genera una matriz de relaciones por pares. Estas se agregan en puntuaciones de calidad absolutas para la selección de candidatos mediante un mecanismo de votación:
- Para C1, la puntuación es la suma negativa de las relaciones predichas (contando cuántos anclajes supera un candidato).
- Para C2, se calcula una puntuación normalizada en función de la frecuencia con la que los candidatos son juzgados "mejores" o "peores" por los grupos de anclajes "buenos" y "malos".
Ajuste Fino con Aprendizaje por Refuerzo (GRPO):
Para permitir un despliegue eficiente, sin disparos, sin reentrenamiento por generación, los autores ajustan finamente un LLM compacto (Qwen2.5-7B) utilizando Optimización de Política Relativa de Grupos (GRPO).
- Datos: Las trayectorias de entrenamiento se generan a partir de ejecuciones evolutivas en funciones de referencia (LZG, CEC), creando pares de instrucciones donde la verdad fundamental es la relación real por pares.
- Recompensa: Una función de recompensa basada en reglas evalúa el cumplimiento del formato de salida JSON, la precisión de la relación y la diversidad de la salida (penalizando predicciones degeneradas).
- Ventaja: GRPO elimina la necesidad de un modelo crítico separado, utilizando la normalización de recompensas a nivel de grupo para proporcionar señales de aprendizaje estables para las etiquetas de relación discretas.

Contribuciones Clave

Formulación: El artículo formula el modelado de surrogados basado en relaciones como un problema de razonamiento de LLM en contexto bajo los criterios C1 y C2, introduciendo un mecanismo de construcción de solicitudes iterativo basado en anclajes para reducir la complejidad del contexto de cuadrática a lineal.
Estrategia de Agregación: Se diseña una estrategia de agregación basada en votación para convertir las relaciones por pares predichas en puntuaciones absolutas para la clasificación de candidatos, permitiendo que los operadores de selección estándar de SAEA utilicen las salidas del LLM.
Pipeline de RL: Se establece un pipeline de ajuste fino de RL de extremo a extremo utilizando trayectorias evolutivas y GRPO. Los modelos resultantes (ReLLM-C1/C2) demuestran una precisión superior en la predicción de relaciones en comparación con LLMs de propósito general potentes y permiten un despliegue sin disparos sin reentrenamiento.
Rendimiento: El marco logra un rendimiento de vanguardia (SOTA) en benchmarks de optimización costosa tanto de un solo objetivo (SOP) como multiobjetivo (MOP), superando a los SAEAs clásicos (basados en regresión, clasificación y relaciones) y a las líneas base generales de LLM.

Resultados Experimentales

Rendimiento de Optimización: En benchmarks de un solo objetivo (suites LZG, YLL), R2SAEA-SOP logró el mejor rango medio (2.69) entre siete algoritmos, superando a DRSO basado en relaciones en 22/45 casos y a la Optimización Bayesiana en 23/45 casos. En pruebas multiobjetivo (DTLZ, WFG, MaF), R2SAEA-MOP ocupó el primer lugar con un rango medio de 2.84, superando significativamente a los surrogados basados en clasificación (CPS-MOEA, CSEA) y regresión (K-RVEA).
Predicción de Relaciones: Las evaluaciones fuera de línea mostraron que los modelos ReLLM ajustados finamente con RL superaron significativamente a sus modelos base previos al ajuste fino y a los LLMs de propósito general de vanguardia (incluyendo GPT-4o, Gemini-2.5-Pro y Qwen3-235B) en precisión de relación por pares y consistencia de clasificación (rho de Spearman). Cabe destacar que los LLMs generales a menudo arrojaron correlaciones cercanas a cero o negativas, fallando en producir clasificaciones significativas sin entrenamiento específico para la tarea.
Escalabilidad y Robustez: El modelo demostró robustez ante cambios en la dimensionalidad del espacio de decisión ( $D \in \{5, 10, 30\}$ ) y tamaño del contexto. Se encontró que la normalización local (a nivel de solicitud) es superior a la normalización global para la inferencia relacional.
Despliegue: Las variantes cuantizadas (4-bit y 8-bit) de un modelo de 3 mil millones de parámetros mantuvieron una alta precisión mientras permitían una inferencia eficiente en dispositivos de borde (por ejemplo, Jetson Orin NX), apoyando un paradigma de surrogado práctico a nivel de hardware.

Significado y Afirmaciones
El artículo afirma que R2SAEA cierra la brecha entre el alto potencial de razonamiento de los LLMs y los estrictos requisitos de eficiencia de la optimización costosa. Al cambiar de un paradigma de "entrenar-predicción" a un paradigma de "solo inferencia", el método elimina la sobrecarga del reentrenamiento frecuente de surrogados. Los autores enfatizan que su enfoque proporciona un paradigma de surrogado sin disparos, donde un único modelo especializado puede integrarse en bucles evolutivos sin adaptación adicional. El trabajo representa el primer ajuste fino explícito de LLMs específicamente para optimización evolutiva asistida por surrogados, ofreciendo una ruta viable hacia la optimización en tiempo real y amigable con el hardware en entornos con recursos limitados.