Resumen Técnico: PEARL – Modelado de Optimización Interactivo con Solver-en-el-Bucle desde Lenguaje Natural

1. Planteamiento del Problema

El modelado de optimización implica traducir problemas de decisión del mundo real, típicamente descritos en lenguaje natural (LN), en formulaciones matemáticas formales y código de solver ejecutable. Si bien los Modelos de Lenguaje de Gran Escala (LLMs) han mostrado potencial para automatizar esta tarea, los enfoques existentes tratan mayoritariamente la labor como un problema de generación de un solo paso (one-shot). Los métodos actuales dependen de un prompting fijo, flujos de trabajo diseñados a mano o ajuste fino supervisado para producir una formulación completa en una sola pasada.

Este paradigma no logra capturar la naturaleza inherentemente interactiva del modelado en el mundo real, donde los expertos humanos participan en ciclos repetidos de resolver–depurar–revisar. Errores menores en restricciones, indexación o vinculación de datos suelen volver los modelos infactibles o producen errores de ejecución silenciosos. Los sistemas automatizados existentes rara vez se condicionan a la retroalimentación del solver, ejecutan modelos parciales para diagnosticar problemas o aprenden cuándo terminar. En consecuencia, los resultados generados frecuentemente alucinan restricciones o fallan en tiempo de ejecución. El artículo argumenta que el modelado de optimización debe reconceptualizarse no como una generación de texto estática, sino como un proceso de decisión multi-turno integrado con herramientas, donde el agente aprende a interactuar con los solvers para verificar y refinar sus salidas.

2. Metodología: Marco de Trabajo PEARL

Los autores presentan PEARL (optimización interactiva con aprendizaje por refuerzo de agente integrado con herramientas), un sistema que formaliza el modelado de optimización como un Proceso de Decisión de Markov Parcialmente Observable (POMDP) episódico.

2.1 Formulación POMDP

• Estado ($S$): El estado latente del entorno incluye la semántica real del problema, errores de modelado ocultos y estados internos del solver, los cuales no son directamente observables.
• Observación ($O$): El agente observa la especificación en LN, el historial de la conversación, artefactos de código intermedios y, crucialmente, la retroalimentación de las herramientas (logs de ejecución, estado del solver como "inviable" u "óptimo", valores de la función objetivo y reportes de validación).
• Espacio de Acciones ($A$): El agente selecciona entre dos tipos de acciones:
  1. Acciones de Lenguaje Natural: Revisar o extender la formulación matemática (variables, objetivos, restricciones) y los planes de implementación.
  2. Acciones de Invocación de Herramientas: Activar la herramienta Execute (para ejecutar código Python e invocar solvers) o la herramienta Validate (para realizar verificaciones deterministas).
• Terminación ($T$): El episodio termina cuando el agente emite una respuesta final (formulación + código) o agota un presupuesto de turnos o tiempo.

2.2 Entorno y Herramientas

El entorno proporciona dos herramientas de primer nivel:

• Execute: Ejecuta el código Python generado por el modelo en un entorno de ejecución (runtime) aislado y con límites de recursos. Devuelve retroalimentación estructurada que incluye el estado del solver (óptimo, inviable, no acotado), valores de la función objetivo y soluciones extraídas.
• Validate: Realiza verificaciones deterministas sobre los artefactos (por ejemplo, satisfacción de restricciones) y compara los valores de la función objetivo contra soluciones de referencia si están disponibles.
  A diferencia de trabajos previos donde la ejecución es un evaluador post-hoc, PEARL incorpora estos rastros y diagnósticos directamente en el flujo de observación, permitiendo al agente revisar iterativamente basándose en la retroalimentación.

2.3 Diseño de Recompensa

La función de recompensa $R(\tau)$ está diseñada para ser verificable y fundamentada en el solver, evitando proxies basados en texto. Consta de dos componentes:

1. Recompensa de Formato ($r_{fmt}$): Proporciona incentivos densos para la sintaxis correcta de invocación de herramientas y la adherencia a los formatos de salida, estabilizando el entrenamiento al desalentar interacciones inválidas.
2. Recompensa de Corrección ($r_{corr}$): Fundamentada en la ejecución del solver. Si existe un valor óptimo de referencia $v_{label}$, el agente recibe una recompensa positiva si el valor de la función objetivo de la solución generada $v_{pred}$ satisface $|v_{pred} - v_{label}| \le \epsilon$. Esto recompensa directamente la corrección del solver en lugar de la buena forma heurística.

2.4 Objetivo de Entrenamiento

PEARL emplea Aprendizaje por Refuerzo Agéntico con despliegues de múltiples turnos.

• Optimización de la Política: La política se inicializa a partir de un LLM preentrenado y se optimiza utilizando aprendizaje por refuerzo estilo GRPO con recorte desacoplado (inspirado en DAPO) para manejar la alta varianza de los retornos en entornos aumentados con herramientas.
• Asignación de Crédito: Las recompensas son dispersas y retardadas. El sistema normaliza los retornos a nivel de trayectoria dentro de un lote para calcular ventajas, permitiendo la asignación de crédito de largo horizonte sobre todo el trayecto de resolver–depurar–revisar, en lugar de solo la salida final.
• Currículo: El entrenamiento se adapta a los desafíos específicos de la optimización, pasando de instancias cortas y totalmente especificadas a entradas de contexto largo y de estilo industrial, tratando la no determinación del solver como ruido del entorno.

3. Contribuciones Clave

1. Reconceptualización del Modelado: El artículo formaliza el modelado de optimización como un problema de decisión interactivo y de múltiples turnos donde la ejecución del solver y la retroalimentación diagnóstica se tratan como componentes de estado observables, distintos de la generación tradicional de un solo paso.
2. RL Agéntico para Optimización: Introduce el primer enfoque de RL agéntico específicamente para el modelado de optimización, permitiendo que los agentes aprendan cuándo ejecutar, cómo revisar basándose en diagnósticos del solver y cuándo terminar, en lugar de depender de heurísticas fijas.
3. Superioridad Empírica con Modelos Compactos: Experimentos extensos demuestran que PEARL mejora sustancialmente las tasas de resolución verificadas frente a bases sólidas de un solo paso y aumentadas con herramientas. Notablemente, PEARL-Qwen3-4B (un modelo de 4 mil millones de parámetros) supera significativamente a modelos de propósito general mucho más grandes, incluyendo DeepSeek-V3.2-685B, tanto en precisión de promedio macro como micro en tareas de optimización.

4. Resultados Experimentales

Los autores evaluaron PEARL a través de diversos benchmarks (NL4Opt, MAMO, NLP4LP, OptMATH, IndustryOR, ComplexOR, Resocratic).

• Desempeño vs. Escala: PEARL-4B logró un Pass@1 macro-promedio de 69.71%, superando a DeepSeek-V3.2-685B (66.51%) y GPT-5 (71.40%). Mostró ganancias particularmente fuertes en benchmarks complejos y subespecificados como MAMO ComplexLP y Resocratic.
• Interacción vs. Andamiaje (Scaffolding): Los estudios de ablación confirmaron que las ganancias de desempeño provienen de la política de interacción aprendida, no simplemente de la presencia de un andamiaje de herramientas. Un modelo base que utiliza la misma interfaz de herramientas pero sin el entrenamiento de RL agéntico logró una precisión significativamente menor.
• Análisis de Modos de Fallo: El entrenamiento de PEARL desplazó los modos de fallo lejos de los errores de ejecución y parseo (ej. código/runtime, extracción de formato) hacia problemas más centrados en el modelado (ej. desajuste de la función objetivo, inviabilidad). Esto indica que el agente aprendió con éxito a reparar errores de implementación e interactuar con los solvers, aunque los errores estructurales de formulación siguen siendo un desafío.
• Dinámica de Entrenamiento: El comportamiento de uso de herramientas convergió temprano en el entrenamiento, mientras que el entrenamiento posterior refinó el detalle y la estructura del trayecto de modelado. El Ajuste Fino Supervisado (SFT) sirvió como un arranque en caliente útil, pero no fue el motor principal del desempeño final en comparación con el RL agéntico fundamentado en el solver.

5. Significado y Reivindicaciones

El artículo sostiene que el aprendizaje de la interacción y la utilización de la retroalimentación puede superar la escala bruta del modelo en problemas de toma de decisiones estructuradas como la optimización. Al tratar el modelado como un proceso interactivo, PEARL permite que modelos compactos (ej. 4B de parámetros) alcancen un desempeño comparable o superior al de modelos de propósito general mucho más grandes, haciendo que la invocación agéntica repetida sea más práctica para el despliegue.

Los autores mantienen una postura modesta respecto al alcance de sus afirmaciones:

• Los resultados demuestran la efectividad en el régimen actual de NL-a-Opt público.
• Los benchmarks no agotan la complejidad del mundo real; los entornos estocásticos, robustos y altamente específicos de empresas siguen estando subrepresentados.
• La validación basada en el solver es parcial; si bien mejora la factibilidad, no puede garantizar plenamente la corrección estructural frente a especificaciones ambiguas.

Se sugiere como trabajo futuro extender el modelado agéntico a entornos estocásticos y robustos con validadores más ricos y políticas de interacción más adaptativas.