Resumen Técnico: FORGE-ENGINE

Declaración del Problema

Aunque los Modelos de Lenguaje Grande (LLM) han logrado un éxito significativo en benchmarks de razonamiento (matemáticas, programación, lógica) mediante Aprendizaje por Refuerzo con Recompensas Verificables (RLVR), los paradigmas de evaluación existentes sufren de una limitación crítica: se centran exclusivamente en la corrección (factibilidad) en lugar de la optimalidad. En muchos escenarios del mundo real, como la logística o la asignación de recursos, una solución meramente "válida" es insuficiente; el objetivo es encontrar la solución que maximice o minimice una función objetivo. Los benchmarks actuales a menudo dependen de recompensas binarias (aprobado/reprobado), que no proporcionan la retroalimentación densa y continua necesaria para guiar a los modelos hacia soluciones óptimas. Además, los benchmarks existentes de problemas NP-difíciles carecen de mecanismos para generar valores óptimos de verdad fundamental, lo que impide el cálculo de recompensas granulares y revierte el entrenamiento a bucles de retroalimentación binaria ineficientes.

Metodología: FORGE-ENGINE

Los autores proponen FORGE-ENGINE, un marco integral diseñado para entrenar y evaluar LLMs en problemas de optimización NP-difíciles utilizando RLVR Consciente de la Calidad. El marco consta de tres componentes principales:

1. Pipeline de Construcción de Datos

El marco emplea un pipeline escalable de cuatro etapas para generar datos de entrenamiento en 10 tareas NP-difíciles distintas que abarcan cinco categorías: Agrupación de Grafos, Programación de Recursos, Partición de Grafos, Selección de Subconjuntos y Planificación de Rutas.

• Generadores Controlables: Producen instancias infinitas con dificultad graduada (Fácil, Medio, Difícil) utilizando un enfoque de "construcción por diseño" para garantizar la existencia de soluciones factibles.
• Verificadores Basados en Reglas: Validan automáticamente el cumplimiento de restricciones y calculan valores objetivos, asegurando una corrección absoluta sin etiquetado humano.
• Solucionadores Heurísticos: Una innovación crítica donde algoritmos heurísticos específicos de la tarea (por ejemplo, vecino más cercano con múltiples inicios y 2-opt para el Problema del Viajante) calculan líneas base casi óptimas para cada instancia. Estas líneas base sirven como la verdad fundamental para el cálculo de recompensas.
• Calibración del Currículo: Los niveles de dificultad se calibran empíricamente para lograr tasas de éxito objetivo (por ejemplo, Fácil: 70-90%, Difícil: 10-40%) para facilitar un aprendizaje progresivo.

2. FORGE-BENCH

Un benchmark de evaluación riguroso que comprende 1,000 instancias de alta complejidad (100 por tarea) diseñadas para ser inéditas durante el entrenamiento. A diferencia de trabajos anteriores, evalúa los modelos utilizando dos métricas complementarias:

• Tasa de Éxito (SR): El porcentaje de instancias donde el modelo genera una solución válida que satisface todas las restricciones.
• Ratio de Calidad (QR): Una métrica continua que mide la calidad de la solución en relación con la línea base heurística (por ejemplo, $QR = \text{Heurística} / \text{Modelo}$ para minimización). Esto distingue entre soluciones meramente factibles y casi óptimas.

3. Marco RLVR Consciente de la Calidad

La estrategia de entrenamiento reemplaza las señales binarias dispersas con recompensas continuas y granulares derivadas de las líneas base heurísticas.

• Función de Recompensa: Un sistema de recompensa jerárquico evalúa las salidas en tres dimensiones:
  1. Recompensa de Formato ($R_{format}$): Asegura un razonamiento estructurado (por ejemplo, etiquetas <thought>).
  2. Recompensa de Factibilidad ($R_{feasibility}$): Penaliza las violaciones de restricciones (por ejemplo, -1.5) y aprueba la puntuación de optimalidad para soluciones válidas.
  3. Recompensa de Optimalidad ($R_{optimal}$): Una puntuación continua basada en la relación entre el valor objetivo del modelo y la línea base heurística, proporcionando retroalimentación densa para la optimización.
• Reproducción de Currículo Multietapa: Para mitigar el problema del "arranque en frío" y el olvido catastrófico, el entrenamiento emplea una estrategia cíclica (Fácil $\to$ Medio $\to$ Difícil) que itera a través de los niveles de dificultad múltiples veces, reforzando habilidades fundamentales mientras aborda progresivamente la optimización compleja.

Resultados Clave

Los experimentos se realizaron en Qwen2.5-7B-Instruct-1M, entrenado en 15,000 ejemplos (15K en total a través de tres etapas).

• Rendimiento In-Dominio: El modelo resultante, FORGE, logró una Tasa de Éxito del 93.1% y un Ratio de Calidad del 46.6% en FORGE-BENCH. Esto supera significativamente a GPT-4o (62.1% SR, 36.2% QR) y excede sustancialmente el rendimiento del modelo base (29.6% SR, 14.6% QR).
• Generalización Fuera de Dominio (OOD): El entrenamiento en FORGE-ENGINE se transfirió a diversas tareas de razonamiento, generando mejoras en:
  • Seguimiento de Instrucciones: +6.1%
  • Razonamiento de Conocimiento: +4.1%
  • Matemáticas: +2.2%
  • Lógica: +1.2%
• Estudios de Ablación:
  • Diseño de Recompensas: Las recompensas conscientes de la calidad mejoraron la calidad de la solución en un 28.8% sobre las recompensas binarias, evitando el hacking de recompensas y guiando al modelo hacia la verdadera optimalidad.
  • Estrategia de Currículo: La reproducción de currículos multietapa superó a las estrategias lineales de un solo paso, rompiendo los techos de rendimiento y evitando el estancamiento.
  • Diversidad de Tareas vs. Cantidad: El estudio encontró que el entrenamiento en un conjunto diverso de 10 tareas generó una mejor generalización que el entrenamiento en menos tareas con más datos, lo que sugiere que la exposición a estructuras de problemas variadas es un factor clave en las capacidades de razonamiento.
  • RLVR vs. SFT: Aunque el Ajuste Fino Supervisado (SFT) en soluciones óptimas mejoró el rendimiento in-dominio, sufrió una degradación catastrófica OOD (-12.0 puntos). En contraste, RLVR fomentó estrategias robustas y transferibles de satisfacción de restricciones.

Significado y Afirmaciones

El documento afirma que FORGE-ENGINE representa el primer marco integral que aplica exitosamente RLVR a problemas de optimización NP-difíciles integrando solucionadores heurísticos para proporcionar recompensas de optimalidad granulares.

Los autores afirman que este trabajo cierra la brecha entre factibilidad y optimalidad en el razonamiento de LLM. Al ir más allá de la corrección binaria, el marco permite que los modelos se involucren en búsquedas de optimización iterativa. Crucialmente, el documento proporciona evidencia empírica de que el entrenamiento en optimización fomenta una "mentalidad de optimización" transferible: la capacidad de generar candidatos y auto-refinarlos, lo que mejora las capacidades de razonamiento más amplias más allá de las tareas de optimización específicas. Los hallazgos sugieren que, para escalar RLVR, la diversidad de tareas y las recompensas conscientes de la calidad son factores más críticos que la mera cantidad de datos.

El trabajo se presenta como un paso fundamental para integrar LLMs con razonamiento basado en optimización, ofreciendo una infraestructura escalable y un benchmark para futuras investigaciones en razonamiento complejo.