Resumen Técnico: PlanningBench

Enunciado del Problema

La planificación es una capacidad fundamental para los Modelos de Lenguaje Grande (LLM), que requiere la coordinación de objetivos, restricciones, recursos y consecuencias a largo plazo en soluciones ejecutables. Sin embargo, las evaluaciones de planificación existentes adolecen de limitaciones significativas:

1. Colecciones de Datos Fijas: La mayoría de las evaluaciones tratan los datos de planificación como colecciones estáticas y fijas de instancias, en lugar de objetivos de generación controlables, lo que limita la cobertura y diversidad de escenarios.
2. Proxies Superficiales de Dificultad: La dificultad se aproxima a menudo mediante métricas de nivel superficial (por ejemplo, longitud del prompt o número de requisitos) en lugar de fuentes estructurales como el acoplamiento de restricciones, la jerarquía o el diseño específico de la tarea.
3. Falta de Soporte para Entrenamiento: Las evaluaciones existentes ofrecen un soporte limitado para la generación escalable, la verificación automática o el entrenamiento orientado a la planificación, lo que dificulta diagnosticar los límites del modelo o mejorar comportamientos de planificación generalizables.

Metodología: Marco de PlanningBench

Los autores introducen PlanningBench, un marco para generar datos de planificación escalables, diversos y verificables tanto para evaluación como para entrenamiento. La metodología procede en dos macroetapas:

1. Construcción de la Taxonomía de Tareas y Restricciones

En lugar de catalogar dominios, los autores abstraen esquemas de planificación reutilizables de escenarios del mundo real (por ejemplo, programación, logística, respuesta a emergencias) en una taxonomía estructurada.

• Taxonomía de Tareas: Organiza las tareas de planificación en seis familias basadas en la complejidad estructural: Programación y Horarios, Asignación y Emparejamiento, Turnos y Programación de la Fuerza Laboral, Ruteo y Viajes, Operaciones de Proyectos y Producción, y Respuesta a Emergencias y Servicios Públicos. Esto cubre más de 30 tipos específicos de tareas y numerosas subtareas.
• Taxonomía de Restricciones: Las restricciones se modelan en tres capas para garantizar la verificabilidad y el controlabilidad:
  • Restricciones Generales: Compartidas entre tareas (por ejemplo, completitud de la entrada, ventanas de tiempo).
  • Restricciones Específicas de la Tarea: Vinculadas a estructuras de tareas específicas.
  • Restricciones Especializadas con Estado: Dependientes de acciones ejecutadas previamente o de un estado acumulado.
• Niveles de Dificultad: Las restricciones se categorizan en Básicas (factibilidad), Medias (optimización/equidad) y Difíciles (robustez, detección de inviabilidad, recuperación de excepciones).

2. Pipeline de Síntesis Impulsada por Restricciones

PlanningBench emplea un proceso de síntesis en bucle cerrado que involucra tres componentes:

• Generador: Muestra configuraciones de tarea-restricción e instancia problemas de planificación autocontenidos. Utiliza una distribución de muestreo sobre restricciones básicas, medias y difíciles para controlar la dificultad.
• Respondedor: Intenta resolver el problema generado.
• Crítico: Verifica la solución contra una lista de verificación a nivel de instancia.
• Control Adaptativo de Dificultad: Si el Respondedor resuelve completamente una instancia ($u=1$), el pipeline desplaza la composición de restricciones hacia una mayor dificultad (aumentando los pesos para restricciones medias y difíciles). Si la instancia permanece sin resolver ($u=0$), se mantiene en el nivel de dificultad actual.
• Verificación: Cada instancia se empareja con una lista de verificación que convierte las restricciones a nivel de prompt en comprobaciones ejecutables. El marco favorece soluciones óptimas deterministas o bien especificadas para proporcionar señales de recompensa claras, evitando espacios de respuesta laxos que permiten factibilidad parcial sin consistencia global.

Contribuciones Clave

1. Marco de Generación de Datos Sintéticos: PlanningBench proporciona un mecanismo para generar datos de planificación escalables, diversos y verificables basados en escenarios reales, avanzando más allá de colecciones de evaluación fijas hacia una generación controlable.
2. Verificación Orientada al Entrenamiento: El marco demuestra que los datos verificados de PlanningBench apoyan el aprendizaje por refuerzo orientado a la planificación (específicamente GRPO). Los autores identifican la determinación de la recompensa (preferencia por óptimos bien especificados) como un factor crítico para un entrenamiento estable y transferible.
3. Suite de Evaluación Exhaustiva: El artículo evalúa sistemáticamente LLMs de vanguardia de código abierto y cerrado, revelando que incluso los modelos más fuertes luchan con soluciones completas bajo restricciones acopladas.

Resultados Experimentales

Rendimiento de Evaluación

Los autores evaluaron 18 LLMs representativos (tanto de código abierto como cerrado) en un subconjunto de 467 instancias de PlanningBench.

• Brecha de Rendimiento: Incluso el modelo de mejor rendimiento, GPT-5.4-xhigh, logró solo un 63.17% de Aprobación Total (satisfaciendo todos los elementos de la lista de verificación), lo que indica que la evaluación sigue siendo desafiante y no saturada.
• Consistencia Local vs. Global: Existe una brecha significativa entre Promedio de Aprobación (fracción de elementos de la lista de verificación satisfechos) y Aprobación Total. Por ejemplo, GPT-5.4-medium logró un 90.03% de Promedio de Aprobación pero solo un 58.09% de Aprobación Total, lo que sugiere que los modelos a menudo satisfacen restricciones locales pero fallan al integrarlas en un plan globalmente consistente.
• Análisis de Errores: El modo de fallo principal en todos los modelos es Cálculo/Asignación Incorrecta (60.9%–83.5% de los errores), seguido de Restricción Omisión y Fallos de Seguimiento de Estado. Los errores de formato fueron insignificantes.

Entrenamiento y Transferencia

Los autores entrenaron un modelo Qwen-A3B-30B utilizando GRPO en 300 instancias verificadas de PlanningBench.

• Transferencia a Evaluaciones de Planificación: El modelo entrenado mostró mejoras significativas en evaluaciones de planificación no vistas:
  • ChinaTravel: La Aprobación Total aumentó del 50.92% al 58.36%.
  • TravelPlanner: La Aprobación Total aumentó del 28.85% al 46.86%.
  • Las ganancias fueron más pronunciadas que las logradas al entrenar con datos autorizados por humanos, destacando el valor de la síntesis estructurada y orientada a la verificación.
• Transferencia a Tareas Generales: El entrenamiento en PlanningBench también mejoró el rendimiento en evaluaciones más amplias de seguimiento de instrucciones y razonamiento (Multi-Challenge, Inverse IFEval, Collie), con un aumento promedio de 7.06 puntos.
• Rol de los Óptimos Deterministas: Los modelos entrenados con datos que enfatizan óptimos deterministas (Syn-PlanningBench) mostraron una transferencia superior y dinámicas de entrenamiento más estables (convergencia más rápida, curvas de recompensa más suaves) en comparación con aquellos entrenados con datos de óptimos laxos (Syn-NotDetOptimal).

Significado y Afirmaciones

El artículo afirma que PlanningBench aborda la necesidad crítica de datos de planificación escalables, diversos y verificables. Su significado radica en tres áreas:

1. Poder Diagnóstico: Proporciona una visión detallada de las capacidades de planificación de los LLM, distinguiendo entre el cumplimiento parcial y la capacidad de mantener la consistencia global bajo restricciones acopladas.
2. Utilidad para el Entrenamiento: Demuestra que los datos de planificación automáticamente verificables pueden servir como señales de entrenamiento efectivas para el aprendizaje por refuerzo, mejorando no solo la planificación sino también el seguimiento general de instrucciones y el razonamiento.
3. Principio de Diseño: El trabajo destaca que la determinación de la recompensa es esencial para un entrenamiento estable orientado a la planificación; las instancias con soluciones óptimas bien especificadas proporcionan señales direccionales más claras que aquellas con muchas respuestas localmente aceptables.

Los autores concluyen que la construcción de datos controlable, la verificabilidad automática y la determinación de la recompensa son clave para diagnosticar y mejorar las capacidades de planificación generalizables de los LLM.