Geometry-Aligned LLM Fine-Tuning for Sequential Narrow-Opening Planning

1. El Problema

El artículo aborda el desafío de la planificación de movimiento para cuerpos rígidos que deben navegar a través de múltiples aberturas estrechas secuenciales (por ejemplo, puertas o pasillos entre obstáculos) en un entorno 2D.

• Desafío Principal: A diferencia de la planificación de un solo paso, navegar múltiples aberturas requiere razonamiento geométrico de largo horizonte. La configuración (posición y orientación) utilizada para atravesar una abertura temprana restringe las configuraciones alcanzables para las siguientes.
• Limitaciones de Métodos Existentes:
  • Los planificadores basados en modelos (como A*, RRT) a menudo fallan en entornos complejos debido a la sensibilidad a la discretización y la dificultad de encontrar soluciones globales en tiempo razonable.
  • Los planificadores basados en aprendizaje (ML) suelen generar waypoints discretos sin garantías geométricas para el movimiento continuo entre ellos, lo que puede provocar colisiones "barridas" (swept collisions) o fallos al componer trayectorias locales.
  • Los Grandes Modelos de Lenguaje (LLM) estándar carecen de garantías geométricas y no están entrenados para generar secuencias de waypoints estructuradas y físicamente viables.

2. Metodología Propuesta

Los autores proponen un marco de ajuste fino (fine-tuning) de LLM alineado con la geometría. El objetivo es que el LLM genere secuencias de waypoints de longitud fija, legibles por máquina, que sean geométricamente factibles y coordinadas a través de todas las aberturas.

El enfoque utiliza un pipeline de entrenamiento de dos niveles:

A. Nivel 1: Ajuste Fino Supervisado (SFT) Impulsado por Fallos

• Base: Se utiliza un modelo Llama-3.1-8B-Instruct congelado con adaptadores LoRA (Low Rank Adaptation).
• Datos: Se recopilan demostraciones humanas de navegación en entornos sintéticos.
• Mecanismo de Retroalimentación: A diferencia del SFT estándar que solo imita tokens, este método incorpora retroalimentación de fallos estructurada.
  • El modelo genera una secuencia de waypoints.
  • Un verificador geométrico determinista "densifica" la trayectoria (interpola movimientos continuos) y verifica las restricciones.
  • Si falla, se registra el índice del primer waypoint fallido y el tipo de violación (límites del espacio, colisión, colisión barrida o tamaño de paso).
  • Esta información de fallo se incluye en el prompt para el siguiente entrenamiento, enseñando al modelo a evitar patrones de error comunes sin cambiar el objetivo de supervisión (las demostraciones humanas).

B. Nivel 2: Optimización de Política Relativa de Grupo (GRPO) con Verificación Geométrica

• Objetivo: Refinar los adaptadores LoRA para optimizar directamente la factibilidad de la trayectoria continua, más allá de la validez de los puntos discretos.
• Proceso:
  • Se muestrea un grupo de secuencias de waypoints completas para un mismo prompt.
  • Cada secuencia se densifica y evalúa mediante el verificador geométrico.
  • Se calcula una recompensa determinista basada en la violación de restricciones (C1-C4): límites del espacio, colisión con obstáculos, seguridad barrida y suavidad del paso.
  • Se utiliza GRPO para maximizar la probabilidad de las secuencias con recompensas más altas en relación con el promedio del grupo, sin necesidad de entrenar una red de valor separada.
  • Se incluye un regularizador KL para evitar que el modelo se desvíe demasiado de la inicialización del SFT.

3. Contribuciones Clave

1. Generación de Secuencias Estructuradas: Se aprovecha la capacidad de razonamiento secuencial de los LLM para generar secuencias de waypoints en SE(2) estructuradas por bloques (por abertura), seleccionando explícitamente poses de salida que facilitan la entrada en aberturas futuras.
2. Bucle de Entrenamiento Impulsado por Fallos: Introducción de un mecanismo de SFT que utiliza índices de fallo y tipos de violación como retroalimentación estructurada, permitiendo al modelo aprender de sus errores geométricos recurrentes.
3. Optimización con GRPO y Verificación Geométrica: Uso de GRPO con una recompensa derivada de un verificador geométrico determinista. Esto alinea la generación del modelo con la corrección de la trayectoria completa (movimiento continuo), no solo con la validez de los waypoints discretos.

4. Resultados

Los experimentos se realizaron en simulaciones con entornos de distribución (ID) y fuera de distribución (OOD).

• Rendimiento Cuantitativo:

  • El método propuesto (SFT impulsado por fallos + GRPO) logró la tasa de éxito más alta: 92.6% en entornos ID y 77.3% en entornos OOD.
  • En comparación, el SFT estándar (solo imitación) tuvo un rendimiento muy pobre en OOD (10.4%), mostrando que la imitación pura no generaliza bien a nuevas geometrías.
  • La adición de GRPO redujo drásticamente las violaciones de restricciones, eliminando casi por completo los fallos de límites de espacio (C1) y tamaño de paso (C4), y reduciendo significativamente las colisiones barridas (C3).
  • La recompensa geométrica promedio fue la más alta (0.94), indicando trayectorias de mayor calidad.

• Rendimiento Cualitativo:

  • El método demuestra razonamiento geométrico de largo horizonte: selecciona poses de salida en una abertura que ya están orientadas hacia la dirección necesaria para la siguiente abertura, reduciendo la rotación necesaria en los espacios intermedios estrechos.
  • Los métodos basados en subobjetivos (como PRM descompuesto) a menudo generan waypoints localmente factibles pero que dejan insuficiente espacio para reorientarse en la siguiente abertura, fallando tras la densificación.

5. Significado e Impacto

Este trabajo es significativo porque cierra la brecha entre la capacidad de razonamiento de alto nivel de los LLM y las estrictas restricciones geométricas de la planificación de movimiento robótico.

• Desacoplamiento de Percepción y Planificación: Al usar descripciones geométricas textuales exactas en lugar de entradas visuales (VLM), el método evita errores de percepción y se centra puramente en el razonamiento lógico-geométrico.
• Generalización Robusta: Demuestra que los LLM pueden aprender a planificar en entornos complejos y no vistos si se les entrena con retroalimentación geométrica determinista y optimización basada en recompensas, superando las limitaciones de los planificadores tradicionales y los métodos de aprendizaje por refuerzo estándar.
• Aplicabilidad: Ofrece una solución viable para problemas logísticos y de manipulación donde el transporte de objetos grandes a través de espacios confinados requiere una coordinación precisa y anticipada.

En resumen, el artículo presenta un marco innovador que transforma un LLM en un planificador de movimiento robusto mediante un ciclo de entrenamiento que integra rigurosamente la verificación geométrica en el proceso de aprendizaje.