"Don't Do That!": Guiding Embodied Systems through Large Language Model-based Constraint Generation

Este artículo presenta STPR, un marco que utiliza modelos de lenguaje grandes para traducir instrucciones naturales de restricciones ("qué no hacer") en funciones de Python ejecutables, permitiendo a los sistemas robóticos navegar cumpliendo condiciones complejas en entornos simulados con alta precisión y bajo costo computacional.

Lo esencial

¡Claro que sí! Imagina que tienes un robot aspirador muy inteligente, pero que a veces se comporta como un niño pequeño: entiende lo que le dices, pero a veces se le escapan las cosas o "alucina" (inventa cosas que no son reales) cuando intenta planear su ruta.

Este paper (documento de investigación) presenta una solución genial llamada STPR (que suena como "Stopper" o "Freno"). Es como un traductor mágico que convierte las reglas de "no hagas esto" que le das en lenguaje humano, en un código de computadora infalible que el robot puede seguir al pie de la letra.

Aquí te lo explico con una analogía sencilla:

🏠 El Problema: El Robot "Soñador"

Imagina que le dices a tu robot: "Por favor, limpia la casa, pero no te acerques a la chimenea porque quema".

• El enfoque antiguo (Solo IA): Le pides al robot que piense la ruta. A veces, el robot (basado en modelos de lenguaje grandes) te dice: "¡Hecho!" y traza una línea que pasa justo por encima de la chimenea, o peor, atraviesa una pared porque "creyó" que podía pasar. Es como si un copiloto humano muy hablador pero distraído te dijera: "Confía en mí, cruzamos por aquí", y te lleva al precipicio.
• El problema: La IA es buena hablando, pero mala haciendo matemáticas precisas o siguiendo reglas estrictas sin fallar.

💡 La Solución: STPR (El Traductor de "No Hagas")

En lugar de pedirle al robot que piense la ruta completa, STPR le pide que solo traduzca la regla a un lenguaje que la máquina no puede ignorar: código Python.

Es como si le dijeras a un arquitecto:

"No pongas la casa cerca del volcán".

En lugar de que el arquitecto intente dibujar la casa evitando el volcán con su imaginación (y se equivoque), STPR le da al arquitecto una regla matemática escrita en un papel:

"Si la distancia al volcán es menor a 50 metros, el código devuelve 'PROHIBIDO'."

🛠️ ¿Cómo funciona el truco? (Paso a paso)

1. La Petición Humana: Tú le dices al sistema: "Evita la chimenea" o "Si hay un gato en la cocina, no entres".
2. El Traductor (LLM): El sistema usa una Inteligencia Artificial (un modelo de lenguaje) no para dibujar el camino, sino para escribir una pequeña función de código (un programa pequeño) que actúa como un "guardián".
   • Ejemplo: El robot escribe: def es_peligroso(x, y, z): if distancia_a_chimenea < 2: return True.
3. El Filtro (Malla de puntos): El sistema toma el mapa de la casa y lo llena de millones de puntos invisibles (como una nube de polvo). Luego, le pasa esos puntos a la función que escribió el robot.
   • Si un punto cae cerca de la chimenea, la función dice: "¡Bingo! Esto es peligroso".
   • Esos puntos peligrosos se marcan en rojo y se convierten en obstáculos invisibles.
4. El Navegante (Algoritmo Clásico): Ahora, el robot usa un algoritmo de navegación antiguo y muy confiable (como A* o RRT*), que es como un GPS matemático perfecto. Este GPS ve los puntos rojos (la chimenea) y dice: "Ah, hay un muro invisible aquí, buscaré otro camino".
   • Como el GPS es matemático, nunca se equivoca. Si dice que no hay camino, es porque realmente no lo hay.

🚀 ¿Por qué es tan bueno esto?

• Seguridad Total: El robot nunca ignorará la regla. Si la regla dice "no entres", el código lo bloquea físicamente en el mapa.
• Rápido y Barato: No necesitan usar los modelos de IA más caros y lentos del mundo. Funciona incluso con modelos de código más pequeños y rápidos.
• Flexible: Si quieres cambiar la regla (ej. "Ahora la chimenea está apagada, puedes acercarte"), solo cambias el código de la función. No tienes que volver a entrenar al robot.
• Sin Alucinaciones: El robot no "inventa" caminos que cruzan paredes. El código es la verdad absoluta.

🌟 En resumen

Imagina que STPR es como ponerle al robot un abogado experto en leyes (la IA que escribe el código) y un conductor obediente (el algoritmo de navegación).

• El abogado lee tus reglas ("No toques el fuego") y las convierte en una ley escrita estricta.
• El conductor solo sigue la ley escrita. Si la ley dice "prohibido", el conductor se detiene.

De esta forma, logramos que los robots entiendan nuestras instrucciones complejas y naturales, pero que se muevan con la precisión y seguridad de una máquina, sin cometer errores de "imaginación". ¡Es la combinación perfecta entre la creatividad humana y la precisión matemática!

Resumen técnico

Resumen Técnico: STPR (Safe Trajectory Planning with Restrictions)

1. Planteamiento del Problema

La navegación robótica en el mundo real no solo requiere alcanzar un objetivo, sino también adherirse a restricciones complejas especificadas por operadores humanos en lenguaje natural (ej. "no acercarse a la chimenea", "evitar la cocina si hay un animal"). Estas restricciones suelen ser informales, implícitas o semánticas, lo que dificulta su traducción a descripciones formales para algoritmos de planificación.

Los enfoques actuales basados puramente en Grandes Modelos de Lenguaje (LLM) presentan limitaciones críticas:

• Alucinaciones: Generan planes que parecen plausibles pero violan restricciones físicas o del entorno.
• Falta de interpretabilidad: Es difícil incorporar normas sociales o zonas de peligro dinámicas.
• Cumplimiento parcial: Incluso con modelos de razonamiento avanzados, los LLMs pueden ignorar arbitrariamente las condiciones ("si hay un animal, no entrar").
• Costo computacional: Los modelos de razonamiento profundo tienen latencias altas, inadecuadas para despliegues en tiempo real.

El problema central es cómo traducir instrucciones de "qué no hacer" en restricciones matemáticas rigurosas que garanticen la seguridad sin sacrificar la eficiencia.

2. Metodología: El Marco STPR

Los autores proponen STPR (Safe Trajectory Planning with Restrictions), un marco de navegación neuro-simbólico que separa la comprensión del lenguaje de la toma de decisiones de planificación. En lugar de pedir al LLM que genere directamente una ruta, STPR utiliza al LLM para generar funciones de restricción ejecutables en Python.

El proceso se divide en tres etapas principales:

1. Generación de Código de Restricción (Prompting):

   • Se utiliza una plantilla de prompt ingenierizada que incluye: instrucciones del sistema, una descripción textual del entorno, la restricción en lenguaje natural y una firma de función Python fija.
   • El LLM genera una función booleana f(x, y, z) -> True/False que define si un punto en el espacio es válido o pertenece a una región prohibida.
   • Esto aprovecha la fuerte capacidad de codificación pre-entrenada de los LLMs, evitando el razonamiento matemático complejo en texto libre y reduciendo las alucinaciones.

2. Muestreo de Nubes de Puntos (Rejection Sampling):

   • Las funciones generadas se integran en una representación de nube de puntos del entorno (simulado en Gazebo).
   • Se utiliza un muestreo de rechazo: se generan puntos aleatorios en el espacio y se evalúan con la función del LLM. Si la función devuelve True (punto prohibido), el punto se marca como un obstáculo virtual.
   • Para mejorar la eficiencia, el LLM también puede generar una caja delimitadora (bounding box) que aproxime la región de restricción, limitando el muestreo a áreas relevantes.
   • Los puntos resultantes se almacenan en una estructura kd-tree para consultas rápidas de vecinos más cercanos.

3. Planificación de Ruta Restringida:

   • Un algoritmo de búsqueda clásico (como A* o RRT*) opera sobre la nube de puntos modificada.
   • El algoritmo verifica si los estados candidatos colisionan con los puntos de restricción antes de expandirlos.
   • Esto garantiza que la ruta final cumpla teóricamente con las restricciones (garantías de completitud, solidez y optimalidad inherentes a los algoritmos de búsqueda).

3. Contribuciones Clave

• Enfoque Neuro-Simbólico: Combina la flexibilidad semántica de los LLMs con la rigurosidad matemática de los algoritmos de búsqueda clásicos.
• Traducción a Código Ejecutable: Transforma instrucciones ambiguas en funciones booleanas precisas, eliminando la ambigüedad de la planificación directa por LLM.
• Compatibilidad con Modelos Pequeños: Demuestra que modelos de código más pequeños y económicos (como Granite-34B o Llama-3.1-70B) son suficientes para generar restricciones fiables, sin necesidad de modelos de razonamiento masivos y costosos.
• Independencia de Sensores: El sistema permite que robots sin sensores específicos (ej. sensores de temperatura) eviten peligros basándose únicamente en instrucciones textuales del usuario.

4. Resultados Experimentales

Los autores evaluaron STPR en un entorno simulado Gazebo con cuatro escenarios desafiantes:

1. Evitación de Cámara de Seguridad: Restricción de campo de visión (FOV) en 3D.
2. Evitación de Agujero: Peligro vertical oculto (trampa).
3. Animal en la Cocina: Restricción condicional ("si hay animal, no entrar").
4. Calor de Chimenea: Restricción física basada en modelos de radiación térmica.

Hallazgos principales:

• Cumplimiento Total: STPR logró un 100% de éxito en todos los escenarios, generando rutas válidas o reportando correctamente la inexistencia de una solución (ej. cuando la restricción bloquea todo el camino).
• Fallo de Baselines:
  • Los algoritmos clásicos (A*/RRT* sin STPR) ignoraron las restricciones (0% de éxito).
  • Los enfoques directos con LLM/VLM (GPT-4o, o3-mini) sufrieron de alucinaciones y cumplimiento parcial, con tasas de éxito entre 0% y 10% en escenarios complejos.
• Rendimiento y Costo:
  • El tiempo total de ejecución (prompting + muestreo + planificación) osciló entre 12 y 18 segundos.
  • El tiempo de inferencia del LLM fue la parte más costosa, pero se demostró que modelos más pequeños (Granite-34B) son viables y mucho más rápidos que modelos de razonamiento como o1-pro.
  • La densidad de la nube de puntos (K) afecta la precisión y el tiempo, pero es un hiperparámetro fácil de ajustar.

5. Significado e Impacto

El trabajo STPR representa un avance significativo hacia la integración segura y confiable de la IA generativa en robótica física.

• Seguridad Garantizada: Al delegar la toma de decisiones de trayectoria a algoritmos clásicos, se eliminan los riesgos de alucinación en la ruta final.
• Interpretabilidad: Las restricciones se vuelven código legible y auditable por expertos humanos, facilitando la depuración y el ajuste sin reentrenar modelos.
• Viabilidad Práctica: Al funcionar con modelos de código más pequeños y rápidos, STPR ofrece una solución escalable y de bajo costo para robots en entornos dinámicos, superando las limitaciones de latencia y fiabilidad de los enfoques puramente basados en LLMs.

En conclusión, STPR demuestra que la combinación de la capacidad de lenguaje natural de los LLMs con la certeza matemática de la planificación clásica es la vía más prometedora para crear sistemas robóticos autónomos que puedan entender y obedecer instrucciones humanas complejas y seguras.