Novelty Adaptation Through Hybrid Large Language Model (LLM)-Symbolic Planning and LLM-guided Reinforcement Learning

Este artículo propone una arquitectura neuro-simbólica que integra planificación simbólica, aprendizaje por refuerzo y un modelo de lenguaje grande (LLM) para permitir que los agentes autónomos identifiquen, planifiquen y aprendan a interactuar con objetos novedosos en entornos abiertos dinámicos, superando así las limitaciones de los planificadores tradicionales.

Lo esencial

Imagina que tienes un robot en tu cocina. Este robot es muy inteligente, pero solo sabe hacer cosas que le has enseñado explícitamente. Si le pides que "saque una taza del armario", lo hace perfecto. Pero, ¿qué pasa si de repente aparece un objeto nuevo en la cocina, como una caja de cartón que nunca ha visto antes, o una tapa de olla que no sabe cómo agarrar?

Para el robot, esto es un desastre. Su "manual de instrucciones" (su código) no tiene una página para "abrir una caja nueva" o "agarrar una tapa extraña". Se queda bloqueado, como un conductor que llega a un puente derrumbado y no sabe qué hacer porque su GPS no tiene esa ruta.

Este paper presenta una solución genial que combina tres cerebros diferentes para ayudar al robot a aprender sobre la marcha. Vamos a explicarlo con una analogía sencilla:

El Equipo de Tres Cerebros

El sistema propuesto funciona como un equipo de trabajo con tres roles muy claros:

1. El Arquitecto (El Planificador Simbólico): Es el robot tradicional. Es muy lógico y sigue reglas estrictas. Sabe cómo moverse, pero si no tiene una instrucción para algo nuevo, se detiene.
2. El Sabio (La Inteligencia Artificial de Lenguaje o LLM): Imagina a un anciano muy sabio que ha leído todos los libros del mundo y conoce cómo funcionan las cosas en la vida real (sentido común). Este "Sabio" no mueve el robot, pero sabe qué hacer.
3. El Entrenador (Aprendizaje por Refuerzo o RL): Es un atleta que aprende haciendo. Al principio es torpe, pero si le das premios (recompensas) cuando hace algo bien, aprende a mover sus músculos (los motores del robot) para lograr la tarea.

¿Cómo funciona la magia? (El Proceso)

Cuando el robot se encuentra con un objeto nuevo (digamos, una tapa de olla que no sabe agarrar), ocurre lo siguiente:

1. El Bloqueo y la Pregunta

El robot intenta planear cómo sacar la sopa, pero se da cuenta: "¡Espera! No tengo una instrucción para 'agarrar la tapa'". Se detiene y le pregunta al Sabio (LLM): "Oye, ¿qué debería hacer con esta tapa nueva?"

2. El Sabio Inventor

El Sabio, usando su conocimiento del mundo real, responde: "Bueno, para agarrar una tapa, primero debes acercarte, luego agarrarla con la pinza y finalmente levantarla".
El Sabio no solo da consejos, sino que escribe el manual de instrucciones para el robot. Crea una nueva "instrucción" (un operador) que dice: agarrar_tapa. Le dice al robot exactamente qué condiciones debe cumplir antes de hacerlo (que la tapa esté abierta) y qué pasará después (que la tenga en la mano).

3. El Entrenador y el Mapa de Tesoros

Aquí es donde entra la parte más inteligente. El robot ahora tiene la instrucción escrita, pero no sabe cómo mover sus músculos para hacerla. Es como tener un mapa que dice "cava aquí", pero no saber cómo usar la pala.

Antes, los robots tenían que adivinar al azar (como un niño golpeando una caja de cerillas hasta que se enciende), lo cual tardaba años.
En este sistema, el Sabio también actúa como un entrenador deportivo. Le escribe al robot un "mapa de recompensas" muy detallado.

• En lugar de decir: "Si logras agarrar la tapa, te doy un premio".
• El Sabio dice: "Si te acercas 10 cm a la tapa, te doy un poquito de premio. Si la tocas, te doy más. Si la levantas un poco, te doy aún más".

Esto guía al Entrenador (RL) paso a paso. En lugar de caminar a ciegas por el bosque, el robot sigue un rastro de migas de pan que el Sabio ha dejado.

4. La Prueba y el Descarte

El sistema no se fía de una sola idea. El Sabio escribe tres versiones diferentes de este "mapa de recompensas". Envía a tres robots pequeños a entrenar al mismo tiempo con los tres mapas diferentes.

• Si un mapa es malo y el robot se confunde, ese robot se descarta.
• Si un mapa es bueno y el robot aprende rápido, ese se queda.
  Es como tener tres entrenadores diferentes; si uno te grita mal, lo cambias por otro.

¿Por qué es importante esto?

• Ahorro de tiempo: Sin este sistema, el robot podría tardar años en aprender a abrir una caja nueva por puro azar. Con el Sabio, lo aprende en minutos.
• Adaptabilidad: El robot ya no es un robot tonto que solo hace lo que sabe. Se convierte en un robot curioso que puede aprender a usar herramientas nuevas (como una caja, una tapa o un cajón) simplemente "leyendo" sobre ellas y practicando.
• Seguridad: Al usar un sistema híbrido (lógica + aprendizaje), evitamos que el robot haga cosas locas o peligrosas porque el "Arquitecto" siempre revisa que los pasos tengan sentido.

En resumen

Imagina que tu robot es un niño que nunca ha visto una nevera.

1. Se queda parado frente a ella.
2. Le preguntas a un adulto sabio (LLM): "¿Qué es esto?". El adulto dice: "Es una caja fría. Para abrirla, tienes que tirar de la manija hacia ti".
3. El adulto le escribe al niño una lista de pequeños premios: "Si tocas la manija, ganas una estrella. Si tiras un poco, ganas dos".
4. El niño (el robot) prueba, tira, gana estrellas y finalmente abre la nevera.

Este paper demuestra que, al combinar la lógica estricta de las máquinas con la creatividad y el sentido común de la Inteligencia Artificial, podemos crear robots que realmente pueden vivir en nuestro mundo cambiante y aprender a usar las cosas nuevas sin necesidad de que un humano les programe cada pequeño movimiento desde cero.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "Novelty Adaptation Through Hybrid Large Language Model (LLM)-Symbolic Planning and LLM-guided Reinforcement Learning", presentado en español:

1. El Problema: Adaptación a la Novedad en Entornos Abiertos

En entornos dinámicos y de mundo abierto, los agentes autónomos a menudo se enfrentan a novedades (objetos o situaciones no vistas previamente) que impiden que alcancen sus objetivos.

• Fallo de los planificadores simbólicos tradicionales: Estos sistemas dependen de un dominio de planificación predefinido (usualmente en PDDL). Si un objeto nuevo aparece y el dominio no tiene los operadores necesarios para interactuar con él (ej. "abrir un cajón" si el robot nunca ha visto un cajón), el planificador falla y no puede generar una secuencia de acciones.
• Limitaciones del Aprendizaje por Refuerzo (RL) puro: Aunque el RL puede aprender políticas, la exploración aleatoria en espacios de acción continuos es ineficiente para descubrir estados planificables o operadores faltantes, especialmente en tareas complejas donde la probabilidad de éxito por azar es casi nula.

2. Metodología: Arquitectura Neuro-Simbólica Híbrida

Los autores proponen un marco de trabajo que integra Razonamiento Simbólico, Aprendizaje por Refuerzo (RL) y Modelos de Lenguaje Grandes (LLM) en un bucle de "Planificar-Aprender-Ejecutar".

A. Identificación de Operadores Faltantes (Planificación Simbólica + LLM)

• Detección de la brecha: Cuando el planificador simbólico no encuentra una solución debido a un objeto nuevo, el sistema activa al LLM.
• Razonamiento de Sentido Común: El LLM utiliza su conocimiento enciclopédico y de sentido común para inferir la estructura del operador faltante. Se le proporciona el estado actual, el objetivo, los objetos novedosos y los operadores existentes.
• Generación de PDDL: El LLM propone nombres, parámetros, precondiciones y efectos para el nuevo operador en formato PDDL.
• Validación Simbólica: Se utiliza un algoritmo de búsqueda simbólica ("search-ahead") para verificar si la adición de este operador permite encontrar un plan. Se emplea la técnica de Self-Consistency (muestrear múltiples propuestas y elegir la mayoría) para aumentar la precisión.

B. Aprendizaje de Políticas (RL Guiado por LLM)

Una vez que el planificador genera un plan con operadores "desconocidos" (para los cuales no existe una política de control), el sistema debe aprender a ejecutarlos.

• Generación de Funciones de Recompensa: En lugar de usar recompensas esparsas o manuales, el LLM escribe código para funciones de recompensa densas (reward shaping). Estas funciones calculan el progreso hacia el sub-objetivo (ej. la distancia entre la mano y el pomo de un cajón) basándose en las observaciones numéricas del robot.
• Curriculum de Sub-objetivos: Los efectos de un operador se tratan como una secuencia ordenada de sub-objetivos. El sistema entrena al agente RL en fases, desbloqueando recompensas para el siguiente sub-objetivo solo cuando el anterior se cumple.
• Selección Evolutiva de Recompensas: Para mitigar el riesgo de que el LLM genere código de recompensa erróneo o ineficaz, el sistema lanza múltiples agentes RL (uno por cada candidato de función de recompensa generado). Periódicamente, se eliminan los agentes con peor rendimiento (estrategia inspirada en algoritmos genéticos), conservando solo las funciones de recompensa más efectivas.

3. Contribuciones Clave

1. Identificación Estructural de Operadores: Se propone un método que utiliza el razonamiento de sentido común de los LLM para identificar y definir formalmente operadores faltantes, resolviendo un problema que suele ser intratable para los métodos tradicionales de descubrimiento de operadores.
2. Aceleración del Aprendizaje mediante Recompensas Densas: Se mejora una arquitectura híbrida de planificación y aprendizaje generando funciones de recompensa densas mediante LLM, lo que acelera significativamente la convergencia del RL en espacios continuos.
3. Validación en Dominios Continuos: Se evalúa el método en entornos de manipulación robótica continua (simulación MimicGen), demostrando superioridad sobre métodos de estado del arte en la adaptación a objetos novedosos.

4. Resultados y Evaluación

Los experimentos se realizaron en cuatro dominios de dificultad creciente: Cocina (tapa de olla), Ensamblaje de tuercas (tuerca en perno redondo), Café (caja) y Café (cajón).

• Comparación con Descubrimiento de Operadores (OD): El método híbrido propuesto logró identificar los operadores faltantes en el 100% de los casos (10/10 en la mayoría de dominios) y en un tiempo de segundos. En contraste, el método OD basado puramente en RL falló en dominios difíciles (como el cajón), tardando más de 7 horas sin éxito o fallando completamente (0/10), demostrando que la exploración aleatoria es insuficiente en espacios continuos complejos.
• Comparación con Baselines de RL (LEAGUE-sparse y Reward Machine):
  • El agente guiado por LLM (LG) superó significativamente a las líneas base en tasa de éxito y progreso (p < 0.05 en pruebas de Wilcoxon).
  • Mientras que los baselines lograron tasas de éxito cercanas a 0% en tareas difíciles (ej. abrir cajón), el método propuesto alcanzó tasas de éxito superiores al 90-99%.
  • La estrategia de múltiples candidatos de recompensa demostró ser robusta, eliminando funciones de recompensa defectuosas durante el entrenamiento.

5. Significado e Impacto

Este trabajo representa un avance significativo hacia la robótica de mundo abierto.

• Superación de la rigidez: Permite a los robots adaptarse a objetos nuevos sin necesidad de reentrenar todo el sistema o reescribir manualmente el dominio de planificación.
• Eficiencia: Combina la precisión lógica de la planificación simbólica con la capacidad de generalización y generación de código de los LLM, reduciendo drásticamente el tiempo de exploración necesario para el aprendizaje de nuevas habilidades.
• Escalabilidad: La arquitectura sugiere un camino viable para desplegar robots en entornos domésticos o industriales donde la aparición de objetos no catalogados es común. Los autores planean validar esto en robots físicos utilizando módulos de percepción de vocabulario abierto.

En resumen, el paper demuestra que delegar la inferencia de operadores faltantes y el diseño de recompensas a los LLM, dentro de un marco neuro-simbólico, es una estrategia efectiva para resolver el problema de la adaptación a la novedad en robótica autónoma.