Resumen Técnico: Razonamiento Neurosimbólico con Conocimiento Incremental para el Aprendizaje por Refuerzo Jerárquico con Eficiencia de Muestreo

1. Planteamiento del Problema

Los agentes de Aprendizaje por Refuerzo Profundo (DRL) tienen dificultades en entornos caracterizados por recompensas dispersas y razonamiento de largo horizonte, sufriendo a menudo de una complejidad de muestreo prohibitiva. Aunque el Aprendizaje por Refuerzo Jerárquico (HRL) mitiga esto mediante la descomposición de tareas en diferentes niveles de abstracción, los enfoques estándar suelen depender de paradigmas de conocimiento no incremental (non-InK). En estos métodos, como SoRB y RGL, el planificador simbólico de alto nivel requiere que se construya un modelo de mundo abstracto completo y estático mediante una exploración exhaustiva antes de que pueda comenzar cualquier comportamiento dirigido a objetivos. Esto crea una ineficiencia fundamental: el agente debe explorar todo el entorno independientemente del objetivo específico.

Además, en el HRL neurosimbólico, suele existir una brecha semántica entre el planificador simbólico de alto nivel y el controlador neural de bajo nivel. El planificador de alto nivel asume que ciertas acciones son factibles, pero la política neural de bajo nivel (a menudo entrenada de forma independiente o en un entorno diferente) puede fallar al ejecutarlas debido a restricciones dinámicas, estocasticidad u obstáculos no modelados. Los enfoques neurosimbólicos existentes carecen de mecanismos para actualizar el modelo de mundo de alto nivel basándose en la retroalimentación de la ejecución de bajo nivel. Por el contrario, los enfoques clásicos de conocimiento incremental (InK) en robótica (por ejemplo, SLAM Activo, D*) actualizan los modelos de mundo durante la ejecución, pero típicamente asumen componentes simbólicos en ambos niveles, fallando al no abordar la dinámica dependiente de la política de los controladores neurales de bajo nivel.

Finalmente, cuando existe conocimiento previo estructural (por ejemplo, "hay exactamente una pared en una ubicación desconocida"), los algoritmos de planificación actuales como D* o los resolvedores de BAMCP (Bayesian Adaptive MDP) son subóptimos. D* replanifica basándose en las observaciones actuales, pero ignora el conjunto de mundos posibles (conjunto de creencias) para optimizar el rendimiento del caso promedio. BAMCP asume independencia entre las transiciones de estado-acción, lo que impide capturar las restricciones estructurales donde la ubicación de un obstáculo restringe las posibilidades de otros.

2. Metodología

Los autores proponen HRL Neurosimbólico con Conocimiento Incremental (InK), un marco que integra la planificación simbólica con el control neural mientras actualiza continuamente el modelo de mundo basándose en las trazas de ejecución.

2.1 HRL Neurosimbólico con InK

El marco emplea una jerarquía de dos niveles:

• Alto Nivel (Simbólico): Mantiene un modelo de mundo abstracto actualizable ($M$) que representa el entorno como un conjunto de estados y acciones simbólicas. Realiza la planificación utilizando un planificador incremental (por ejemplo, D*) para generar subobjetivos. Crucialmente, este modelo se actualiza en tiempo real basándose en la retroalimentación de la ejecución de bajo nivel.
• Bajo Nivel (Neural): Una política neural condicionada a objetivos ($\pi_l$) ejecuta el control de movimiento continuo para alcanzar los subobjetivos proporcionados por el alto nivel. Actúa como un sensor; sus éxitos y fracasos proporcionan las trazas de ejecución ($\rho$) necesarias para actualizar el modelo de alto nivel.
• Coordinación: El planificador de alto nivel dirige al agente de bajo nivel hacia un subobjetivo. Si el agente de bajo nivel falla (por ejemplo, choca con una pared inesperada), el monitor detecta esto y el modelo de alto nivel se actualiza para reflejar la nueva restricción. El planificador entonces replanifica. Esto elimina la necesidad de una exploración exhaustiva previa, permitiendo un comportamiento dirigido a objetivos desde el primer episodio.

2.2 Búsqueda en Árbol de Mundos de Creencia (BWTS)

Para abordar la limitación de los planificadores incrementales estándar (como D*) que no aprovechan el conocimiento previo estructural sobre un conjunto de mundos posibles ($W_0$), los autores introducen la Búsqueda en Árbol de Mundos de Creencia (BWTS).

• Formulación del Problema: El agente opera en un mundo verdadero $W_{true} \in W_0$, donde $W_0$ es un conjunto finito de mundos posibles que codifican conocimientos previos estructurales (por ejemplo, "existe una pared, ubicación desconocida"). El objetivo es encontrar una política $\pi$ que minimice el costo promedio sobre todos los mundos en $W_0$.
• Estructura de Árbol: BWTS construye un árbol de búsqueda con dos tipos de nodos:
  • Nodos de Decisión: Representan la elección de acción del agente.
  • Nodos de Azar: Representan el resultado de una acción (por ejemplo, si un camino está bloqueado por una pared o no), dividiendo el conjunto de creencias $W$ en subconjuntos ($W^-$ donde la pared existe, $W^+$ donde no existe).
• Rollouts Estratégicos: A diferencia de la búsqueda de árbol de Monte Carlo (MCTS) estándar que utiliza rollouts aleatorios, BWTS emplea rollouts estratégicos. Evalúa estrategias fijas y deterministas (por ejemplo, "barrer a la izquierda", "barrer a la derecha", "moverse al objetivo") a través de todos los mundos en el conjunto de creencias actual para estimar los valores de los nodos. Esto reduce la varianza y evita los bucles comunes en los rollouts estocásticos.
• Selección y Expansión: El algoritmo utiliza una fórmula de estilo UCB (Upper Confidence Bound) para equilibrar la exploración y la explotación. Prioriza la expansión de las ramas con conjuntos de creencias más grandes, ya que estas requieren más exploración para resolver la incertidumbre.
• Convergencia: Teóricamente, BWTS converge a la política óptima para el problema InK a medida que aumenta el número de iteraciones, siempre que el árbol esté completamente expandido.

3. Contribuciones Clave

1. HRL Neurosimbólico con InK: La propuesta de un marco jerárquico donde un planificador de alto nivel simbólico mantiene un modelo de mundo actualizable guiado por un controlador neural de bajo nivel. Este enfoque cierra la brecha semántica utilizando la retroalimentación de la ejecución de bajo nivel para refinar las abstracciones de alto nivel, permitiendo un aprendizaje con eficiencia de muestreo sin necesidad de una exploración exhaustiva previa.
2. Búsqueda en Árlem de Mundos de Creencia (BWTS): El desarrollo de un algoritmo de planificación que optimiza el rendimiento del caso promedio sobre un conjunto de mundos posibles con dependencias estructurales. BWTS adapta MCTS para manejar la dinámica totalmente observable pero desconocida con conocimientos previos estructurales, superando las suposiciones de independencia de BAMCP y la falta de utilización del conjunto de creencias de D*.
3. Validación Empírica: Demostración de que InK HRL supera significativamente a las líneas base no-InK (específicamente RGL) en eficiencia de muestreo en diversas tareas de navegación, incluyendo control continuo de alta dimensión (Ant-Maze).

4. Resultados Experimentales

Los autores evaluaron su enfoque en tareas de navegación utilizando entornos Point-Maze (Four Rooms, Medium Maze, Hard Maze) y un Ant-Maze U-Room de alta dimensión.

• InK vs. Non-InK (RGL):

  • Eficiencia de Muestreo: InK requirió de 30 a 100 veces menos muestras que RGL para alcanzar una meta desde cero (sin conocimiento previo). Por ejemplo, en Hard Maze, InK alcanzó la meta en ~209 pasos frente a los ~17,456 pasos de RGL.
  • Eficiencia de Entrenamiento: Incluso después de que RGL completara su extensa fase de entrenamiento (más de 100k muestras), InK (tras alcanzar solo 75 metas para construir su base de conocimiento) siguió siendo más eficiente, requiriendo un 18% menos de muestras y 20 veces menos tiempo por meta.
  • Control de Alta Dimensión: En el Ant-Maze (29 dimensiones), InK alcanzó la meta en ~1,500 pasos (usando D*) o ~1,134 pasos (usando BWTS), mientras que la línea base no-InK requirió ~10,000 pasos para construir un modelo abstracto completo.

• Comparación de Planificadores Simbólicos (D vs. BWTS vs. BAMCP):*

  • BWTS vs. D:* En mundos de rejilla sintéticos con conocimientos previos estructurales (por ejemplo, una única pared horizontal), BWTS logró un costo esperado menor (por ejemplo, una mejora del 15.7% sobre D* en escenarios de pared horizontal) al explotar el conjunto de creencias para evitar retrocesos costosos. Sin embargo, en escenarios complejos sin ventajas estructurales claras (por ejemplo, tipos de paredes mixtos), la sobrecarga de tiempo de ejecución de BWTS fue significativa para ganancias marginales.
  • BWTS vs. BAMCP: BAMCP tuvo un desempeño deficiente (a menudo >28 pasos frente a los ~24 de D*) y fue inestable debido a su dependencia de rollouts estocásticos y su incapacidad para modelar dependencias estructurales (por ejemplo, "si hay una pared en A, no hay pared en B"). Los rollouts estratégicos de BWTS y el modelado explícito de las restricciones estructurales produjeron un rendimiento superior.
  • Conocimiento Previo: Cuando había conocimiento previo disponible (por ejemplo, un conjunto de tres tipos de laberintos conocidos), InK-BWTS redujo a la mitad el conteo de muestras en comparación con InK-D*, aunque incurrió en un mayor tiempo de computación durante la fase de planificación.

5. Significado y Reivindicaciones

El artículo afirma que el HRL Neurosimbólico con InK proporciona un enfoque práctico para el aprendizaje con eficiencia de muestreo en entornos complejos de recompensa dispersa. Al combinar el razonamiento estructural de los planificadores simbólicos con la adaptabilidad de los controladores neurales, el marco permite que los agentes actúen con conocimiento parcial y refinen sus decisiones a medida que adquieren nueva información, imitando el razonamiento humano.

Los autores enfatizan que:

• Eficiencia de Muestreo: El enfoque genera ganancias que superan las 100,000 pasos de entorno comparado con los métodos no-InK de última generación en entornos Point Maze.
• Optimalidad bajo Incertidumbre: BWTS ofrece un método para planificar óptimamente en promedio sobre mundos de creencia, abordando un vacío dejado tanto por los replanificadores incrementales (que ignoran los conocimientos previos) como por los planificadores Bayesianos (que asumen independencia).
• Versatilidad: El marco es aplicable tanto a problemas de control continuo de baja dimensión como de alta dimensión, siempre que se pueda pre-entrenar o aprender una política de bajo nivel condicionada a objetivos.

El trabajo concluye que, si bien BWTS introduce una sobrecarga computacional, la compensación se justifica cuando existe conocimiento previo estructural, y que el marco InK en sí mismo ofrece ganancias sustanciales de eficiencia incluso sin tales conocimientos previos en comparación con el HRL tradicional. Se sugiere como trabajo futuro extender InK a tareas de manipulación y unificar los conocimientos previos estructurales y probabilísticos en un solo algoritmo.