Resumen Técnico: Planificación Binevel con Abstracciones Simbólicas Aprendidas de Datos de Interacción

Definición del Problema

Los agentes robóticos que operan en entornos continuos enfrentan un compromiso fundamental: el razonamiento directo en espacios de estado continuos de alta dimensión es computacionalmente intratable debido al número infinito o vasto de soluciones posibles, mientras que el razonamiento puramente simbólico a menudo falla porque descarta información geométrica y dinámica crítica, lo que conduce a fallos de ejecución. Los métodos existentes que aprenden abstracciones simbólicas a partir de la exploración no supervisada de robots suelen depender de dominios deterministas, carecen de mecanismos para verificar si un plan simbólico tendrá éxito en el mundo continuo y no ofrecen ninguna alternativa cuando la abstracción es insuficiente. Este artículo aborda la necesidad de un marco de planificación que combine la eficiencia del razonamiento simbólico de alto nivel con la precisión de la verificación de dinámicas continuas.

Metodología

Los autores proponen un marco de planificación neuro-simbólica binevel que opera a través de dos niveles distintos, respaldado por una arquitectura de doble modelo entrenada con datos de interacción no supervisada.

1. Arquitectura de Doble Modelo

El marco utiliza dos modelos de redes neuronales especializados derivados de una arquitectura de codificador-decodificador entrenada para predecir los efectos de las acciones:

• Modelo Simbólico ($M_{sym}$): Utiliza una función de activación Gumbel-Sigmoid en sus capas de cuello de botella. Este modelo está diseñado para descubrir símbolos de objetos unarios discretos y símbolos relacionales (por ejemplo, "sobre", "al lado de") para generar operadores simbólicos para la planificación de alto nivel.
• Modelo de Dinámicas ($M_{dyn}$): Utiliza una función de activación Sigmoid estándar en sus capas de cuello de botella. Aunque comparte la misma arquitectura, este modelo está optimizado para la predicción precisa de efectos continuos, sirviendo como modelo de dinámicas hacia adelante para la verificación y la búsqueda de bajo nivel.

2. Proceso de Aprendizaje

El sistema aprende a partir de un conjunto de datos de muestras de interacción $(X, a, X')$, donde $X$ representa el estado continuo (posiciones y tipos de objetos) y $a$ representa habilidades parametrizadas de agarrar y colocar.

• Descubrimiento de Símbolos: El Modelo Simbólico mapea estados continuos a símbolos discretos. Los símbolos relacionales se calculan utilizando un mecanismo de autoatención adaptado con Gumbel-Sigmoid para permitir el aprendizaje diferenciable de símbolos discretos.
• Extracción de Operadores: Las transiciones continuas se convierten en conjuntos de datos simbólicos. Los operadores se definen como conjuntos de precondiciones y efectos basados en los estados post-acción más frecuentes observados en los datos.
• Construcción de Dominio Probabilístico: En lugar de operadores deterministas, el marco construye un dominio PPDDL (PDDL Probabilístico). Cada operador incluye una distribución de probabilidad sobre los efectos simbólicos posibles basada en su frecuencia empírica, capturando la estocasticidad de las interacciones del mundo real.

3. El Algoritmo de Planificación Binevel

El proceso de planificación procede en dos niveles:

• Nivel 1: Planificación Simbólica Probabilística con Verificación
  • El sistema genera un conjunto de $N$ dominios PDDL muestreando efectos de las distribuciones probabilísticas aprendidas.
  • Un planificador de IA clásico (Fast-Downward) busca planes en estos dominios.
  • Verificación Continua: Los planes simbólicos candidatos se clasifican por probabilidad. El Modelo de Dinámicas ($M_{dyn}$) se utiliza como simulador hacia adelante para predecir el resultado continuo de cada plan candidato. Si el estado final predicho está dentro de un umbral de tolerancia ($\tau_{verify}$) del objetivo, el plan se acepta.
• Nivel 2: Alternativa de Búsqueda Hacia Adelante Continua
  • Si ningún plan simbólico supera la verificación, el sistema invoca una búsqueda $A^*$ ponderada en el espacio de estado continuo.
  • Esta búsqueda utiliza el Modelo de Dinámicas para las transiciones de estado y una heurística basada en la distancia euclidiana al objetivo.
  • Para garantizar la tratabilidad, la búsqueda emplea poda heurística de acciones, generando solo acciones orientadas al objetivo (por ejemplo, mover objetos mal colocados hacia sus posiciones objetivo) en lugar de explorar todo el espacio de acciones.

Contribuciones Clave

1. Marco Binevel: Una arquitectura novedosa que integra la planificación simbólica probabilística a alto nivel con la búsqueda hacia adelante continua como alternativa, cerrando la brecha entre el razonamiento abstracto y las dinámicas continuas.
2. Esquema de Doble Modelo: La introducción de dos modelos especializados: uno para el descubrimiento de símbolos discretos y otro para la predicción precisa de efectos continuos, demostrando que un solo modelo no puede servir óptimamente a ambos propósitos.
3. Mecanismo de Verificación: Un método que utiliza el modelo de dinámicas continuas para verificar planes simbólicos antes de la ejecución, filtrando eficazmente los planes que son simbólicamente válidos pero dinámicamente inviables.
4. Aprendizaje de Operadores Probabilísticos: Avanzar más allá de los dominios deterministas para aprender operadores con efectos estocásticos, permitiendo al planificador explorar caminos menos probables pero potencialmente exitosos.

Resultados Experimentales

El marco fue evaluado en tareas de manipulación de múltiples objetos en un entorno de mesa simulado con 2 a 4 objetos y secuencias de acciones de longitud 1 a 5.

• Validación del Modelo: El Modelo de Dinámicas logró un error medio de predicción de efectos menor (1.96 cm) en comparación con el Modelo Simbólico (3.33 cm), validando la necesidad de modelos separados para la predicción continua.
• Probabilístico vs. Determinista: El planificador probabilístico superó significativamente a la línea base determinista (por ejemplo, 73.0% frente a 64.67% de tasa de éxito para tareas de 1 paso), demostrando que considerar la distribución completa de resultados mejora la robustez.
• Rendimiento de Verificación: El verificador de planes continuos logró una precisión media de 0.91 y una puntuación F1 de 0.90. Los planes verificados tuvieron una tasa de éxito del 94.5%, mientras que los planes no verificados tuvieron una tasa de fracaso del 87.3%, confirmando la fiabilidad del mecanismo para filtrar planes fallidos.
• Rendimiento General: El Planificador Binevel propuesto logró tasas de éxito de planificación estadísticamente comparables a la Búsqueda Hacia Adelante Continua completa ($p=0.71$). Sin embargo, resolvió la mayoría de los problemas utilizando un razonamiento simbólico eficiente, recurriendo a la búsqueda continua computacionalmente costosa solo cuando fue necesario.

Significado

El artículo afirma que este enfoque mitiga con éxito las limitaciones de la planificación puramente simbólica (pérdida de detalle geométrico) y de la planificación puramente continua (intratabilidad computacional). Al combinar la eficiencia del razonamiento simbólico con la precisión de las dinámicas continuas aprendidas, el marco ofrece una solución robusta para la manipulación robótica. Demuestra que los agentes pueden lograr un rendimiento de planificación de alto nivel comparable a la búsqueda continua exhaustiva mientras mantienen la eficiencia computacional, siempre que puedan verificar los planes simbólicos frente a las dinámicas físicas aprendidas. El trabajo destaca la importancia del modelado probabilístico y la verificación para hacer que las abstracciones simbólicas aprendidas sean fiables para la ejecución en el mundo real.