POMDP-based Object Search with Growing State Space and Hybrid Action Domain

1. Planteamiento del Problema

La localización eficiente de objetos objetivo en entornos interiores complejos y desordenados (con muebles como estanterías, mesas y camas) representa un desafío significativo para los robots móviles. Las dificultades principales surgen de:

• Errores de localización: Incertidumbre en la posición del robot.
• Campos de visión limitados: La cámara no puede ver todo el entorno simultáneamente.
• Oclusión visual: Los objetos pequeños (tazas, botellas) a menudo están ocultos por otros objetos o muebles.
• Espacio de acción continuo y creciente: El robot debe ajustar su configuración (base, altura, cabezal) en un espacio continuo, y a medida que detecta nuevos objetos, el espacio de estados del problema crece dinámicamente.

El objetivo es que un robot, equipado con sensores (LiDAR 2D, cámara RGB-D) y una foto de referencia del objetivo, localice y recupere un objeto específico sin conocimiento previo de la ubicación exacta de los obstáculos, interactuando activamente con el entorno (moviendo obstáculos).

2. Metodología Propuesta: GNPF-kCT

Los autores proponen un marco de trabajo basado en un Proceso de Decisión de Markov Parcialmente Observable (POMDP) con un dominio de acciones híbrido (continuo y discreto) y un espacio de estados en crecimiento. Para resolver este problema, presentan un nuevo solucionador en línea llamado GNPF-kCT (Growing Neural Process filtered k-center clustering tree).

El enfoque se divide en cuatro etapas alternas: Planificación, Ejecución, Observación y Filtrado.

Componentes Clave del Solucionador:

• Formulación POMDP Híbrida y en Crecimiento:

  • Espacio de Estados ($S$): Incluye la configuración del robot y el estado de los objetos. Se introduce un "objeto objetivo suposito" (guessed target object) con un modelo de mundo en cuadrícula (grid-world) para guiar la exploración inicial antes de detectar el objeto real. A medida que se detectan nuevos objetos, el espacio de estados crece ($S_k = S_{k-1} \times \Delta S_{k-1}$).
  • Espacio de Acciones ($A$): Es híbrido ($A_c \times A_d$).
    • Continuo: Cambiar la configuración del robot (posición de la base, altura del brazo, orientación de la cabeza).
    • Discreto: Declarar un objeto como objetivo/obstáculo o eliminar un objeto con el brazo robótico.
  • Función de Recompensa: Diseñada para maximizar la probabilidad de encontrar el objetivo, penalizando acciones ilegales y costosas, y recompensando la declaración correcta y la eliminación de obstáculos.

• Filtrado con Procesos Neuronales (Neural Process - NP):

  • Para manejar la alta dimensionalidad del espacio de acciones continuas, se utiliza una red de Procesos Neuronales preentrenada.
  • Esta red actúa como una función de puntuación que predice la viabilidad de las acciones primitivas, filtrando aquellas que son ineficaces (no mejorarán la creencia sobre la ubicación del objetivo).
  • Esto reduce drásticamente el dominio de acciones a un subconjunto prometedor antes de la búsqueda.

• Discretización por Agrupamiento k-Center (k-Center Clustering):

  • Las acciones filtradas se agrupan en hiperesferas utilizando el algoritmo k-center.
  • Esto permite una refinación adaptativa del espacio de acciones dentro del árbol de búsqueda, equilibrando la exploración y la explotación sin necesidad de discretizar todo el espacio continuamente.

• Reutilización del Árbol de Creencia (Belief Tree Reuse):

  • En problemas con espacio de estados en crecimiento (nuevos objetos detectados), los solucionadores tradicionales deben reconstruir todo el árbol de creencia, lo cual es costoso.
  • GNPF-kCT guarda el historial de simulaciones (estados, recompensas, pares acción-observación) y reutiliza el árbol existente. Solo actualiza las partes relevantes y añade nuevas ramas para los nuevos estados, evitando el coste computacional de una reconstrucción completa.

• Estrategia de Selección de Acciones (MCTS Modificado):

  • Utiliza Monte Carlo Tree Search (MCTS) con una variante del límite de confianza superior (UCB).
  • La fórmula UCB se modifica para incluir el radio de la hiperesfera (para acciones continuas) y una distancia de creencia (para manejar el crecimiento del estado).
  • Se utiliza una búsqueda de retroceso (backup) tipo Monte-Carlo para mayor robustez ante observaciones inesperadas.

3. Contribuciones Principales

1. Formulación Realista: Un modelo POMDP completo para la búsqueda de objetos que considera un proceso de percepción realista, espacio de estados en crecimiento y acciones híbridas en 3D.
2. Estrategia de Exploración Mejorada: Introducción de un "objeto objetivo suposito" con actualización de probabilidades (log-odds) para guiar la exploración inicial en ausencia de detección.
3. Solucionador Eficiente (GNPF-kCT): Un nuevo algoritmo que combina filtrado de Procesos Neuronales, agrupamiento k-center para acciones continuas y reutilización de árboles de creencia para manejar espacios de estados dinámicos.
4. Validación Extensiva: Demostración en simulaciones Gazebo (robots Fetch y Stretch) y experimentos en el mundo real, superando a métodos basados en POMDP clásicos y enfoques no-POMDP (incluyendo métodos basados en Grandes Modelos de Lenguaje - LLM).

4. Resultados Experimentales

Los experimentos se realizaron en entornos simulados (Gazebo) y reales (oficina con robot Stretch).

• Comparación con Solucionadores POMDP:

  • GNPF-kCT superó significativamente a métodos como POMCP, GPOMCP, POMCPOW y VOMCPOW.
  • Logró una mayor recompensa acumulada, menos pasos para completar la tarea y una tasa de éxito más alta (95-100% en la mayoría de escenarios) dentro de las restricciones computacionales.
  • La ablación mostró que tanto el filtrado NP como el agrupamiento k-center son esenciales para el rendimiento.

• Comparación con Métodos No-POMDP (incluyendo LLMs):

  • Se comparó con métodos basados en LLM (SayPlan, MoMa-LLM) y estrategias aleatorias/greedy.
  • Hallazgo Crítico: Los métodos basados en LLM, aunque potentes en razonamiento semántico, fallaron en entornos desordenados y con oclusiones severas. Carecían de un modelo interno preciso de incertidumbre física y restricciones de espacio de visión, lo que llevó a una tasa de éxito muy baja (0-50% en escenarios complejos) comparado con el 95-100% de GNPF-kCT.
  • El enfoque propuesto demostró ser superior en tareas que requieren interacción física precisa y gestión de la incertidumbre sensorial.

• Robustez: El método funcionó bien tanto en el robot Fetch (brazo de 7 grados de libertad) como en el Stretch (brazo de 3 grados de libertad), demostrando su adaptabilidad.

5. Significado e Impacto

Este trabajo es significativo por varias razones:

• Superación de Limitaciones de LLMs: Demuestra que, para tareas de manipulación física en entornos desordenados y con oclusiones, los enfoques basados en modelos probabilísticos (POMDP) que gestionan explícitamente la incertidumbre superan a los enfoques puramente basados en lenguaje natural (LLMs) actuales.
• Eficiencia Computacional: La técnica de reutilización del árbol de creencia permite resolver problemas de POMDP de alta dimensión y en crecimiento que anteriormente eran computacionalmente intratables en tiempo real.
• Aplicabilidad Real: El sistema no requiere modelos geométricos previos de los objetos ni marcadores (como códigos QR); funciona solo con mapas de ocupación, fotos de referencia y sensores a bordo, lo que lo hace altamente práctico para la robótica de servicio en hogares y almacenes.
• Marco Integrado: Combina exitosamente el aprendizaje a corto plazo (red neuronal para filtrar acciones) con la planificación a largo plazo (POMDP), ofreciendo un paradigma robusto para la búsqueda activa de objetos.

En conclusión, GNPF-kCT representa un avance importante hacia la autonomía robótica en entornos no estructurados, proporcionando una solución matemáticamente fundamentada y empíricamente validada para la búsqueda de objetos bajo incertidumbre.