Integrating Deep RL and Bayesian Inference for ObjectNav in Mobile Robotics

Título: Integración de Aprendizaje por Refuerzo Profundo e Inferencia Bayesiana para la Navegación de Objetos (ObjectNav) en Robótica Móvil

1. El Problema

La búsqueda autónoma de objetos en entornos interiores complejos presenta desafíos significativos para los robots móviles debido a:

• Observabilidad parcial: El robot no puede ver todo el entorno simultáneamente.
• Incertidumbre perceptiva: Las detecciones de objetos son ruidosas, pueden tener oclusiones o ser falsos positivos/negativos.
• Espacios de estado de alta dimensión: La necesidad de explorar grandes áreas sin un mapa semántico previo.
• Compromiso exploración-explotación: El robot debe decidir cuándo explorar nuevas áreas y cuándo enfocarse en zonas donde es más probable encontrar el objetivo.

Las aproximaciones existentes tienen limitaciones: los métodos probabilísticos clásicos modelan bien la incertidumbre pero dependen de heurísticas manuales para la selección de acciones (poco adaptables), mientras que el Aprendizaje por Refuerzo Profundo (DRL) aprende políticas adaptables pero a menudo carece de razonamiento explícito sobre la incertidumbre y su convergencia es lenta.

2. Metodología Propuesta

El artículo presenta un marco híbrido que integra la inferencia bayesiana con el Aprendizaje por Refuerzo Profundo (DRL), denominado Búsqueda de Políticas Impulsada por Creencia Bayesiana (BBDPS).

• Mapa de Creencia Espacial (Bayesiano):

  • El robot mantiene un mapa de creencia probabilístico sobre la ubicación del objetivo.
  • Utiliza una distribución Dirichlet sobre las celdas ocupadas del mapa para representar la incertidumbre sobre las clases de objetos (objetivo vs. fondo).
  • Actualización Online: Las detecciones de objetos (obtenidas mediante YOLO v11) se proyectan en el mapa. Se utiliza una fusión conservadora de parámetros para actualizar la creencia, integrando tanto las detecciones positivas como la evidencia negativa (ausencia de detección en celdas visibles).
  • Calibración: Las probabilidades de salida del detector se calibran (usando temperatura softmax) para evitar sobreconfianza y asegurar que la evidencia sea fiable para la actualización bayesiana.

• Abstracción de Navegación por Agrupamiento (Clustering):

  • Para escalar a entornos grandes, el espacio libre se divide en clústeres espaciales.
  • El robot selecciona centroides de estos clústeres como objetivos de navegación, permitiendo una planificación jerárquica (de lo grueso a lo fino) en lugar de actuar celda por celda.

• Política de Aprendizaje por Refuerzo (DRL):

  • Se entrena una Red de Q-Profunda (DQN) que toma como entrada el estado de creencia (tensor que incluye la probabilidad media del objetivo, el mapa de entropía, la cuadrícula de ocupación y la posición actual).
  • La red aprende a seleccionar el siguiente objetivo (centro de clúster) que maximice la recompensa, equilibrando la exploración y la explotación basándose en la estructura de incertidumbre proporcionada por el mapa bayesiano.
  • A diferencia de los métodos clásicos, la política de acción no es una función de utilidad manual, sino una red neuronal aprendida.

3. Contribuciones Clave

1. Arquitectura Híbrida: Unifica la modelización explícita de la incertidumbre (Bayesiana) con la toma de decisiones adaptativa (DRL), superando las limitaciones de ambos enfoques por separado.
2. Actualización de Creencia Robusta: Implementación de un mecanismo de fusión de evidencia que maneja detecciones ruidosas y utiliza la ausencia de detección como evidencia negativa ponderada por la distancia.
3. Abstracción Jerárquica: Introducción de un sistema de agrupamiento (clustering) progresivo que permite al agente razonar sobre regiones significativas, mejorando la eficiencia en entornos grandes.
4. Evaluación Comparativa Rigurosa: Desarrollo de líneas base (baselines) que aíslan el impacto de cada componente:
   • RWS: Búsqueda aleatoria.
   • PCSS: Búsqueda determinista por barrido (sin aprendizaje ni creencia).
   • BBUMS: Búsqueda bayesiana con utilidad manual (sin aprendizaje).

4. Resultados

Los experimentos se realizaron en el simulador Habitat 3.0 en dos entornos interiores (una oficina pequeña y un apartamento grande).

• Tasa de Éxito (SR):

  • Los métodos impulsados por creencia (BBUMS y BBDPS) superaron significativamente a las estrategias sin información (RWS) y al barrido determinista (PCSS).
  • BBDPS logró una tasa de éxito del 100% en el entorno pequeño y del 99% en el entorno grande, superando a la línea base puramente bayesiana (BBUMS).

• Eficiencia (Esfuerzo de Búsqueda):

  • En el entorno grande, BBDPS fue el más eficiente, reduciendo el número de acciones ejecutadas en un 23% y la distancia recorrida en un 18% en comparación con BBUMS (solo en episodios donde todos tuvieron éxito).
  • En el entorno pequeño, la ventaja de eficiencia del aprendizaje fue menor, ya que las estrategias de cobertura determinista ya eran efectivas en espacios compactos.

• Conclusión de los Resultados: El aprendizaje profundo mejora la toma de decisiones a largo plazo al explotar mejor la estructura de la creencia, especialmente en mapas grandes donde el orden de exploración es crítico.

5. Significado e Impacto

Este trabajo demuestra que modelar explícitamente la incertidumbre y aprender cómo actuar sobre ella produce un rendimiento superior en la búsqueda de objetos a largo plazo, superando tanto a las heurísticas manuales como a la estimación de creencia aislada.

• Robustez: El enfoque híbrido permite al robot mantener un rastro probabilístico fiable incluso con detecciones imperfectas.
• Adaptabilidad: La política aprendida se adapta dinámicamente a la evidencia acumulada, evitando patrones de exploración rígidos.
• Limitaciones y Futuro: El método asume un mapa de ocupación conocido y depende de la calidad del detector de objetos. El trabajo futuro se centrará en generalizar la política entre diferentes entornos, integrar la construcción de mapas semánticos y realizar pruebas en robots reales (sim-to-real).

En resumen, el artículo valida que la combinación de la inferencia bayesiana para la estimación de estado y el DRL para la selección de acciones es una vía prometedora para lograr una búsqueda de objetos autónoma, eficiente y fiable en entornos no estructurados.