Inferring World Belief States in Dynamic Real-World Environments

1. Definición del Problema

El trabajo aborda el desafío de estimar el estado de creencia (belief state) de un humano en un entorno dinámico, tridimensional y parcialmente observable (como un hogar, una tienda o una fábrica).

• Objetivo: Que un robot infiera la "conciencia situacional de nivel 1" de una persona, es decir, qué objetos conoce la persona, dónde cree que están ubicados y sus propiedades semánticas.
• Contexto: Se basa en la Teoría de la Mente y los Modelos Mentales. En equipos humano-robot, un modelo mental compartido permite una colaboración fluida sin comunicación constante. El robot debe construir un "modelo de equipo" que incluya la predicción de lo que el humano sabe.
• Desafíos Clave:
  1. Observabilidad Parcial: El robot solo ve a través de una cámara montada, no tiene acceso total al entorno (a diferencia de una casa inteligente con sensores omnipresentes).
  2. Entornos Dinámicos: Los objetos se mueven y las personas pueden ocultarlos.
  3. Permanencia de Objetos: El sistema debe recordar y resolver la ubicación de los objetos incluso cuando no son visibles momentáneamente.
  4. Portabilidad: El estado de creencia inferido debe ser una estructura de datos explícita y portable para tareas posteriores (como razonamiento semántico).

2. Metodología

La propuesta utiliza un enfoque de Teoría de la Mente Recursiva. El robot mantiene dos estados de creencia: el suyo propio ($\beta_{robot}$) y el inferido del humano ($\hat{\beta}_{human}$).

A. Arquitectura del Sistema

El sistema se compone de dos subsistemas principales:

1. Algoritmo de Estado de Creencia:
   • Representa el estado como un mapa semántico de objetos $\{o\}$ con sus ubicaciones medias (puntos en la nube de puntos) y clases.
   • Utiliza un algoritmo de asignación (basado en la minimización de la distancia L2) para mapear los objetos observados a las instancias existentes en el mapa, evitando la explosión de objetos duplicados.
   • Asume un mapa semántico inicial y recibe notificaciones cuando se añaden o eliminan objetos del entorno.
2. Pila de Percepción (Perception Stack):
   • Detección: Utiliza OWLv2 para la detección de objetos de vocabulario abierto (permite clases personalizadas y agnósticas al dominio).
   • Segmentación: Emplea SAM2 para segmentar los objetos detectados en las imágenes.
   • Localización: Calcula la ubicación 3D proyectando la nube de puntos de profundidad a través de la máscara de segmentación y utilizando la pose del robot.
   • Detección de Personas: Utiliza RTMPose y MMPose para obtener esqueletos 2D y levantarlos a 3D. La dirección de la mirada se aproxima mediante el vector normal entre las articulaciones de la cadera y el hombro (más robusto que la orientación de la cabeza a distancia).

B. Inferencia del Estado Humano

El robot infiere qué ha visto el humano basándose en:

1. Trajectoria: Si el humano no es visible, el robot estima su trayectoria entre observaciones usando el algoritmo A* en una cuadrícula de ocupación.
2. Región de Visibilidad: Se seleccionan objetos candidatos basándose en la ubicación, la dirección de la mirada y el campo de visión aproximado del humano.
3. Raycasting: Se lanzan rayos desde la posición del humano hacia los objetos candidatos para verificar colisiones con paredes (occlusiones).
4. Actualización: Los objetos "observados" se pasan al Algoritmo de Estado de Creencia para actualizar $\hat{\beta}_{human}$.

3. Evaluación y Métricas

• Entorno de Prueba: Se utilizó el simulador VirtualHome (escenario "Parents are Out!", donde los objetos se reorganizan mientras la persona está fuera) y una plataforma real Stretch RE2.
• Métrica Principal: SMCC (Summed Minimum Cost by Class).
  • Calcula la distancia mínima para emparejar objetos de una clase entre el estado inferido y el estado real.
  • Es una métrica "menor es mejor" (distancia promedio en metros por objeto).
• Figuras de Mérito Evaluadas:
  1. Error de inferencia: $SMCC(\hat{\beta}_{human}, \beta_{human})$.
  2. Error del humano vs. realidad: $SMCC(\beta_{human}, \beta_{true})$.
  3. Error del robot vs. realidad: $SMCC(\beta_{robot}, \beta_{true})$.

4. Resultados Principales

• Precisión de la Percepción: La pila de percepción basada en modelos zero-shot (OWLv2, SAM2) rindió casi idénticamente a la percepción de "verdad fundamental" (ground truth) del simulador, con errores marginales. Esto demuestra que los modelos comerciales actuales son suficientes para esta tarea.
• Inferencia de Creencias:
  • El error de inferencia del robot fue significativamente menor que el error de la propia creencia del humano (quien a menudo tenía creencias incorrectas sobre la ubicación de los objetos tras el desorden).
  • El error del simulador (limitaciones en la pose de la cámara) contribuyó a más de un tercio del error total de inferencia, lo que sugiere que el algoritmo de inferencia en sí es robusto.
• Tarea de Asistencia Activa:
  • Se aplicó el estado de creencia inferido para notificar al humano sobre objetos relevantes para una tarea (ej. cocinar) que el humano no sabía que estaban en una ubicación diferente.
  • Se compararon métodos de razonamiento semántico: LLMs (Qwen2.5-32B) con diferentes estrategias de prompt (Chain-of-Thought) vs. clasificadores (deBERTa).
  • Hallazgo: El método de Chain-of-Thought (CoT) para objetos individuales dentro del LLM obtuvo la mayor precisión (0.77), minimizando falsos positivos, lo cual es crucial para la experiencia del usuario en asistencia robótica.

5. Contribuciones Clave

1. Primera aproximación integral: Es el primer trabajo que aborda simultáneamente los cuatro desafíos (parcialidad, dinamismo, permanencia y portabilidad) sin depender de información privilegiada.
2. Representación Explícita: Propone una estructura de datos explícita y portable para el estado de creencia, a diferencia de las representaciones latentes (caja negra) que son difíciles de interpretar o transferir.
3. Validación en Múltiples Niveles: Evalúa el sistema tanto en simulación (VirtualHome) como en un robot real (Stretch RE2), manteniendo el mismo código base.
4. Métrica SMCC: Introduce una métrica de distancia específica para evaluar la discrepancia en la conciencia situacional entre agentes.

6. Significado y Futuro

Este trabajo es fundamental para avanzar hacia la colaboración humano-robot fluida. Al permitir que el robot "piense" lo que el humano sabe (o no sabe), se habilitan capacidades avanzadas como:

• Asistencia Proactiva: El robot puede anticipar necesidades basándose en la falta de información del humano.
• Comunicación Selectiva: El robot solo comunica información cuando es necesaria, evitando la sobrecarga cognitiva.
• Predicción de Comportamiento: Mejora la predicción de las acciones futuras del humano.

Limitaciones y Trabajo Futuro:

• Se requiere un simulador más robusto con APIs de navegación y manipulación semántica de alta fidelidad.
• Necesidad de conjuntos de datos reales de respuestas de conciencia situacional humana para validar y ajustar los modelos de percepción humana (actualmente se asume una percepción "perfecta" o binaria).
• Exploración de escenarios más dinámicos (ej. "Limpieza" continua) y entornos industriales.

En resumen, el paper establece una base sólida para que los robots entiendan la perspectiva cognitiva de sus compañeros humanos en entornos del mundo real, un paso esencial para la próxima generación de sistemas de equipo humano-IA.