ExPrIS: Knowledge-Level Expectations as Priors for Object Interpretation from Sensor Data

Resumen Técnico: ExPrIS – Expectativas a Nivel de Conocimiento como Priores para la Interpretación de Objetos

Planteamiento del Problema
Si bien el aprendizaje profundo ha avanzado significativamente en el reconocimiento de objetos robóticos mediante enfoques basados en datos, estos métodos carecen a menudo de consistencia semántica y no logran aprovechar el valioso conocimiento preexistente sobre el entorno. Los modelos puramente basados en datos tienen dificultades con el contexto ambiental, particularmente en lo que respecta a áreas ocluidas u objetos no observados recientemente. Los enfoques existentes para la construcción de Grafos de Escenas Semánticas 3D (3DSSG) de conjunto abierto suelen depender únicamente de la potencia de las redes neuronales profundas subyacentes, ignorando las observaciones previas de los flujos de datos de los sensores o el conocimiento de alto nivel. La pregunta central de investigación abordada es cómo procesar eficazmente las expectativas derivadas de un nivel de conocimiento como priores dentro de los métodos modernos de generación de grafos de escenas.

Metodología
El proyecto ExPrIS propone una arquitectura basada en la construcción incremental de un Grafo de Escena Semántica 3D (3DSSG) para integrar las expectativas a nivel de conocimiento. La metodología se estructura en torno a tres componentes principales:

1. Arquitectura de 3DSSG Dinámica:

   • El sistema utiliza un grafo heterogéneo organizado en una jerarquía de múltiples capas con tipos de nodos y aristas variables, que van desde objetos de bajo nivel hasta conceptos de alto nivel (habitaciones, edificios).
   • A diferencia de las jerarquías rígidas (por ejemplo, estructuras fijas de objeto-lugar-habitación) o las conexiones simples basadas en heurísticas de distancia, el diseño propuesto es modular y extensible. Separa las relaciones espaciales de las semánticas y permite la inferencia dinámica de conceptos compuestos.
   • Para la representación geométrica, el sistema emplea volúmenes delimitadores (bounding volumes) y rejillas de vóxeles dispersos en lugar de mallas de Función de Distancia Signada Truncada (TSDF). Esta elección prioriza el almacenamiento eficiente, la manipulación y el procesamiento rápido acelerado por GPU mediante la integración con PyTorch, lo cual es suficiente para el razonamiento semántico y tareas posteriores sin la alta carga computacional de la reconstrucción densa.
   • El grafo se construye incrementalmente a partir de datos de sensores (RGB-D) de forma ascendente (bottom-up), derivando la estructura a partir de las relaciones físicas de contacto y soporte entre objetos.

2. Generación de Expectativas Basadas en el Conocimiento:

   • El sistema define las "expectativas" como información adicional disponible antes de un paso de inferencia. Se integran dos tipos:
     • Contexto: Información dinámica de observaciones previas, específicamente el 3DSSG global construido a partir de fotogramas anteriores.
     • Conocimiento: Información de dominio estática y general proveniente de grafos de conocimiento externos, específicamente ConceptNet.
   • Para gestionar el ruido y el tamaño de ConceptNet, el sistema extrae subgrafos relevantes utilizando una búsqueda en anchura basada en clases de nodos y tipos de relación específicos. También implementa algoritmos de incrustación de grafos (graph embedding) para generar vectores de características para el paso de mensajes, ofreciendo alternativas a las incrustaciones precomputadas.

3. Aprendizaje de Máquina Sesgado por Expectativas:

   • El mecanismo central de aprendizaje emplea una Red Neuronal de Grafo Heterogénea (GNN), como GraphSAGE o HGT.
   • La arquitectura cuenta con una capa global (que agrega observaciones históricas y priores semánticos) y una capa local (que representa el fotograma actual).
   • Las aristas entre capas facilitan el flujo de información, permitiendo al modelo refinar las predicciones de objetos parcialmente observados mediante el aprovechamiento del contexto acumulado.
   • Los nodos globales se enriquecen con características basadas en priores (por ejemplo, etiquetas predichas previamente, incrustaciones de CLIP). Estos priores se integran directamente en la estructura del grafo en lugar de codificarse como vectores fijos.
   • El objetivo de entrenamiento se centra en una pérdida compuesta sobre las predicciones de nodos y aristas en el grafo local. Crucialmente, el grafo global sirve como un mecanismo de sesgo durante la inferencia, no como una señal de supervisión directa para la función de pérdida.

Contribuciones Clave

• Integración de Priores de Conocimiento: El artículo presenta un enfoque novedoso para incrustar tanto los priores contextuales (de datos de sensores previos) como el conocimiento semántico (de grafos externos como ConceptNet) directamente en el proceso de inferencia de la generación de 3DSSG.
• Diseño de 3DSSG Modular: Introduce un diseño de capas flexible y extensible para los 3DSSG que va más allá de las jerarquías rígidas y las heurísticas de distancia simples, permitiendo la inferencia dinámica y abstracciones específicas de dominio.
• Representación Geométrica Eficiente: La adopción de volúmenes delimitadores y rejillas de vóxeles dispersos sobre mallas TSDF permite un procesamiento escalable y eficiente, adecuado para la percepción robótica en tiempo real, manteniendo la fidelidad suficiente para tareas semánticas.
• GNN Sesgada por Expectativas: El desarrollo de un marco de aprendizaje donde el grafo global actúa como un mecanismo de sesgo activo y dinámico durante la inferencia, mejorando la robustez y la consistencia semántica a lo largo del tiempo.

Resultos y Evaluación
El artículo no presenta resultados experimentales finales de un robot desplegado, ya que el trabajo se encuentra actualmente en la etapa de diseño arquitectónico y análisis offline.

• Estado Actual: La implementación del 3DSSG es modular. El modelo de GNN sesgado por expectativas ha sido evaluado en el contexto de la arquitectura propuesta, con resultados detallados y código disponibles en una publicación separada [15] y en GitHub.
• Evaluación Planificada: Los autores esbozan un plan de evaluación exhaustivo que se llevará a cabo en la plataforma de manipulador móvil Mobipick. El sistema tendrá la tarea de un escenario de "ordenar" (tidy-up) en un entorno de laboratorio. Esto implica:
  1. Explorar el entorno para construir un mapa semántico.
  2. Identificar y reubicar objetos que están "fuera de lugar".
  3. Razonar sobre contextos semánticos actuales y correctos para resolver ambigüedades.
• Resultados Hipotéticos: Los autores hipotetizan que el enfoque sesgado por expectativas demostrará ventajas claras sobre los modelos libres de contexto fotograma a fotograma, específicamente en cuanto a la mejora de la consistencia semántica y la estabilidad durante la operación a largo plazo, incluso ante observaciones parciales o ambigüedades perceptivas.

Significancia
La importancia del proyecto ExPrIS radica en su intento de cerrar la brecha entre el aprendizaje profundo puramente basado en datos y el razonamiento basado en el conocimiento en la robótica. Al tratar las expectativas de nivel de conocimiento como priores, el enfoque busca ir más allá del análisis estático fotograma a fotograma para crear una comprensión de las escenas más robusta y semánticamente consistente a lo largo del tiempo. Esta integración está diseñada para soportar la operación autónoma a largo plazo, el mapeo semántico a gran escala y la IA Explicable (XAI) al hacer que la influencia del conocimiento sobre las predicciones locales sea trazable. El proyecto trabaja en conjunto con el proyecto hermano LIEREx, que incorpora modelos de visión y lenguaje para consultas de vocabulario abierto, con el objetivo de combinar el conocimiento simbólico con la percepción multimodal de conjunto abierto.