FOUND-IT: Foundation-model-first Task-driven 3D Scene Graphs with Granularity on Demand

Resumen Técnico: FOUND-IT

Enunciado del Problema
Los métodos actuales de construcción de grafos de escena 3D enfrentan dos limitaciones principales: una dependencia de sensores de profundidad calibrados (estéreo o RGB-D) y una falta de flexibilidad en la granularidad semántica. Los sistemas en tiempo real existentes a menudo requieren pipelines complejos y configuraciones fijas de sensores, lo que limita su despliegue. Además, suelen comprometerse con una granularidad de objeto específica en el momento de la mapeación o dependen de una lista de tareas predefinida y estática. Esta rigidez impide que los robots adapten dinámicamente su representación espacial; por ejemplo, un robot no puede cambiar fácilmente de navegar hacia una "estufa" (granularidad gruesa) a manipular una "perilla" específica en esa estufa (granularidad fina) sin volver a mapear o predefinir la tarea. Adicionalmente, muchos enfoques luchan para generalizar la transitabilidad (lugares) y las definiciones de regiones a través de entornos interiores y exteriores diversos sin depender de priores geométricos estructurados.

Metodología
Los autores proponen FOUND-IT (Grafos de Escena 3D Basados en Modelos Fundamentales y Orientados a Tareas con Granularidad bajo Demanda), un sistema que construye grafos de escena 3D jerárquicos y de conjunto abierto utilizando únicamente video monocular no calibrado en tiempo real. El sistema se basa en Modelos Fundamentales Geométricos (GFMs), aprovechando específicamente VGGT-SLAM 2.0 como columna vertebral geométrica.

La arquitectura consta de cuatro capas principales:

1. Mapeo Geométrico: El sistema procesa un flujo de imágenes monoculares, designando fotogramas clave basados en la disparidad. Estos se alimentan a un GFM para generar mapas de profundidad densos, poses e intrínsecas de la cámara. Los submapas se encadenan y optimizan globalmente utilizando un gráfico de factores en la variedad SL(4). Para gestionar la memoria, el sistema opcionalmente esparsifica el mapa mediante voxelización, manteniendo el mapa general disperso mientras permite que los objetos consultados se representen densamente.
2. Capa de Objetos (Memoria Visual y Caché): En lugar de extraer instancias de objetos previamente, FOUND-IT emplea un sistema de memoria de dos etapas.
   • Memoria Visual: Los fotogramas clave se pasan a través de un Codificador de Percepción basado en CLIP para crear incrustaciones semánticas. Esto pospone la formación de objetos hasta que se recibe una consulta.
   • Formación en Tiempo de Consulta: Al recibir una consulta de texto, el sistema calcula la similitud del coseno entre la incrustación de la consulta y las incrustaciones de los fotogramas clave. Los fotogramas clave relevantes luego son procesados por SAM3 para generar máscaras de segmentación 2D, que se retroproyectan a 3D utilizando la profundidad del GFM.
   • Memoria Caché: Los objetos resueltos se almacenan como nubes de puntos con cajas delimitadoras orientadas en 3D. Las consultas subsiguientes verifican esta caché primero, permitiendo la construcción incremental y orientada a tareas del mapa sin recomputación.
3. Capa de Lugares (Transitabilidad): Para mapear el espacio transitable sin agrupamiento geométrico complejo, los autores adjuntan una cabeza de segmentación de suelo al GFM. A través de un análisis empírico, determinaron que las capas intermedias del GFM (en lugar de la capa final) proporcionan las mejores características para la segmentación de suelo. Esta cabeza predice máscaras de suelo, que se convierten en un gráfico disperso de baldosas cuadradas. Este gráfico soporta cierres de bucle y deformación dinámica.
4. Capa de Regiones: Las regiones (por ejemplo, "cocina", "estacionamiento") no se pre-particionan, sino que son subconjuntos impulsados por consultas del gráfico de lugares. Cada nodo de lugar resume sus observaciones utilizando una distribución von Mises-Fisher (vMF) de incrustaciones semánticas, capturando tanto una dirección media como un parámetro de concentración. Una consulta de vocabulario abierto se puntúa contra estas distribuciones, ponderada por la confianza de la observación. Una propagación de etiquetas de gráfico consciente de la confianza suaviza las puntuaciones a través del gráfico de lugares, y un modelo de mezcla gaussiana separa los lugares dentro de la región de los fuera de la región.

Integración Agente
El sistema está diseñado para ser orquestado por un agente LLM. A diferencia de los sistemas agentes anteriores que recuperan información de una representación pre-construida y fija, el agente FOUND-IT construye activamente el grafo de escena de manera incremental. Consulta la memoria visual para obtener fotogramas relevantes, extrae objetos mediante SAM3 y actualiza la caché, construyendo efectivamente la representación "bajo demanda" basada en la tarea.

Contribuciones Clave

1. Granularidad Orientada a Tareas: Un enfoque novedoso para la construcción de grafos de escena 3D que determina la granularidad de objetos y regiones en el momento de la consulta en lugar del momento de la mapeación, apoyando la evolución dinámica de tareas sin una lista de tareas predefinida.
2. Basado en Modelos Fundamentales Monoculares: El primer método para construir grafos de escena 3D jerárquicos utilizando cámaras monoculares no calibradas aprovechando GFMs, eliminando la necesidad de sensores de profundidad o calibración compleja.
3. Segmentación de Suelo mediante Capas Intermedias: Una demostración de que las capas intermedias de los GFMs son óptimas para la segmentación de suelo, permitiendo un mapeo de transitabilidad robusto en entornos interiores y exteriores diversos.
4. Agrupamiento en Tiempo de Consulta: Un algoritmo eficiente para agrupar lugares en regiones de conjunto abierto utilizando estadísticas vMF y propagación de gráficos, permitiendo definiciones de regiones flexibles (por ejemplo, un "cuarto de juegos" dentro de una "sala de estar") basadas en la tarea específica.
5. Construcción Agente: Una integración donde un agente LLM construye incrementalmente la representación del grafo de escena basándose en consultas entrantes, en lugar de consultar un mapa estático.

Resultados Experimentales
Los autores evalúan FOUND-IT en varias pruebas y escenarios del mundo real:

• Conjunto de Datos Clio (Extracción de Objetos de Conjunto Abierto): FOUND-IT logró el mejor rendimiento en todas las escenas (cubículo, apartamento, oficina) en términos de recuperación de conjunto abierto e IoU, superando tanto a líneas base orientadas a tareas (como Clio y Campos Bayesianos) como a métodos de conjunto abierto agnósticos a tareas.
• Benchmarks ASHiTA SG3D (Anclaje de Tareas): El sistema demostró una mejora del 79% en precisión sobre el estado del arte anterior (ASHiTA) para anclar descripciones de tareas a ubicaciones de objetos.
• Benchmarks HOV-SG (Agrupamiento de Regiones): El método logró precisión y recuperación competitivas frente a métodos específicos de interiores (HOV-SG, Hydra) y los superó en precisión semántica, a pesar de depender menos de priores estructurales de interiores.
• Rendimiento en Tiempo Real: En un NVIDIA Jetson Thor montado en un robot cuadrúpedo Spot, el sistema se ejecuta a 4 Hz utilizando un GFM ligero (Depth Anything). En una GPU de escritorio (RTX 3090), el pipeline completo se ejecuta a 6–7 Hz.
• Generalización en el Mundo Real: El sistema construyó exitosamente grafos de escena a partir de videos de YouTube capturados casualmente de recorridos de apartamentos por agentes inmobiliarios, demostrando robustez ante entradas no calibradas y de calidad variable.

Significado y Afirmaciones
El artículo afirma que FOUND-IT representa un cambio fundamental hacia la inteligencia espacial en robótica al desacoplar la granularidad del mapa del proceso de mapeo. Al utilizar modelos fundamentales, el sistema logra una reconstrucción 3D plug-and-play a partir de video monocular mientras soporta un razonamiento de conjunto abierto y orientado a tareas. Los autores enfatizan que este enfoque permite a los robots manejar tareas complejas de locomanipulación donde el nivel de detalle requerido evoluciona dinámicamente. El trabajo destaca el potencial de aprovechar características intermedias de modelos fundamentales para tareas específicas aguas abajo (como la segmentación de suelo) y demuestra que una comprensión de escena jerárquica y de alta fidelidad es alcanzable sin suites de sensores costosas o esquemas de tareas rígidos y predefinidos.