A Dragonfly-Inspired Heterogeneous Sensing System for Task-Driven Multi-Modal Perception

Resumen Técnico: Un Sistema de Percepción Heterogénea Inspirado en la Libélula para la Percepción Multimodal Impulsada por Tareas

Planteamiento del Problema
A medida que la inteligencia artificial transiciona de la interpretación digital a la acción encarnada (embodied action), la percepción robótica enfrenta una limitación crítica: los sistemas actuales recuperan principalmente la apariencia de la escena visible y la geometría de la línea de visión (LoS, por sus siglas en inglés). Estas representaciones no logran capturar estructuras ocluidas, contenido fuera de la línea de visión (NLoS) y atributos físicos dependientes del material, los cuales son esenciales para la interacción en entornos del mundo real. Si bien la detección multimodal (por ejemplo, combinando cámaras y LiDAR) ha mejorado la robustez, los flujos de procesamiento de fusión existentes suelen estar optimizados para salidas predefinidas como la detección de objetos o la completitud de profundidad, en lugar de construir una representación de la escena física unificada que integre identidad semántica, geometría métrica, estructuras ocultas y propiedades de los materiales. Además, la detección en Terahertz (THz), que ofrece información estructural consciente de la propagación y respuestas sensibles a los materiales, permanece en gran medida desconectada de las representaciones semánticas y geométricas de la escena debido a la falta de flujos de trabajo de detección explícitos.

Metodología
Los autores proponen Dragonfly-TeraVision, una arquitectura de detección heterogénea inspirada en los ojos compuestos y el sistema nervioso de la libélula. El sistema integra tres modalidades de detección complementarias:

1. Visión Panorámica: Proporciona contexto semántico denso y textura sobre un amplio campo de visión.
2. LiDAR: Entrega geometría métrica de LoS precisa, formando un andamiaje espacial de superficies visibles.
3. Detección Monostática de THz: Captura respuestas electromagnéticas resueltas por propagación, permitiendo la detección de estructuras ocultas (vía penetración/dispersión) y características de reflexión sensibles al material.

Arquitectura del Sistema
La innovación central es un agente impulsado por tareas que funciona como un "cerebro de detección". A diferencia de los métodos de fusión tradicionales que tratan los datos de los sensores como flujos intercambiables, este agente:

• Descompone Objetivos: Desglosa una tarea de detección (por ejemplo, "reconstruir estructuras ocultas" o "asociar materiales") en atributos de escena requeridos.
• Selecciona Habilidades: Selecciona dinámicamente módulos de procesamiento específicos de una biblioteca modular (por ejemplo, segmentación semántica, registro ICP, extracción de componentes de trayectoria múltiple basada en SAGE) basándose en la tarea y el manifiesto de datos disponibles.
• Asocia Evidencia: Dirige las salidas de modalidades heterogéneas hacia una representación de escena física común utilizando restricciones multimodales guiadas por la física.

Configuración Experimental y Procesamiento
El sistema fue validado en un pasillo en forma de L con 16 posiciones de detección.

• Procesamiento de Visión: Las imágenes panorámicas fueron procesadas mediante Mask2Former (preentrenado en ADE20K) para generar máscaras semánticas densas, que luego fueron mapeadas a coordenadas angulares.
• Procesamiento de LiDAR: Las nubes de puntos de múltiples orientaciones fueron registradas globalmente mediante el Algoritmo de la Más Cercana Iterativa (ICP). Las estructuras planas dominantes se extrajeron utilizando RANSAC con restricciones de ortogonalidad para crear un andamiaje geométrico métrico.
• Procesamiento de THz: Las respuestas de frecuencia angular (290–310 GHz) fueron procesadas mediante la Expectación-Maximización Alternada Espacial (SAGE) para extraer Componentes de Trayectoria Múltiple (MPCs). Estos se mapearon espacialmente como puntos de dispersión dispersos y se utilizaron para estimar las pérdidas de reflexión para la identificación de materiales.
• Asociación: El agente ancló etiquetas semánticas a la geometría de LiDAR, integró los puntos de dispersión derivados de THz para suplementar la geometría en regiones ocluidas (detrás de una cortina) y vinculó las pérdidas de reflexión de THz a regiones semánticas específicas (por ejemplo, paredes frente a puertas).

Resultados Clave

1. Reconstrucción Semántico-Métrica-Geométrica: El sistema construyó con éxito un mapa 3D unificado que combina etiquetas semánticas, geometría métrica y evidencia estructural derivada de THz.
2. Percepción NLoS: En presencia de una cortina que ocluía una puerta metálica, la detección de THz reveló puntos de dispersión correspondientes a la puerta y la pared ocultas, suplementando el andamiaje visible de LiDAR donde los sensores ópticos y de LiDAR estaban bloqueados.
3. Conciencia de Material: Al asociar las trayectorias de incidencia casi normal con las máscaras semánticas, el sistema vinculó las estimaciones de pérdida de reflexión con materiales específicos (por ejemplo, distinguiendo paredes de cemento de puertas de metal).
4. Detección de Objetos Ocultos: En un benchmark controlado de "taza opaca", el sistema detectó bolas ocultas (acero, vidrio, madera) dentro de tazas de papel visualmente opacas. Mientras que la visión y el LiDAR solo observaron el exterior de la taza, las mediciones de THz identificaron picos de reflexión retardados correspondientes a los objetos ocultos. Las estimaciones de compensación de pérdida de reflexión fueron consistentes con las propiedades materiales conocidas del acero, el vidrio y la madera.

Significancia y Reivindicaciones
El artículo afirma establecer una ruta hacia sistemas de detección encarnados que van más allá de la descripción de la escena visible hacia la reconstrucción de entornos físicamente interpretables. Las contribuciones clave incluyen:

• Principio Arquitectónico: Demostrar que las modalidades heterogéneas no deben verse como sensores intercambiables, sino como modalidades perceptivas complementarias que contribuyen diferentes partes de una representación de escena física, de forma análoga a los ojos compuestos biológicos.
• Integración Impulsada por Tareas: Mostrar que un marco agéntico puede coordinar la detección de visión, LiDAR y THz para producir representaciones específicas de la tarea (geometría semántica, evidencia oculta, asociación de materiales) en lugar de salidas estáticas y predefinidas.
• Representación Unificada: Vincular con éxito la semántica visual, la geometría métrica, el contenido NLoS y las respuestas de THz sensibles al material dentro de un único modelo de escena física.

Los autores enfatizan que este trabajo no propone un ranking universal del rendimiento de los sensores, sino un mapa de capacidad donde Dragonfly-TeraVision mejora la completitud de la representación de la escena preservando los significados físicos distintos de cada modalidad y organizándolos de acuerdo con la función perceptual requerida para la interacción con el mundo físico.