Resumen Técnico: Co-GLANCE

Planteamiento del Problema

Los equipos de robots heterogéneos (específicamente combinaciones aire-tierra) que operan en entornos exteriores no estructurados enfrentan una incertidumbre perceptual significativa debido a las oclusiones. Ningún punto de vista único proporciona una comprensión fiable de la escena; por ejemplo, la vegetación puede bloquear la vista de un robot aéreo mientras permanece transparente para un robot terrestre, mientras que obstáculos insignificantes desde arriba pueden ocluir completamente a un robot terrestre. La resolución de estas incertidumbres requiere tanto un razonamiento contextual basado en la escena (para entender qué está oculto) como una asignación de robots consciente de sus capacidades (decidir qué robot puede resolver mejor la oclusión).

Aunque los Modelos de Visión-Lenguaje (VLM) ofrecen fuertes sesgos semánticos para este razonamiento, presentan tres limitaciones críticas para el despliegue a bordo:

1. Prohibiciones Computacionales: Son demasiado pesados para la inferencia en tiempo real a bordo.
2. Dependencia de la Nube: A menudo requieren inferencia basada en la nube, lo que introduce latencia y problemas de conectividad.
3. Incertidumbre No Calibrada: Carecen de una cuantificación de la incertidumbre estadísticamente válida, lo que los hace poco fiables para decisiones de percepción activa de seguridad crítica.

Los métodos de percepción activa existentes suelen depender de una confianza heurística o no calibrada, fallando al no proporcionar garantías sobre cuándo es realmente necesaria la detección adicional.

Metodología: Co-GLANCE

Los autores presentan Co-GLANCE, un marco de trabajo de percepción y toma de decisiones en tiempo real y a bordo, diseñado para resolver la incertidumbre perceptual en equipos de robots heterogéneos. El sistema opera a través de tres componentes principales:

1. Destilación de Conocimiento con Autorrevisión Contextual

Para eliminar la dependencia de la nube, Co-GLANCE destila las capacidades de razonamiento semántico de un VLM de gran tamaño en un modelo YOLO-seg-nano ligero y de extremo a extremo para la inferencia a bordo.

• Pipeline: El proceso comienza con un VLM generando palabras clave de oclusión a partir de fotogramas aéreos, que se pasan a un modelo de segmentación de vocabulario abierto para crear máscaras candidatas.
• Autorrevisión Contextual: Reconociendo que las máscaras generadas por el VLM a menudo no se alinean con las regiones pretendidas, el sistema emplea un mecanismo de conversación de múltiples turnos. Las máscaras candidatas se devuelven al VLM, que realiza una "autorrevisión" para eliminar máscaras incorrectas, refinar regiones desalineadas, proponer nuevas palabras clave y asignar etiquetas de asignación de plataforma (ground [tierra], both [ambos] o either [cualquiera]).
• Entrenamiento: El modelo ligero se entrena con estas etiquetas pseudo-etiquetadas refinadas, permitiéndole realizar la segmentación de oclusión y la asignación de robots en una sola pasada hacia adelante (forward pass).

2. Cuantificación de Incertidumbre en Dos Etapas

Para garantizar la fiabilidad sin inferencia en la nube, Co-GLANCE combina la abstención selectiva y la predicción conforme para proporcionar garantías de cobertura estadísticamente válidas.

• Etapa 1 (Control de Riesgo): Utiliza la abstención selectiva para identificar predicciones de alta confianza. Si la confianza de una predicción supera un umbral calibrado ($\hat{\lambda}$), se acepta como una decisión "singleton", con una tasa de error garantizada (p. ej., $1-\alpha$).
• Etapa 2 (Control de Cobertura): Para las predicciones por debajo del umbral (abstenciones), el sistema aplica la predicción conforme para generar un conjunto de predicción. Esto asegura que la etiqueta real esté contenida dentro del conjunto con una probabilidad especificada ($1-\epsilon$), proporcionando un respaldo estadísticamente válido en lugar de una suposición aleatoria.

3. Percepción Activa Impulsada por la Incertidumbre

Las estimaciones de incertidumbre calibradas impulsan directamente el despacho de robots:

• Alta Confianza: Si la Etapa 1 confirma una predicción singleton (p. ej., "existe oclusión, se necesita robot terrestre"), el sistema procede con el plan asignado.
• Baja Confianza/Abstención: Si el sistema se abstiene (la incertidumbre es demasiado alta), activa la percepción activa.
  • Para la asignación de robots, las abstenciones activan un despacho conservador de ambos robots a la región para asegurar la cobertura.
  • Para la detección de objetos, las abstenciones envían al robot terrestre para adquirir un punto de vista más cercano.
  • El sistema enruta a los robots utilizando un resolvedor de Problemas de Enrutamiento de Vehículos Heterogéneos (HVRP), minimizando los costos de viaje mientras respeta las restricciones de la plataforma (p. ej., los robots terrestres tienen un peso mayor para el costo de trayectoria).

Contribuciones Clave

1. Percepción a Bordo Consciente de la Incertidumbre: Co-GLANCE es el primer sistema que destila el razonamiento de los VLM para la segmentación de oclusión y la asignación de robots en un modelo ligero a bordo, logrando una precisión un 25% mayor en la detección de oclusiones y un 36% mayor en la precisión de asignación de robots en comparación con las líneas base de VLM basadas en la nube.
2. Incertidumbre Calibrada para la Percepción Activa: Al integrar la abstención selectiva con la predicción conforme, el sistema proporciona garantías estadísticamente válidas para las salidas de segmentación, asignación y detección, activando directamente la percepción activa solo cuando es necesario.
3. Mecanismo de Autorrevisión Contextual: Un proceso de refinamiento de múltiples turnos que mejora la consistencia de la supervisión generada por el VLM, aumentando significativamente la recuperación (recall) y la precisión de asignación sobre las líneas base estándar de VLM.
4. Despliegue en el Mundo Real y Conjunto de Datos: Los autores validan el sistema en un equipo aire-tierra real (DJI Matrice 600 y Boston Dynamics Spot) y lanzan un conjunto de datos multimodal aire-tierra que contiene más de 4,000 fotogramas sincronizados, abordando una brecha en la literatura existente que a menudo depende de simulaciones o equipos homogéneos.

Resultados Experimentales

Evaluado en entornos exteriores semiestructurados con vegetación natural e infraestructura:

• Precisión: Co-GLANCE superó a la línea base de VLM basada en la nube (ChatGPT-5.4 + Grounding DINO + SAM) en un 25% en la detección de oclusiones y un 36% en la precisión de la asignación de robots.
• Eficiencia: El modelo destilado redujo la latencia de inferencia por fotograma en un factor de 350$\times$ (de >13 segundos a 37 ms) y eliminó por completo el uso de tokens de API.
• Calibración de Incertidumbre: El esquema de dos etapas mantuvo con éxito las tasas de error dentro de los límites objetivo (p. ej., $\le$ 15% para la asignación) mientras gestionaba las tasas de abstención (aprox. 10% para la asignación, 50% para la detección de personas).
• Conjunto de Datos: El conjunto de datos liberado incluye datos sincronizados de RGB, RTK GPS e IMU de ambas plataformas, apoyando la investigación futura en percepción heterogénea.

Significancia

El artículo argumenta que Co-GLANCE demuestra la viabilidad del despliegue práctico y en tiempo real de razonamiento semántico complejo en equipos de robots heterogéneos sin depender de la conectividad en la nube. Al destilar las capacidades de los VLM y cuantificar rigurosamente la incertidumbre, el sistema cierra la brecha entre el razonamiento semántico de alto nivel y los requisitos de fiabilidad de la percepción activa de seguridad crítica. Los autores posicionan este trabajo como un paso hacia la operación autónoma en entornos no estructurados donde la fiabilidad de un único punto de vista es insuficiente.

Limitaciones

Los autores reconocen varias limitaciones:

• La evaluación se realizó en entornos semiestructurados con un número limitado de robots (uno aéreo, uno terrestre).
• La política de percepción activa es heurística y no está optimizada conjuntamente con los objetivos de planificación descendentes.
• El modelo destilado puede heredar sesgos de las etiquetas pseudo-etiquetadas generadas por el VLM utilizadas durante el entrenamiento.