LMPath: Language-Mediated Priors and Path Generation for Aerial Exploration

Resumen Técnico: LMPath: Priors Mediados por Lenguaje y Generación de Trayectorias para Exploración Aérea

Enunciado del Problema
Las misiones tradicionales de búsqueda autónoma con Vehículos Aéreos No Tripulados (UAV) dependen de patrones de cobertura geométrica que ignoran el contexto semántico del objeto objetivo. En entornos a gran escala, este enfoque genera un desperdicio significativo de tiempo, ya que el UAV debe cubrir sistemáticamente áreas independientemente de la probabilidad de encontrar el objetivo. Los métodos existentes que utilizan modelos fundacionales para imágenes satelitales a menudo se centran en localizar objetos grandes y estáticos visibles desde arriba (por ejemplo, edificios), pero carecen de la capacidad de razonar sobre las relaciones semánticas entre objetos dinámicos y sus entornos (por ejemplo, coches en aparcamientos). Además, aunque los métodos de navegación reactiva local utilizan incrustaciones de lenguaje para la exploración de fronteras, carecen de un mecanismo para traducir el sentido común ambiental de alto nivel en priores de búsqueda globales y optimizados para áreas de gran escala.

Metodología: La Pipeline de LMPath
Los autores presentan LMPath, una pipeline diseñada para generar priores de exploración mediados por lenguaje para misiones de búsqueda de UAV. El sistema integra Modelos de Lenguaje Grande (LLM) y modelos fundacionales de visión para crear un marco de razonamiento semántico-espacial. La pipeline opera a través de las siguientes etapas:

1. Entrada y Recuperación de Datos: El sistema acepta un prompt de objeto definido por el usuario (por ejemplo, "coche") y metadatos geoespaciales que definen la geovalla operativa, las zonas de no vuelo y la ubicación de lanzamiento. Un "Compositor de Baldosas" consulta servicios de mapas basados en la web para unir imágenes satelitales de alta resolución del área de búsqueda.
2. Inferencia de Etiquetas Semánticas (LLM): Un agente LLM infiere un conjunto de etiquetas semánticamente relevantes ($L$) que describen los contextos ambientales probables donde se encontraría el objeto objetivo (por ejemplo, para un "coche", el LLM podría generar "aparcamiento", "carretera", "entrada de vehículos"). Esto cierra la brecha entre el objetivo de búsqueda específico y las características semánticas más amplias reconocibles en imágenes aéreas.
3. Generación de Mapas de Calor Probabilísticos (Modelo de Visión): Utilizando las etiquetas inferidas, un modelo de segmentación fundacional (específicamente SAM 3) procesa las imágenes satelitales. Debido al tamaño de las imágenes satelitales, se emplea un enfoque de ventana deslizante. Se generan máscaras de segmentación binarias para cada etiqueta dentro de ventanas superpuestas, se promedian para mitigar artefactos de borde y se suman para crear una función de densidad de probabilidad 2D final (mapa de calor), $H(x, y)$. Los valores más altos indican una mayor probabilidad semántica de la presencia del objeto.
4. Generación de Vías y Construcción de Grafos: El mapa de calor continuo se discretiza en un conjunto de puntos de vía candidatos basados en la huella de cobertura del sensor del UAV. El espacio operativo se particiona utilizando teselación de Voronoi. El "calor" o masa de probabilidad ($p_i$) para cada punto de vía se calcula integrando el prior semántico sobre su celda de Voronoi correspondiente y normalizando por el área de la celda para evitar sesgos hacia celdas grandes.
5. Optimización de Trayectorias (PLI): El grafo discreto se introduce en un planificador de trayectorias formulado como un Programa Lineal Entero (PLI). El sistema admite múltiples objetivos:
   • Minimizar el Tiempo de Búsqueda Esperado: El PLI optimiza la ruta para minimizar la suma ponderada de los tiempos de visita, priorizando los puntos de vía con mayores masas de probabilidad.
   • Trayectoria Centrada en el Objetivo en Entornos Grandes: Para áreas muy extensas, el planificador puede filtrar los puntos de vía con masas de probabilidad por debajo de un umbral ($\rho$), reduciendo el problema a un Problema del Viajante de Comercio (TSP) sobre subregiones de alta probabilidad.

Contribuciones Clave
El artículo describe dos contribuciones principales:

1. Un Marco de Razonamiento Semántico-Espacial: La integración de un LLM para inferir etiquetas semánticamente relevantes, creando una capa de razonamiento entre un objetivo de búsqueda y su contexto ambiental probable, que luego se mapea a imágenes satelitales.
2. Un Sistema de Búsqueda de Trayectorias Multiobjetivo: La integración de estos priores mediados por lenguaje en un PLI para optimizar trayectorias para diversos objetivos de misión, como minimizar el tiempo de búsqueda o centrarse en subregiones específicas.

Resultados Experimentales
Los autores evaluaron LMPath mediante pruebas de campo en el mundo real y simulaciones de alta fidelidad:

• Validación en el Mundo Real: Utilizando un UAV Falcon 4 con una cámara RGB de visión cenital, el sistema ejecutó con éxito misiones en entornos a gran escala. En una búsqueda de un "coche", el UAV priorizó los aparcamientos sobre los campos de césped. En una búsqueda de "edificios" dentro de un área de 300 m x 450 m, el UAV se centró en espacios abiertos ignorando las zonas boscosas.
• Evaluación en Simulación: Se realizaron simulaciones en Gazebo en dos entornos: "PolyCity" (urbano sintético) y "Parque Industrial" (reconstruido a partir de imágenes reales de UAV). Las simulaciones compararon LMPath con un planificador TSP de referencia que cubre uniformemente todo el espacio sin guía semántica.
  • En el entorno PolyCity, la trayectoria generada por LMPath encontró el objetivo más rápido que la de referencia el 66.0% de las veces.
  • En el entorno Parque Industrial, LMPath superó a la referencia el 88.0% de las veces.
  • Los resultados indican que priorizar inteligentemente las regiones de alta probabilidad reduce significativamente el tiempo de búsqueda esperado en comparación con la cobertura exhaustiva agnóstica a la semántica.

Significado y Limitaciones
El artículo afirma que LMPath demuestra la utilidad de aprovechar los modelos fundacionales para replantear la asignación de tareas a UAV, avanzando más allá de la selección manual de coordenadas GPS hacia la autonomía impulsada por semántica. El sistema traduce con éxito los prompts del usuario en trayectorias de vuelo optimizadas que respetan el contexto ambiental.

Los autores reconocen limitaciones específicas:

• Restricciones de Visibilidad: El sistema solo puede segmentar lugares claramente visibles en la imagen satelital proporcionada. Edificios grandes o vegetación que causan oclusiones pueden dificultar el rendimiento.
• Suposiciones Estáticas: La formulación actual del mapa de calor asume una ponderación uniforme para las etiquetas y máscaras.
• Direcciones Futuras: Los autores proponen trabajo futuro para fusionar los priores de LMPath con algoritmos locales de exploración de fronteras para manejar oclusiones y cambios dinámicos. También sugieren incorporar la confianza de las etiquetas y dependencias condicionales (por ejemplo, favorecer la "entrada de vehículos" cuando está adyacente a un "edificio") para refinar aún más los priores de búsqueda.