LAMBDA: A Low-Altitude Multimodal Base Dataset for UAV Sensing and Communication

Resumen Técnico: Conjunto de Datos LAMBDA para ISAC de Baja Altitud

Planteamiento del Problema

La rápida proliferación de los Vehículos Aéreos No Tripulados (UAV) ha creado una demanda de sistemas de Integración de Sensores y Comunicaciones (ISAC) capaces de operar en entornos de baja altitud. A diferencia de los sistemas terrestres, las redes de UAV de baja altitud enfrentan desafíos únicos, incluyendo objetivos aéreos pequeños, canales aire-tierra que varían rápidamente, movilidad tridimensional y una alta sensibilidad a la geometría circundante y a las condiciones climáticas.

A pesar de la necesidad crítica de la investigación en ISAC, el progreso está fundamentalmente limitado por la escasez de conjuntos de datos multimodales exhaustivos y de alta calidad. Los conjuntos de datos existentes (por ejemplo, KITTI, DeepMIMO, ViWi) generalmente no cumplen con los requisitos específicos de los escenarios de UAV de baja altitud porque:

• Se centran en agentes centrados en el suelo en lugar de objetivos aéreos.
• Carecen de etiquetas de radiofrecuencia (RF) o no logran sincronizarlas con datos visuales, geométricos e inerciales.
• No capturan conjuntamente la propagación inalámbrica, la apariencia visual, el movimiento del UAV y las variaciones dependientes del clima bajo trayectorias sincronizadas y sistemas de coordenadas comunes.

Metodología

Para abordar estas brechas, los autores presentan LAMBDA (Low-Altitude Multimodal Base DAtaset), un conjunto de datos fundacional generado a través de un flujo de trabajo de gemelo digital de alta fidelidad. El proceso de generación integra varias herramientas especializadas para asegurar la fidelidad física y visual:

1. Construcción de Escenas: Se construyen escenas de gemelo digital de alta fidelidad utilizando Unreal Engine 5 (UE5), que cuentan con geometría detallada, texturas de nivel decimétrico y asignaciones de materiales por capas. Se modelan tres categorías principales de regiones: Urbana (estilo San Francisco), Suburbana (montaña/terreno abierto) y Campus (Universidad de Jiaotong de Shanghái).
2. Simulación de Sensores y Movimiento: Se utiliza Cosys-AirSim para ejecutar trayectorias de UAV y registrar imágenes RGB sincronizadas, mapas de profundidad, nubes de puntos LiDAR, estados de la Unidad de Medición Inercial (IMU) y poses de verdad de terreno (ground-truth).
3. Modelado de RF y Radar:
   • Los activos de UE5 se convierten a mallas mediante Blender y se les asignan propiedades de materiales electromagnéticos personalizados.
   • Sionna RT realiza trazado de rayos consciente del material para generar la Información de Estado del Canal (CSI), incluyendo ganancias de trayectoria, retardos, desplazamientos Doppler y ángulos.
   • CADFEKO modela la Sección Transversal de Radar (RCS) del UAV.
   • Un módulo de síntesis de radar combina la geometría de trayectoria múltiple de Sionna RT con el RCS derivado de CADFEKO para generar datos de onda continua modulada en frecuencia (FMCW).
4. Sincronización y Alineación: Todas las modalidades se alinean offline utilizando un sistema de coordenadas de mundo de mano derecha unificado de Sionna. Un índice de marco global (intervalo de 1/60 s) sirve como clave primaria, asegurando que los registros visuales, geométricos, inerciales, inalámbricos y de radar correspondan exactamente al mismo estado del UAV y a la misma geometría de la escena.
5. Simulación de Clima: Los efectos climáticos (lluvia, nieve, niebla, noche) se simulan utilizando flujos de trabajo específicos por modalidad:
   • RF: Se aplica la atenuación atmosférica a las amplitudes de trayectoria múltiple compleja utilizando modelos de la ITU-R (P.838-3, P.840-9) y el modelo de nieve de Gunn–East.
   • Visual/Profundidad: Sistemas de partículas Niagara de UE5 y modelos de niebla volumétrica.
   • LiDAR: Se utilizan el algoritmo LISA y el modelado de niebla basado en la física para simular retornos inducidos por precipitación y ruido de rango.

Contribuciones Clave

El artículo presenta a LAMBDA como un recurso de referencia caracterizado por cuatro características clave:

1. Alta Fidelidad: Geometría de escena detallada, asignación refinada de materiales ópticos/electromagnéticos y modelado electromagnético de las reflexiones de radar del UAV.
2. Diversidad de Modalidades: Flujos de datos sincronizados que incluyen RGB, profundidad, LiDAR, IMU, poses de UAV, CSI y recursos de síntesis de radar.
3. Riqueza de Escenarios: Cobertura de escenas urbanas, suburbanas y de campus; configuraciones de múltiples UAV/múltiples estaciones base (BS); y diversas condiciones de clima/tiempo (soleado, lluvioso, nevado, nublado, noche).
4. Flexibilidad de Configuración: El conjunto de datos proporciona registros de CSI a nivel de trayectoria y recursos de síntesis de radar, lo que permite a los usuarios personalizar los tamaños de arreglos de antenas, anchos de banda, espaciamientos de subportadoras y parámetros de chirp. Soporta tanto la síntesis de canales de onda plana como de frente de onda esférico para estudios de campo lejano y campo cercano.

El conjunto de datos comprende 2.04 TB de datos y 517,939 fotogramas multimodales alineados.

Resultados y Validación

La fiabilidad y utilidad de LAMBDA fueron validadas mediante un procedimiento técnico de múltiples etapas:

• Control de Calidad: Verificaciones de integridad de archivos, disponibilidad de modalidades, alineación de marcas de tiempo y completitud de la trayectoria.
• Consistencia Visual: El análisis comparativo de las salidas de RGB, profundidad y LiDAR a través de diversas condiciones climáticas confirmó que la degradación (por ejemplo, puntos faltantes en LiDAR debido a la lluvia) es físicamente plausible y consistente entre modalidades.
• Visualización Multimodal Sincronizada: Verificación de que los perfiles de retardo de potencia, los mapas de rango-ángulo de radar y los datos visuales/geométricos describen el mismo evento de baja altitud para un índice de fotograma dado.

Se emplearon dos casos de uso específicos de UAV ISAC para demostrar la utilidad de los datos:

1. Predicción de Haz Asistida por RGB: Se utilizó un modelo ResNet-50 entrenado con la escena "Open Ground" de LAMBDA para predecir índices de haz de 60 GHz a partir de imágenes RGB. Al realizar un ajuste fino (fine-tuning) con el conjunto de datos DeepSense 6G, el modelo preentrenado con LAMBDA superó a una línea base basada solo en ImageNet, demostando que las representaciones visuales-inalámbricas sintéticas son físicamente consistentes y efectivas para el aprendizaje por transferencia.
2. Localización de UAV Basada en RGB–LiDAR: Se probó un flujo de trabajo que utiliza imágenes RGB para la generación de consultas 2D y LiDAR para el levantamiento 3D. El modelo alcanzó una tasa de Success@1m del 76.21% con los datos de entrenamiento completos (alcanzando el 98.6% del límite superior teórico), confirmando que LAMBDA proporciona una supervisión multimodal consistente para tareas de localización.

Significado y Reivindicaciones

Los autores posicionan a LAMBDA como un recurso fundacional para cerrar la brecha entre los conjuntos de datos terrestres existentes y las necesidades específicas de la investigación en ISAC de baja altitud. El artículo afirma que LAMBDA permite:

• Validación de Algoritmos y Benchmarking: Proporcionar una verdad de terreno sincronizada y fiable para probar algoritmos de ISAC multimodales.
• Preentrenamiento de Modelos: Servir como fuente para el preentrenamiento de modelos inalámbricos multimodales antes de su ajuste fino con datos del mundo real.
• Investigación Configurable: Permitir a los investigadores sintetizar configuraciones específicas de radar y canal (por ejemplo, campo cercano frente a campo lejano) sin requerir nuevas mediciones físicas.

El artículo establece modestamente que los casos de uso presentados tienen la intención de demostrar la utilidad de los datos y la consistencia física, más que de establecer algoritmos de vanguardia para tareas específicas. El conjunto de datos está disponible públicamente a través de Science Data Bank y el sitio web del proyecto, acompañado de código de código abierto para la inspección de datos, generación de CSI y síntesis de radar.