RF-Analyzer: Can Vision-Language Models Learn RF Understanding from Synthetic Data?

Resumen Técnico: RF-Analyzer: ¿Pueden los Modelos Visión-Lenguaje aprender comprensión de RF a partir de datos sintéticos?

Declaración del Problema
Comprender el espectro inalámbrico es un requisito fundamental para los sistemas de comunicación inteligentes. Sin embargo, interpretar espectrogramas requiere extraer múltiples atributos físicos y razonar sobre la estructura de la señal, una capacidad que los enfoques tradicionales de aprendizaje automático (ML) luchan por lograr debido a su dependencia de espacios de etiquetas discretos y predefinidos, y a la falta de interfaces de lenguaje natural. Aunque los Modelos de Lenguaje Grande (LLM) y los Modelos Visión-Lenguaje (VLM) han demostrado promesa en tareas de razonamiento, carecen de una conexión directa con entornos físicos. Existe una brecha crítica para determinar si los VLM entrenados exclusivamente con datos sintéticos de Radiofrecuencia (RF) pueden generalizar a entornos reales en el aire (OTA). Los datos reales de RF son costosos, difíciles de etiquetar y están restringidos por regulaciones, lo que hace que los datos sintéticos sean una alternativa atractiva para el entrenamiento. Sin embargo, sigue sin estar claro si los modelos entrenados únicamente con espectrogramas sintéticos pueden interpretar de manera fiable señales en vivo donde las características del ruido, la interferencia y los efectos de propagación difieren significativamente de las simulaciones.

Metodología
Para abordar esta brecha, los autores introducen RF-Analyzer, una plataforma de análisis de SDR a AI acelerada por GPU. El sistema integra un dispositivo de captura de espectro en vivo (Ettus USRP B210) con múltiples backends de VLM, incluyendo un modelo adaptado al dominio (RF-GPT, basado en Qwen2.5-VL y entrenado exclusivamente con espectrogramas sintéticos) y líneas base de propósito general (Llama 3.2 Vision y Qwen2.5-VL sin ajuste).

La plataforma opera de la siguiente manera:

1. Adquisición de Señal: Muestras IQ de banda base compleja se transmiten desde el USRP B210, se procesan mediante un pipeline de DSP (ventana de Hann, FFT, conversión a dB) y se renderizan como una imagen de cascada tiempo-frecuencia de 200 filas.
2. Inferencia: La imagen de cascada renderizada y un prompt de texto que contiene únicamente configuraciones de hardware (frecuencia central y tasa de muestreo) se envían a los backends de VLM. Crucialmente, los modelos no reciben datos IQ crudos, etiquetas de verdad fundamental ni identificadores de escenario.
3. Marco de Evaluación: Los autores proponen una evaluación compuesta por tres métricas específicas para evaluar la comprensión de la señal y la conexión con la realidad:
   • Puntuación de Extracción de Atributos Físicos (PAES): Una escala de 0 a 5 que evalúa la capacidad del modelo para identificar correctamente cinco atributos físicos binarios: clase temporal, ocupación espectral, clase de SNR, aislamiento de señal y familia de tecnologías.
   • Tasa de Fuga de Prompt (PLR): Mide la medida en que las estimaciones de ancho de banda se derivan de metadatos del prompt (tasa de muestreo) en lugar de inferirse del espectrograma visual.
   • Conteo de Alucinaciones: Rastrea afirmaciones fácticas que contradicen propiedades medibles de la señal, como falsos negativos (señales visibles omitidas) o etiquetas de tecnología incorrectas.

Los experimentos se realizaron en Abu Dabi en seis escenarios: cinco escenarios alineados por categoría (que cubren LTE, FM, ISM, Wi-Fi y GSM) y un "Test Killer" (KT) adversario que involucraba un ratón Bluetooth en una bolsa de blindaje RF para simular condiciones de baja SNR y fuera de distribución.

Resultados Clave
La evaluación demuestra que los VLM entrenados con datos de espectrograma sintéticos pueden generalizar a entornos reales de RF, pero con limitaciones distintas:

• Generalización de Atributos Físicos: RF-GPT superó consistentemente a las líneas base de propósito general en la extracción de la geometría física de la señal. Identificó de manera fiable la ocupación espectral, el comportamiento temporal y el aislamiento de la señal en escenarios dentro de la distribución, logrando puntuaciones PAES altas (por ejemplo, 5/5 en S2, S3, S4, S5). Esto indica que los datos sintéticos son suficientes para aprender representaciones transferibles de la estructura de la señal RF.
• Conexión con la Realidad vs. Fuga: RF-GPT exhibió una baja Tasa de Fuga de Prompt (15%), lo que indica que sus estimaciones de ancho de banda se basaban en datos visuales en lugar de copiarse de metadatos del prompt. Por el contrario, los modelos de propósito general mostraron altas tasas de fuga (55–70%), a menudo confiando en metadatos cuando las señales visuales eran ambiguas.
• Modos de Fallo:
  • Conexión Semántica: Aunque RF-GPT podía percibir formas de señal, clasificaba frecuentemente incorrectamente las etiquetas de tecnología (por ejemplo, etiquetando una señal LTE como 5G NR) debido a la falta de priores de asignación de frecuencia en los datos de entrenamiento sintéticos.
  • Robustez en Baja SNR: En el Test Killer adversario (señal de Bluetooth atenuada y de baja SNR), el rendimiento de RF-GPT se degradó significativamente (PAES 2/5), a menudo sobre-segmentando la escena o clasificando incorrectamente el ruido como señales superpuestas. Las líneas base de propósito general fallaron completamente, reportando ausencia de señal.
  • Limitaciones de la Línea Base: Los VLM sin ajuste sufrieron de alucinaciones de falsos negativos, fallando en detectar señales visibles porque su preentrenamiento no se alineaba con la semántica de los mapas de potencia RF (por ejemplo, interpretando regiones espectrales brillantes como textura de fondo).

Significado y Afirmaciones
El artículo afirma que los datos sintéticos son suficientes para entrenar VLMs para aprender representaciones transferibles de la estructura de la señal RF, permitiendo la extracción de atributos físicos como la ocupación espectral y la SNR a partir de capturas del mundo real sin ajuste fino con datos reales. Sin embargo, los autores concluyen modestamente que esta generalización es limitada. Los modelos carecen de una conexión semántica fiable sin priores contextuales (como regulaciones de bandas de frecuencia), lo que lleva a una mala clasificación de protocolos. Además, la generalización se rompe bajo condiciones no cubiertas en la distribución sintética, específicamente en regímenes de baja SNR y señales atenuadas.

El significado de este trabajo radica en demostrar que los modelos de lenguaje RF pueden desarrollarse y ajustarse de manera más eficiente utilizando datos sintéticos para tareas de interpretación física, siempre que el trabajo futuro aborde la necesidad de priores explícitos de asignación de bandas y aumento de datos de baja SNR para mejorar la robustez y la precisión semántica. El artículo no afirma que el entrenamiento sintético por sí solo resuelva todos los desafíos del análisis RF, sino que establece una línea base para lo que es alcanzable y dónde residen las limitaciones actuales.