How Much Do RF Drone Benchmarks Overstate? A Controlled Study and Theory of Data Leakage in UAV Signal Identification

Resumen Técnico: ¿Cuánto sobreestiman los benchmarks de drones de RF?

Planteamiento del Problema
La detección por radiofrecuencia (RF) es una modalidad primaria para la defensa de sistemas aéreos no tripulados (counter-UAS), la cual se basa en la explotación de los enlaces de control, telemetría y video entre los drones y los operadores. Aunque las precisiones reportadas para la detección e identificación de drones mediante RF son frecuentemente altas (a menudo superando el 95%), el artículo argumenta que estos resultados son, con frecuencia, artefactos de la filtración de datos (data leakage).

La patología central identificada es el uso de la validación cruzada a nivel de segmento en conjuntos de datos compuestos por un número reducido de grabaciones continuas. Cuando una grabación continua se divide en segmentos cortos y estos segmentos se particionan aleatoriamente en conjuntos de entrenamiento y de prueba, los segmentos de la misma grabación (que comparten el mismo canal, fondo ambiental y punto de operación del dispositivo) aparecen en ambas particiones. En consecuencia, un clasificador puede tener éxito al memorizar la identidad específica de la grabación en lugar de aprender las características generalizables del tipo de dron. Esto conduce a un "optimismo" donde las puntuaciones reportadas reflejan la memorización en lugar de la generalización a nuevos entornos.

Metodología
El artículo emplea un enfoque multifacético que combina el análisis teórico, experimentos sintéticos controlados y estudios de casos del mundo real:

1. Marco Teórico:

   • Los autores formalizan el optimismo de la validación cruzada a nivel de segmento, descomponiéndolo en un término gobernado por la recuperabilidad de la identidad de la grabación.
   • Aplican el teorema de conteo de funciones de Cover a un modelo de señal generativa. El modelo asume un espacio de características donde un pequeño número de ejes de "molestia" (nuisance) (que representan los efectos del canal y la interferencia específicos de la grabación) dominan la señal.
   • La teoría postula que cuando el número de grabaciones independientes ($R$) es pequeño en relación con la dimensión de las características ($d$), específicamente cuando $2R \lesssim d$, un clasificador lineal puede separar perfectamente los centroides de las grabaciones por etiqueta. En este régimen, un clasificador ingenuo puede memorizar exactamente el mapa de grabación-etiqueta, impulsando la precisión ingenua hacia 1.0 mientras que la verdadera precisión de generalización (precisión de Bayes, $ACC^\star$) permanece baja.

2. Experimento Sintético Controlado:

   • Se generó un conjunto de datos sintético con $d=20$ características, variando la fuerza de la molestia específica de la grabación ($\lambda$) y el número de grabaciones por clase ($R$).
   • El estudio comparó la partición ingenua (mezcla aleatoria de segmentos) frente a la partición agrupada honesta (dejar una grabación fuera).
   • Se evaluaron tanto modelos de Bosque Aleatorio (no lineales) como de Regresión Logística (lineales).

3. Estudio de Caso del Mundo Real (DroneRF):

   • Se analizó el conjunto de datos público DroneRF. Tras fusionar las mitades de banda simultáneas, el conjunto de datos contenía muy pocas grabaciones independientes: cuatro para el dron AR, cuatro para el Bebop y una para el Phantom.
   • Los autores realizaron una validación cruzada de dejar una grabación fuera agrupada por grupos (pooled leave-one-recording-out cross-validation) y la compararon con la evaluación ingenua a nivel de segmento.
   • Se realizó un estudio de ablación de la vía de filtración para aislar si la inflación provenía de la filtración a nivel de segmento u otros factores (por ejemplo, la división de las mitades de banda).

Resultos Clave

• Predicción Teórica: La teoría predice que la precisión ingenua se acerca a 1.0 mientras que la brecha de inflación se acerca a $1 - ACC^\star$ cuando $2R \lesssim d$. A medida que $R$ supera este umbral de separabilidad, la capacidad de memorizar grabaciones disminuye y la precisión ingenua decae.
• Confirmación Sintética:
  • A medida que la fuerza de la molestia ($\lambda$) aumentaba, la precisión equilibrada ingenua aumentó monótonamente a 1.0, mientras que la precisión honesta agrupada disminuyó a niveles de azar (aprox. de 0.5). La brecha alcanzó aproximadamente 0.5.
  • Al variar $R$, la precisión ingenua fue más alta con un $R$ bajo (donde $2R < d$) y disminuyó a medida que $R$ aumentaba. La precisión honesta se mantuvo cerca del azar pero se estabilizó (la varianza disminuyó) a medida que $R$ crecía.
  • El Bosque Aleatorio no lineal mantuvo una alta precisión ingenua incluso más allá del umbral de separabilidad lineal, confirmando que los modelos no lineales pueden memorizar grabaciones aún más fácilmente que los lineales.
• Hallazgos de DroneRF:
  • Identificación: En el conjunto de datos DroneRF (AR vs. Bebop), la evaluación ingenua arrojó un macro-F1 de 0.74. Cuando se evaluó con la validación cruzada honesta de dejar una grabación fuera, el rendimiento colapsó a 0.46, que es el nivel de azar para un problema de dos clases.
  • Ablación: El estudio de ablación de la vía de filtración confirmó que esencialmente toda la inflación (cayendo de 0.739 a ~0.524) se debió a la filtración a nivel de segmento dentro de las grabaciones. La fusión de las mitades de banda tuvo un efecto adicional insignificante en la métrica.
  • Detección: El AUC de detección se mantuvo alto (0.985 ingenuo vs. 0.978 honesto) porque el conjunto de datos contenía solo una grabación de fondo, lo que impidió una división de detección completamente libre de filtración. Sin embargo, la tasa de detección a una tasa fija de falsas alarmas fue altamente variable.

Significancia y Reclamaciones
El artículo afirma proporcionar una explicación rigurosa para la discrepancia entre las altas precisiones reportadas en la literatura de RF de drones y el probable bajo rendimiento en el mundo real de tales sistemas.

• Cuantificación de la Inflación: Los autores demuestran que la "brecha de inflación" no es ruido aleatorio, sino una función predecible de la relación entre las grabaciones independientes y la dimensión de las características. En el "régimen de pocas grabaciones" típico de los conjuntos de datos públicos, los benchmarks ingenuos pueden estar errados por hasta 0.5 (50 puntos porcentuales).
• Riesgo Operacional: El artículo enfatiza que un sistema anunciado con un 99% de precisión basado en datos filtrados puede funcionar a niveles de azar en un nuevo entorno, lo que representa un fallo crítico de seguridad operativa.
• Recomendaciones de Protocolo: Los autores proponen un protocolo de evaluación específico:
  1. Identificar y agrupar todos los segmentos pertenecientes a una sola grabación continua (incluyendo capturas simultáneas).
  2. Utilizar validación cruzada agrupada por grabación (por ejemplo, dejar una grabación fuera) en lugar de la mezcla a nivel de segmento.
  3. Reportar tanto las puntuaciones ingenuas como las agrupadas de forma paralela para visualizar la filtración.
  4. Asegurar que los conjuntos de datos contengan suficientes grabaciones independientes ($2R > d$) para respaldar afirmaciones de identificación confiables.

El artículo concluye que sin una evaluación agrupada por grabación y un número suficiente de capturas independientes, las afirmaciones de alta precisión en la identificación de drones por RF carecen de fundamento y probablemente reflejan la memorización específica del conjunto de datos. Todo el código, los generadores sintéticos y los scripts se liberan para asegurar la reproducibilidad.