How Much Do RF Drone Benchmarks Overstate? A Controlled Study and Theory of Data Leakage in UAV Signal Identification

Resumo Técnico: O quanto os benchmarks de drones de RF são superestimados?

Definição do Problema
A detecção por radiofrequência (RF) é uma modalidade primária para a defesa de sistemas contra drones (counter-UAS), baseando-se na exploração dos links de controle, telemetria e vídeo entre os drones e os operadores. Embora as acurácias relatadas para detecção e identificação de drones via RF sejam frequentemente altas (muitas vezes excedendo 95%), o artigo argumenta que esses resultados são, frequentemente, artefatos de vazamento de dados (data leakage).

A patologia central identificada é o uso de validação cruzada em nível de segmento em conjuntos de dados compostos por um pequeno número de gravações contínuas. Quando uma gravação contínua é fatiada em segmentos curtos e esses segmentos são particionados aleatoriamente em conjuntos de treinamento e teste, segmentos da mesma gravação (compartilhando o mesmo canal, fundo ambiente e ponto de operação do dispositivo) aparecem em ambas as partições. Consequentemente, um classificador pode ter sucesso ao memorizar a identidade específica da gravação em vez de aprender as características generalizáveis do tipo de drone. Isso leva a um "otimismo" onde os escores relatados refletem a memorização em vez da generalização para novos ambientes.

Metodologia
O artigo emprega uma abordagem multifacetada combinando análise teórica, experimentos sintéticos controlados e estudos de caso do mundo real:

1. Estrutura Teórica:

   • Os autores formalizam o otimismo da validação cruzada em nível de segmento, decompondo-o em um termo governado pela recuperabilidade da identidade da gravação.
   • Eles aplicam o teorema de contagem de funções de Cover a um modelo de sinal generativo. O modelo assume um espaço de características onde um pequeno número de eixos de "perturbação" (representando efeitos de canal e interferência específicos da gravação) domina o sinal.
   • A teoria postula que quando o número de gravações independentes ($R$) é pequeno em relação à dimensão de características ($d$), especificamente quando $2R \lesssim d$, um classificador linear pode separar perfeitamente os centroides das gravações por rótulo. Neste regime, um classificador ingênuo pode memorizar o mapa gravação-rótulo exatamente, levando a acurácia ingênua para próximo de 1,0 enquanto a verdadeira acurácia de generalização (acurácia de Bayes, $ACC^\star$) permanece baixa.

2. Experimento Sintético Controlado:

   • Um conjunto de dados sintético foi gerado com $d=20$ características, variando a força da perturbação específica da gravação ($\lambda$) e o número de gravações por classe ($R$).
   • O estudo comparou a partição ingênua (embaralhamento aleatório de segmentos) com a partição agrupada honesta (deixar uma gravação de fora/leave-one-recording-out).
   • Classificadores Random Forest (não linear) e Regressão Logística (linear) foram avaliados.

3. Estudo de Caso do Mundo Real (DroneRF):

   • O conjunto de dados público DroneRF foi analisado. Após a fusão das metades simultâneas das bandas, o conjunto de dados continha pouquíssimas gravações independentes: quatro para o drone AR, quatro para o Bebop e uma para o Phantom.
   • Os autores realizaram uma validação cruzada de leave-one-recording-out agrupada por pool (agrupada por gravação) e compararam com a avaliação ingênua de nível de segmento.
   • Uma ablação de via de vazamento foi realizada para isolar se a inflação vinha do vazamento de nível de segmento ou de outros fatores (ex: divisão de metades de banda).

Principais Resultados

• Previsão Teórica: A teoria prevê que a acurácia ingênua se aproxima de 1,0 enquanto a lacuna de inflação se aproxima de $1 - ACC^\star$ quando $2R \lesssim d$. À medida que $R$ ultrapassa esse limiar de separabilidade, a capacidade de memorizar gravações diminui, e a acurácia ingênua declina.
• Confirmação Sintética:
  • À medida que a perturbação ($\lambda$) aumentava, a acurácia equilibrada ingênua subia monotonicamente para 1,0, enquanto a acurácia agrupada honesta declinava para níveis de acaso (aprox. 0,5). A lacuna atingiu aproximadamente 0,5.
  • Ao variar $R$, a acurácia ingênua foi mais alta em $R$ baixo (onde $2R < d$) e declinou conforme $R$ aumentava. A acurácia honesta permaneceu próxima ao acaso, mas estabilizou (a variância diminuiu) conforme $R$ crescia.
  • O Random Forest não linear manteve a acurácia ingênua alta mesmo além do limiar de separabilidade linear, confirmando que modelos não lineares podem memorizar gravações ainda mais facilmente do que os lineares.
• Descobertas do DroneRF:
  • Identificação: No conjunto de dados DroneRF (AR vs. Bebop), a avaliação ingênua resultou em um macro-F1 de 0,74. Quando avaliado com a validação cruzada honesta de leave-one-recording-out, o desempenho colapsou para 0,46, que é o nível de acaso para um problema de duas classes.
  • Ablação: A ablação de via de vazamento confirmou que essencialmente toda a inflação (caindo de 0,739 para ~0,524) foi devida ao vazamento de nível de segmento dentro das gravações. A fusão das metades das bandas teve um efeito adicional negligenciável na métrica.
  • Detecção: A AUC de detecção permaneceu alta (0,985 ingênua vs. 0,978 honesta) porque o conjunto de dados continha apenas uma gravação de fundo, impedindo uma divisão de detecção totalmente livre de vazamento. No entanto, a taxa de detecção em uma taxa de alarme fixa foi altamente variável.

Significância e Alegações
O artigo afirma fornecer uma explicação rigorosa para a discrepância entre as altas acurácias relatadas na literatura de drones de RF e o provável baixo desempenho de tais sistemas no mundo real.

• Quantificação da Inflação: Os autores demonstram que a "lacuna de inflação" não é um ruído aleatório, mas uma função previsível da razão entre gravações independentes e a dimensão de características. No "regime de poucas gravações" típico de conjuntos de dados públicos, os benchmarks ingênuos podem estar errados em até 0,5 (50 pontos percentuais).
• Risco Operacional: O artigo enfatiza que um sistema anunciado com 99% de acurácia baseado em dados com vazamento pode performar em níveis de acaso em um novo ambiente, representando uma falha crítica de segurança operacional.
• Recomendações de Protocolo: Os autores propõem um protocolo de avaliação específico:
  1. Identificar e agrupar todos os segmentos pertencentes a uma única gravação contínua (incluindo capturas simultâneas).
  2. Usar validação cruzada agrupada por gravação (ex: leave-one-recording-out) em vez de embaralhamento de nível de segmento.
  3. Relatar tanto os escores ingênuos quanto os agrupados lado a lado para visualizar o vazamento.
  4. Garantir que os conjuntos de dados contenham gravações independentes suficientes ($2R > d$) para sustentar afirmações de identificação confiáveis.

O artigo conclui que, sem a avaliação agrupada por gravação e um número suficiente de capturas independentes, as altas alegações de acurácia em identificação de drones de RF não são sustentadas e provavelmente refletem a memorização específica do conjunto de dados. Todo o código, geradores sintéticos e scripts são liberados para garantir a reprodutibilidade.