Generalizable and Interpretable RF Fingerprinting with Shapelet-Enhanced Large Language Models

Resumen Técnico: Huella Digital de RF Generalizable e Interpretable con LLM Mejorado por Shapelets

Planteamiento del Problema
Las redes neuronales profundas (DNN) han logrado una alta precisión en la identificación de huellas digitales de radiofrecuencia (RF) para la autenticación de dispositivos inalámbricos. Sin embargo, su despliegue práctico se ve obstaculizado por dos limitaciones críticas:

1. Desplazamiento de Dominio (Domain Shift): Los modelos entrenados en entornos específicos (ubicaciones, tiempos o condiciones) suelen fallar al generalizarse a dominios no vistos debido a variaciones en la propagación de la señal y el comportamiento del hardware. Las soluciones existentes, como la adaptación de dominio adversaria o el aprendizaje de pocos disparos (few-shot learning, FSL), a menudo requieren estrategias de entrenamiento complejas, datos etiquetados masivos o información específica del dominio que es difícil de obtener.
2. Falta de Interpretabilidad: Las DNN operan como "cajas negras", lo cual es problemático para aplicaciones críticas de seguridad. Aunque existen técnicas de interpretabilidad post-hoc, estas carecen de transparencia de extremo a extremo. Además, los métodos existentes que integran explicaciones suelen utilizarlas meramente para el aumento de datos en lugar de proporcionar información intrínseca sobre el razonamiento del modelo.

Metodología
Los autores proponen un marco novedoso que integra un Modelo de Lenguaje de Gran Escala (LLM) pre-entrenado con un módulo aprendible de shapelets bidimensionales (2D) de longitud variable. La arquitectura consta de tres componentes principales:

1. Adaptación de LLM Pre-entrenado para el Contexto Global:

   • Incrustación de Entrada (Input Embedding): Los datos brutos de fase/cuadratura (I/Q) (series temporales 2D) son incompatibles con las entradas de tokens estándar de un LLM. Un codificador de Red Neuronal Convolucional (CNN) ligero proyecta los datos I/Q brutos en una secuencia de incrustaciones compatibles con el espacio de entrada del LLM.
   • Ajuste Fino Congelado (Frozen Fine-tuning): Para aprovechar las capacidades de generalización del LLM sin el costo computacional de un reentrenamiento completo, la mayoría de los parámetros del LLM (específicamente la atención selectiva y las redes de alimentación hacia adelante) permanecen congelados. Solo se ajustan las incrustaciones posicionales y los parámetros de normalización de capa. Esto permite al modelo capturar dependencias de largo alcance e información contextual global de las señales de RF.

2. Shapelets 2D Aprendibles para Patrones Locales e Interpretabilidad:

   • Para abordar las limitaciones de los tradicionales shapelets 1D de longitud fija, los autores introducen un módulo de shapelet 2D de longitud variable. Estos shapelets abarcan simultáneamente los componentes I y Q, capturando patrones discriminativos conjuntos (por ejemplo, cambios sincronizados de amplitud y fase).
   • Los shapelets son parámetros aprendibles dentro de una red neuronal superficial. Operan mediante una ventana deslizante para extraer subsecuencias de la entrada.
   • Mecanismo de Activación: La similitud entre la entrada y cada shapelet se mide utilizando la distancia euclidiana. Se calcula una puntuación de activación suave mediante softmax pooling, lo que permite al modelo identificar qué subsecuencias locales específicas son más relevantes para la clasificación.

3. Representación Conjunta y Función de Pérdida:

   • Concatenación: El vector de características globales del LLM y el vector de representación local de la red de shapelets se concatenan para formar una representación conjunta.
   • Función de Pérdida: El modelo se optimiza utilizando una función de pérdida compuesta:
     • Pérdida de Entropía Cruzada (Cross-Entropy Loss): Para la precisión de clasificación estándar.
     • Regularización de Dispersión ($L_{spr}$): Fomenta que solo un pequeño subconjunto de shapelets se active para cualquier entrada, asegurando la interpretabilidad.
     • Regularización de Diversidad ($L_{div}$): Penaliza la alta similitud de coseno entre diferentes shapelets para evitar la redundancia y asegurar que cada shapelet capture características distintas.

4. Mecanismos de Inferencia:

   • Inferencia Estándar: La representación conjunta se proyecta directamente a las etiquetas del dispositivo.
   • Inferencia de Pocos Disparos (Few-Shot Inference): El marco soporta el aprendizaje de pocos disparos sin reentrenamiento. Utiliza una estrategia basada en prototipos donde los prototipos de clase se computan a partir de un pequeño conjunto de soporte (por ejemplo, 1-shot o 5-shot). Las muestras de consulta se clasifican comparando sus representaciones conjuntas con estos prototipos mediante métricas de similitud.

Contribuciones Clave

• Primera Integración de LLMs en la Identificación de Huellas de RF: Este trabajo es el primero en explorar la adaptación de LLMs pre-entrenados para la identificación de huellas de RF trans-dominio, aprovechando sus capacidades de transferencia de aprendizaje para manejar el desplazamiento de dominio.
• Marco de Ajuste Fino Interpretable: Los autores proponen un método que combina un LLM congelado con shapelets 2D de longitud variable. Esto proporciona interpretabilidad intrínseca y construida (vía la activación de los shapelets) sin requerir un reentrenamiento computacionalmente intensivo o sacrificar el poder de generalización del modelo pre-entrenado.
• Evaluación Exhaustiva: El método se valida a través de seis conjuntos de datos que cubren los protocolos Wi-Fi, LoRa y Bluetooth Low Energy (BLE), demostrando efectividad tanto en escenarios de dominio estándar como en escenarios trans-dominio de pocos disparos.

Resultados Experimentales

• Generalización: El método propuesto supera consistentemente a los modelos de referencia (incluyendo ResNet-18, RadioNet, LIMU-BERT y PatchLLM) en dominios objetivo no vistos. Notablemente, en el conjunto de datos WiSig, mejoró el rendimiento del dominio de origen en aproximadamente un 9% respecto al modelo de referencia más fuerte, logrando al mismo tiempo la mayor precisión en el dominio objetivo.
• Rendimiento de Pocos Disparos (Few-Shot): En escenarios de 1-shot, el método logró una mejora del 56% respecto al rendimiento de 0-shot en el conjunto de datos ORACLE y superó al modelo de referencia especializado RF-PTN por aproximadamente un 8%. Mantuvo un rendimiento competitivo incluso en transferencias trans-protocolo desafiantes (por ejemplo, de LoRa a BLE).
• Interpretabilidad: La visualización de los shapelets confirmó que diferentes dispositivos activan combinaciones distintas de shapelets. Los estudios de ablación mostraron que el enmascaramiento de las subsecuencias alineadas con los shapelets de alta activación causó caídas de precisión significativamente mayores que el enmascaramiento aleatorio, confirmando que los shapelets capturan evidencia crítica para la decisión.
• Eficiencia: A pesar de utilizar un esqueleto (backbone) grande (base GPT-2, ~86M de parámetros), el método actualiza solo ~0.7M de parámetros (0.81% del total). El costo computacional (FLOPs) es comparable al de otros métodos de estado del arte (SOTA), demostrando que el módulo de shapelets añade un gasto adicional insignificante.

Significancia y Reivindicaciones
El artículo afirma que este marco logra equilibrar con éxito tres objetivos que a menudo entran en conflicto: generalización, eficiencia e interpretabilidad. Al aprovechar el conocimiento pre-entrenado de los LLM, el método mitiga el desplazamiento de dominio sin necesidad de un entrenamiento adversario complejo o de conjuntos de datos masivos etiquetados. Simultáneamente, la integración de shapelets 2D proporciona explicaciones intrínsecas para las decisiones de clasificación, abordando la naturaleza de "caja negra" del aprendizaje profundo en aplicaciones de seguridad crítica. Los autores posicionan esto como un paso hacia sistemas de identificación de RF robustos, transparentes y adaptables, adecuados para diversos despliegues de IoT en el mundo real.

Limitaciones y Trabajo Futuro
Los autores reconocen que, si bien el método es eficiente en términos de parámetros entrenables, la latencia de inferencia y la huella de memoria del esqueleto de LLM congelado pueden presentar desafíos para los dispositivos de borde (edge devices) con recursos limitados. Se sugiere como trabajo futuro la compresión de modelos, la destilación y el desarrollo de diseños de shapelets adaptativos que puedan ajustar automáticamente los tamaños de ventana basados en las características de los datos. Además, cerrar la brecha entre los patrones aprendidos por los shapelets y las imperfecciones específicas de la capa física (por ejemplo, la no linealidad del hardware) sigue siendo un desafío abierto para una interpretación física más profunda.