Hamiltonian-Inspired Attention Mechanism for Scalable RF Transmitter Fingerprinting

Resumen Técnico: Mecanismo de Atención Inspirado en el Hamiltoniano para la Huella Digital de Transmisores de RF Escalable

Declaración del Problema
La huella digital de radiofrecuencia (RF) busca identificar transmisores inalámbricos explotando imperfecciones únicas de hardware (por ejemplo, el desplazamiento de la frecuencia de portadora, el ruido de fase, el desequilibrio de I/Q) presentes en las señales de banda base I/Q. Aunque los modelos de aprendizaje profundo, particularmente las Redes Neuronales Convolucionales (CNN), han logrado una alta precisión en entornos controlados, sufren una degradación significativa del rendimiento bajo cambios de distribución. Específicamente, los modelos entrenados con datos de un solo receptor o de un solo día de captura fallan al ser probados en diferentes receptores o en diferentes días. Este fallo ocurre porque las arquitecturas sin restricciones tienden a aprender variaciones de amplitud dependientes del canal en lugar de las huellas digitales estables y específicas del hardware. Además, las arquitecturas existentes carecen de prioridades estructurales que reflejen la naturaleza física de la evolución de la señal impulsada por el oscilador, la cual es inherentemente conservadora de la energía y rotacional en el plano complejo.

Metodología
Los autores proponen el Hamiltonian Transformer, una arquitectura de atención informada por la física diseñada para imponer una dinámica de conservación de la energía dentro del mecanismo de atención. La metodología se fundamenta en la observación de que las trayectorias I/Q del preámbulo WiFi aproximan círculos unitarios en el plano complejo, lo que indica una energía de señal casi constante y una dinámica rotacional impulsada por el oscilador del transmisor.

Componentes clave de la arquitectura propuesta:

1. Atención de Múltiples Cabezales Hamiltoniana (Hamiltonian Multi-Head Attention):

   • Dinámica de Valores: A diferencia de los Transformers estándar donde los vectores de valor se actualizan arbitrariamente, el Hamiltonian Transformer particiona los vectores de valor en componentes de "posición" y "momento".
   • Integración Simpléctica: Estos componentes se evolucionan utilizando un paso de integración leapfrog de Störmer–Verlet.
   • Generador Antisimétrico: La integración está gobernada por una matriz antisimétrica aprendida ($C_h = A_h - A_h^\top$). Debido a que las matrices antisimétricas generan flujos ortogonales, las actualizaciones de valor resultantes son preservadoras de la norma por construcción. Esta restricción alinea la dinámica interna del modelo con la realidad física de la evolución de fase del oscilador, evitando que el modelo codifique variaciones de amplitud no generalizables inducidas por el canal.

2. Incrustación de Incremento de Fase I/Q (I/Q Phase-Increment Embedding):

   • Para exponer la dinámica del oscilador a nivel de entrada, el modelo aumenta la entrada I/Q estándar con un incremento de fase instantáneo ($\delta\phi_t$). Esta característica escalar codifica la tasa de rotación por muestra, la cual está directamente ligada al desplazamiento de la frecuencia de la portadora del transmisor y permanece estable a través de las realizaciones del canal.

3. Objetivo de Entrenamiento:

   • El modelo completo utiliza una función de pérdida compuesta que comprende entropía cruzada, pérdida contrastiva por lotes (batch contrastive loss) y regularización de la esfera. Sin embargo, los estudios de ablación indican que la pérdida contrastiva no proporciona beneficios consistentes a escala y puede introducir inestabilidad.

Configuración Experimental
El modelo fue evaluado en el conjunto de datos WiSig, un benchmark a gran escala que contiene aproximadamente 10 millones de capturas de preámbulo WiFi de 174 transmisores, 41 receptores y cuatro días de grabación. Crucialmente, todos los experimentos utilizaron señales I/Q crudas no ecualizadas, sin aplicar preprocesamiento de canal. La evaluación cubrió cuatro protocolos:

• Clasificación del mismo día: Entrenamiento y prueba en el mismo día.
• Generalización entre receptores: Entrenamiento en un subconjunto de receptores, prueba en receptores distintos.
• Generalización entre días: Entrenamiento en tres días, prueba en un cuarto día.
• Escalabilidad del transmisor: Evaluación del rendimiento a medida que el número de clases de transmisores aumenta de 10 a 150.

Resultados Clave
El Hamiltonian Transformer superó consistentemente a los modelos de referencia CNN y Transformer estándar en todos los protocolos experimentales, particularmente en escenarios de cambios de distribución y grandes poblaciones de transmisores.

• Clasificación del Mismo Día: Logró una precisión del 99.12%, superando a la CNN (98.07%) y al Transformer estándar (98.19%).
• Generalización entre Receptores: Logró una precisión del 52.94%, superando significativamente a la CNN (35.06%) y al Transformer estándar (47.90%).
• Escalabilidad del Transmisor (150 Transmisores): El Hamiltonian Transformer alcanzó una precisión del 61.64%. En contraste, la CNN se degradó al 41.77%, y el Transformer estándar mostró inestabilidad, cayendo al 30.34% con 100 transmisores antes de recuperarse al 59.63%.
• Perspectivas de Ablación:
  • Preservación de la Norma: Se identificó que el principal motor del rendimiento de escalabilidad fue la actualización de valores preservadora de la norma. Una variante que utiliza la parametrización de Cayley (que es preservadora de la norma pero carece de integración simpléctica) alcanzó un 79.72% en 150 transmisores, superando al modelo Hamiltoniano completo. Esto sugiere que la restricción de preservación de la norma en sí misma es la prioridad inductiva crítica, más que el método específico de integración simpléctica.
  • Incrustación de Fase: La incrustación de incremento de fase proporcionó la mayor mejora por componente, elevando la precisión de 150 transmisores del 67.01% (solo Ham) al 78.61% (Ham + fase).
  • Pérdida Contrastiva: La inclusión de la pérdida contrastiva no mejoró el rendimiento a escala y se encontró que era menos efectiva que las restricciones arquitectónicas.

Significancia y Reivindicaciones
El artículo afirma ser el primero en integrar dinámicas de valor preservadoras de la norma directamente en un mecanismo de atención Transformer para la huella digital de RF. También es el primero en evaluar sistemáticamente tales restricciones en el subconjunto ManyTx de WiSig utilizando señales no ecualizadas.

Los autores argumentan que la incorporación de prioridades estructurales informadas por la física —específicamente la conservación de la energía y la dinámica rotacional— en las arquitecturas neuronales es una estrategia efectiva para la identificación de transmisores a gran escala. Los resultados demuestran que restringir al modelo para que respete las leyes físicas que gobiernan la generación de señales (es decir, que las señales impulsadas por el oscilador conservan la energía) evita que aprenda características espurias dependientes del canal. Este enfoque ofrece una alternativa robusta a la aumentación de datos o al preprocesamiento complejo, permitiendo la identificación escalable de transmisores incluso cuando el hardware del receptor y las condiciones del canal varían significamente. El trabajo sugiere que el conocimiento del dominio proveniente de la física de señales puede servir como una poderosa prioridad inductiva para los sistemas de aprendizaje automático inalámbrico orientados a la seguridad.