Hamiltonian-Inspired Attention Mechanism for Scalable RF Transmitter Fingerprinting

기술 요약: 확장 가능한 RF 송신기 지문 인식을 위한 해밀턴 구조 기반 어텐션 메커니즘

문제 정의
무선 주파수(RF) 지문 인식은 기저대역 I/Q 신호에 존재하는 고유한 하드웨어 결함(예: 반송파 주파수 오프셋, 위상 잡음, I/Q 불균형)을 활용하여 무선 송신기를 식별하는 것을 목표로 한다. 합성곱 신경망(CNN)을 포함한 딥러닝 모델들은 통제된 환경에서 높은 정확도를 달와냈으나, 분포 변화(distribution shifts) 상황에서는 상당한 성능 저하를 겪는다. 구체적으로, 단일 수신기 또는 특정 측정일에 수집된 데이터로 학습된 모델은 서로 다른 수신기나 다른 날짜의 데이터를 테스트할 때 실패하는 경 경향이 있다. 이러한 실패는 제약 없는 아키텍처가 안정적인 하드웨어 특유의 송신기 지문이 아닌, 채널 의존적인 진폭 변화를 학습하기 때문에 발생한다. 또한, 기존 아키텍처들은 에너지 보존적이며 복소 평면상에서 회전하는 물리적 특성인 발진기 구동 신호의 진화 과정을 반영하는 구조적 사전 지식(structural priors)이 부족하다.

방법론
저자들은 에너지 보존 역학을 어텐션 메커니술 내에 강제하도록 설계된 물리 기반 어텐션 아키텍처인 **해밀턴 트랜스포머(Hamiltonian Transformer)**를 제안한다. 이 방법론은 WiFi 프리앰블(preamble) I/Q 궤적이 복소 평면에서 단위 원에 근사한다는 관찰, 즉 송신기의 발진기에 의해 구동되는 신호가 일정한 에너지와 회전 역학을 가진다는 점에 근거한다.

제안된 아키텍처의 핵심 구성 요소는 다음과 같다:

1. 해밀턴 다중 헤드 어텐션 (Hamiltonian Multi-Head Attention):

   • 값의 역학 (Value Dynamics): 값 벡터가 임의로 업데이트되는 표준 트랜스포머와 달리, 해밀턴 트랜스포머는 값 벡터를 "위치(position)" 및 "운동량(momentum)" 성분으로 분할한다.
   • 심플렉틱 적분 (Symplectic Integration): 이 성분들은 스토머-버렛 리프로그(Störmer–Verlet leapfrog) 적분 단계를 통해 진화된다.
   • 반대칭 생성자 (Skew-Symmetric Generator): 적분은 학습된 반대칭 행렬($C_h = A_h - A_h^\top$)에 의해 제어된다. 반대칭 행렬은 직교 흐름(orthogonal flows)을 생성하므로, 결과적인 값 업데이트는 구조적으로 노름(norm)이 보존된다. 이 제약은 모델의 내부 역학을 발진기 위상 진화의 물리적 실체와 일치시켜, 모델이 일반화되지 않는 채널 유도 진폭 변화를 인코딩하는 것을 방지한다.

2. I/Q 위상 증분 임베딩 (I/Q Phase-Increment Embedding):

   • 입력 수준에서 발진기 역학을 드러내기 위해, 모델은 표준 I/Q 입력에 순시 위상 증분($\delta\phi_t$)을 추가한다. 이 스칼라 특징은 샘플당 회전율을 인코딩하며, 이는 송신기의 반송파 주파수 오프셋과 직접 연결되어 있고 채널 구현 상황에 관계없이 안정적이다.

3. 학습 목적 함수 (Training Objective):

   • 전체 모델은 교차 엔트로피(cross-entropy), 배치 대조 손실(batch contrastive loss), 그리고 구형 정규화(sphere regularization)로 구성된 복합 손실 함수를 사용한다. 그러나 절제 연구(ablation studies)에 따르면 대규모 환경에서 대조 손실은 일관된 이점을 제공하지 않으며 불안정성을 초래할 수 있다.

실험 설정
모델은 174개의 송신기와 41개의 수신기, 4일간의 기록을 포함하는 약 1,000만 개의 WiFi 프리앰블 캡처 데이터가 담긴 WiSig 데이터셋에서 평가되었다. 결정적으로, 모든 실험은 채널 전처리를 적용하지 않은 비등화(non-equalized) 원시 I/Q 신호를 사용하였다. 평가는 다음 네 가지 프로토콜을 포함한다:

• 동일 날짜 분류 (Same-day classification): 동일한 날짜의 데이터로 학습 및 테스트.
• 교차 수신기 일반화 (Cross-receiver generalization): 일부 수신기로 학습하고, 서로 다른 수신기로 테스트.
• 교차 일자 일반화 (Cross-day generalization): 3일간의 데이터로 학습하고, 4일째 데이터로 테스트.
• 송신기 스케일링 (Transmitter scaling): 송신기 클래스 수가 10개에서 150개로 증가함에 따른 성능 평가.

주요 결과
해밀턴 트랜스포머는 모든 실험 프로토콜, 특히 분포 변화와 대규모 송신기 집단이 존재하는 시나리오에서 CNN 및 표준 트랜스포머 베이스라인을 일관되게 능가했다.

• 동일 날짜 분류: **99.12%**의 정확도를 달성하여 CNN(98.07%)과 표준 트랜스포머(98.19%)를 넘어섰다.
• 교차 수신기 일반화: **52.94%**의 정확도를 달성하여 CNN(35.06%)과 표준 트랜스포머(47.90%)를 크게 앞질렀다.
• 송신기 스케일링 (150개 송신기): 해밀턴 트랜스포머는 **61.64%**의 정확도를 달성했다. 반면 CNN은 41.77%로 저하되었고, 표준 트랜스포머는 100개의 송신기에서 30.34%까지 떨어졌다가 59.63%로 회복되는 불안정한 모습을 보였다.
• 절제 연구 통찰:
  • 노름 보존 (Norm-Preservation): 스케일링 성능의 주요 동력은 노름 보존형 값 업데이트인 것으로 확인되었다. 케일리 파라미터화(Cayley parameterization, 노름은 보존하지만 심플렉틱 적분은 결여됨)를 사용한 변형 모델은 150개 송신기에서 **79.72%**를 기록하여 전체 해밀턴 모델보다 높은 성능을 보였다. 이는 노름 보존 제약 자체가 핵심적인 유도 편향(inductive bias)이지, 특정 심플렉틱 적분 방법이 핵심이 아님을 시사한다.
  • 위상 임베딩 (Phase Embedding): 위상 증분 임베딩은 단일 구성 요소 중 가장 큰 개선을 제공하였으며, 150개 송신기 정확도를 67.01%(해밀턴만 사용 시)에서 78.61%(해밀턴 + 위상)로 높였다.
  • 대조 손실 (Contrastive Loss): 대조 손실의 포함은 대규모 환경에서 성능을 개선하지 못했으며, 아키텍처적 제약보다 효과가 낮은 것으로 나타났다.

의의 및 주장
본 논문은 RF 지문 인식을 위한 트랜스포머 어텐션 메커니즘에 노름 보존형 값 역학을 직접 삽입한 첫 번째 연구임을 주장한다. 또한 비등화 신호를 사용하여 WiSig ManyTx 서브셋에 이러한 제약을 체계적으로 평가한 첫 사례이다.

저자들은 물리적 법칙(즉, 발진기 구동 신호가 에너지를 보존한다는 사실)을 준수하도록 모델을 제약하는 것이 대규모 송신기 식별을 위한 효과적인 전략이라고 주장한다. 결과는 에너지 보존 및 회전 역학이라는 물리적 구조적 사전 지식을 신경망 아키텍처에 내장하는 것이 모델이 가짜 채널 의존적 특징을 학습하는 것을 방지한다는 것을 보여준다. 이 접근 방식은 데이터 증강이나 복잡한 전처리에 대한 강력한 대안을 제공하며, 수신기 하드웨어와 채널 조건이 크게 변하더라도 송신기를 확장 가능하게 식별할 수 있게 한다. 이 연구는 신호 물리학으로부터 얻은 도메인 지식이 보안 중심의 무선 머신러닝 시스템을 위한 강력한 유도 편향 역할을 할 수 있음을 시사한다.