Hamiltonian-Inspired Attention Mechanism for Scalable RF Transmitter Fingerprinting

技術要約：スケーラブルなRF送信機フィンガープリンティングのためのハミルトニアンに着想を得たアテンション機構

問題提起
無線周波数（RF）フィンガープリンティングは、ベースバンドI/Q信号に存在する固有のハードウェアの不完全性（キャリア周波数オフセット、位相雑音、I/Q不均衡など）を利用して、無線送信機を特定することを目的としている。ディープラーニングモデル、特に畳み込みニューラルネットワーク（CNN）は、制御された環境下では高い精度を達成しているが、分布シフトに対して著しい性能低下を示す。具体的には、単一の受信機または特定の記録日に基づいて学習されたモデルは、異なる受信機や異なる日にテストされると、汎化性能が低下する。この失敗は、制約のないアーキテクチャが、安定したハードウェア固有の送信機フィンガープリントではなく、チャネル依存的な振幅の変化を学習してしまうために起こる。さらに、既存のアーキテクチャには、エネルギー保存的であり複素平面内での回転を伴うという、発振器によって駆動される信号の物理的性質を反映した構造的事前知識が欠けている。

手法
著者らは、アテンション機構内にエネルギー保存的なダイナミクスを強制するように設計された、物理学に基づいたアテンション・アーキテクチャである**「ハミルトニアン・トランスフォーマー（Hamiltonian Transformer）」**を提案する。この手法は、WiFiプリアンブルのI/Q軌跡が複素平面上で単位円に近似し、送信機の発振器によって駆動される、ほぼ一定の信号エネルギーと回転ダイナミクスを示すという観察に基づいている。

提案されたアーキテクチャの主要コンポーネントは以下の通りである：

1. ハミルトニアン・マルチヘッド・アテンション（Hamiltonian Multi-Head Attention）：

   • 値のダイナミクス（Value Dynamics）： 値ベクトルが任意に更新される標準的なTransformerとは異なり、ハミルトニアン・トランスフォーマーは値ベクトルを「位置」成分と「運動量」成分に分割する。
   • シンプレクティック積分（Symplectic Integration）： これらの成分は、シュトゥルム・ベルレ・リープフロッグ（Störmer–Verlet leapfrog）積分ステップを用いて進化させられる。
   • 歪対称生成器（Skew-Symmetric Generator）： この積分は、学習された歪対称行列（$C_h = A_h - A_h^\top$）によって制御される。歪対称行列は直交フローを生成するため、結果として得られる値の更新は、**構造的にノルム保存的（norm-preserving）**となる。この制約は、モデルの内部ダイナミクスを、発振器の位相進化という物理的実態に一致させ、モデルが非汎化的なチャネル誘発性の振幅変化をエンコードすることを防ぐ。

2. I/Q位相増分埋め込み（I/Q Phase-Increment Embedding）：

   • 入力レベルで発振器のダイナミクスを露出させるため、標準的なI/Q入力に瞬時位相増分（$\delta\phi_t$）を付加する。このスカラー特徴量は、サンプルごとの回転率をエンコードしており、これは送信機のキャリア周波数オフセットに直接結びついており、チャネルの実現状況によらず安定している。

3. 学習目的関数（Training Objective）：

   • フルモデルは、クロスエントロピー、バッチ対照損失（batch contrastive loss）、および球体正則化からなる複合損失関数を利用する。しかし、アブレーション研究によれば、対照損失は大規模化において一貫した利益をもたらさず、不安定性を導入する可能性があることが示されている。

実験設定
モデルは、174台の送信機、41台の受信機、および4日間の記録を含む、約1,000万個のWiFiプリアンブル・キャプチャを含む大規模ベンチマークであるWiSigデータセットを用いて評価された。極めて重要な点として、すべての実験は、チャネルの前処理を一切行わない非等化（non-equalized）の生I/Q信号を用いて行われた。評価は以下の4つのプロトコルで行われた：

• 同日分類（Same-day classification）： 同一の日における学習およびテスト。
• クロス受信機汎化（Cross-receiver generalization）： 一部の受信機で学習し、互いに素な（disjointな）受信機でテスト。
• クロスデイ汎化（Cross-day generalization）： 3日間で学習し、4日目でテスト。
• 送信機スケーリング（Transmitter scaling）： 送信機クラスの数が10から150へと増加する際の性能評価。

主な結果
ハミルトニアン・トランスフォーマーは、すべての実験プロトコル、特に分布シフトや大規模な送信機集団が存在するシナリオにおいて、CNNおよび標準的なTransformerのベースラインを一貫して上回った。

• 同日分類： **99.12%**の精度を達成し、CNN（98.07%）および標準的なTransformer（98.19%）を上回った。
• クロス受信機汎化： **52.94%**の精度を達成し、CNN（35.06%）および標準的なTransformer（47.90%）を大幅に上回った。
• 送信機スケーリング（150台の送信機）： ハミルトニアン・トランスフォーマーは**61.64%**の精度を達成した。対照的に、CNNは41.77%に低下し、標準的なTransformerは100台の送信機で30.34%まで低下した後、59.63%へ回復するという不安定な挙動を示した。
• アブレーションによる洞察：
  • ノルム保存性（Norm-Preservation）： スケーリング性能の主な要因は、ノルム保存的な値の更新であると特定された。ケイリー・パラメータ化（Cayley parameterization）を用いたバリアント（ノルム保存的ではあるがシンプレクティック積分を用いないもの）は、150台の送信機において**79.72%**を達成し、フルモデルのハミルトニアン・モデルを上回った。これは、ノルム保存という制約自体が、特定のシンプレクティック積分手法よりも重要な誘導バイアスであることを示唆している。
  • 位相埋め込み（Phase Embedding）： 位相増分埋め込みは、コンポーネント単体で最大の改善を提供し、150台の送信機における精度を67.01%（Hamのみ）から78.61%（Ham + phase）へと押し上げた。
  • 対照損失（Contrastive Loss）： 対照損失の導入は、大規模化において性能を向上させず、アーキテクチャによる制約よりも効果が低いことが判明した。

意義と主張
本論文は、RFフィンガープリンティングのためのTransformerのアテンション・メカニズムに、ノルム保存的な値のダイナミクスを直接組み込んだ最初の研究であると主張している。また、非等化信号を用いたWiSig ManyTxサブセットに対して、このような制約を系統的に評価した最初の研究でもある。

著者らは、物理学に基づいた構造的事前知識（具体的には、エネルギー保存と回転ダイナミクス）をニューラルアーキテクチャに組み込むことが、大規模な送信機識別における効果的な戦略であると論じている。結果は、信号生成を支配する物理法則（すなわち、発振器駆動の信号はエネルギーを保存する）をモデルに遵守させる制約が、偽のチャネル依存的特徴の学習を防ぐことを実証している。このアプローチは、データ拡張や複雑な前処理に代わる堅牢な選択肢を提供し、受信機のハードウェアやチャネル条件が大きく変動する場合でも、送信機のスケーラブルな識別を可能にする。本研究は、信号物理学からのドメイン知識が、セキュリティ指向の無線機械学習システムにとって強力な誘導バイアスとなり得ることを示唆している。