技術的サマリー：回転型マスク付きオートエンコーダは多用途な学習器である

問題定義

Transformer アーキテクチャの不規則な時系列データへの適用は、重大な課題を提示する。自然言語のような離散系列のために元々設計された標準的な Transformer は、量子化された位置情報に依存している。これらは、健康、金融、天体物理学などの分野で見られる不規則にサンプリングされた時系列をモデル化する際に不可欠な、連続的な位置データのネイティブなサポートを欠いている。既存の解決策は、通常、専門的なアーキテクチャの修正（例えば、フィードフォワード層の変更）や新しい位置エンベディング（例えば、ニューラル ODE）を必要とし、計算コストと手法の複雑さを増大させる。さらに、Transformer を不規則なデータに拡張することは、しばしば自然言語処理（NLP）やコンピュータビジョン（CV）のために開発された標準的な「エコシステム」のツールの放棄を必要とする。

手法：回転型マスク付きオートエンコーダ（RoMAE）

著者らは、タスク固有のアーキテクチャの専門化を必要とせずに、連続的で多次元の位置情報を処理するために回転型位置エンベディング（RoPE）を統合した、マスク付きオートエンコーダ（MAE）フレームワークの拡張であるRoMAEを提案する。

中核コンポーネント

1. N 次元パッチ化: 入力 $x \in \mathbb{R}^{d_1 \times d_2 \times \dots \times d_D}$ は、非重複のパッチに分割される。不規則な次元（例えば、時間）の場合、パッチあたりのデータポイントを均一にするためにパッチサイズは 1 でなければならない。これらのパッチはシーケンスにフラット化され、埋め込み次元 $d_{model}$ に射影される。
2. 連続軸方向 RoPE: 離散整数用に設計された標準的な RoPE と異なり、RoMAE は連続的な実数値の位置 ($m \in \mathbb{R}$) を用いた RoPE を利用する。モデルは入力値に加えて位置ベクトルのシーケンス $s = [s_1, \dots, s_k]$ を受け取る。
   • 軸方向適用: 多次元の位置（例えば、時間とチャネルインデックス）を符号化するために、モデルは軸方向 RoPEを採用し、埋め込み空間を部分空間に分割し、それぞれが特定の次元を符号化する。
   • 高次元の処理: 次元数 $D$ を大きくすることで $d_{model}$ を分割する計算コストを回避するために、著者らはオプションとして次元インデックスを格納するための次元を予約し、実効的な位置次元を削減する。
3. アーキテクチャ: RoMAE は MAE の非対称なエンコーダ - デコーダ構造に従う。
   • エンコーダ: 標準的な Transformer エンコーダ（SiLU 活性化と RMSNorm を利用）が、マスクされていないパッチを処理する。
   • デコーダ: より小さな Transformer デコーダが、マスクされたパッチを再構築する。
   • 事前学習: パッチの一定割合がマスクされる。デコーダは元のパッチ値を予測する。
   • 下流タスク: デコーダは破棄され、エンコーダの中間表現が分類や回帰に使用される。

位置に関する理論的洞察

この論文は、RoPE（相対的位置エンベディング手法）と [CLS] トークンの間の相互作用を調査する：

• 相対対絶対: 学習された [CLS] トークンがない場合、RoMAE エンコーダは相対的位置のみに依存し、並進不変性を持つ。
• 絶対位置の再構築: 著者らは（命題 4.2 において）、学習された [CLS] トークンを含めることで、モデルが絶対位置を再構築できることを証明する。[CLS] トークンは「アンカー」として機能し、モデルがアンカーに対する任意の埋め込みの絶対位置を推論できるようにし、結果として完全なシーケンスの文脈において RoPE の純粋な相対的性質を実質的に破る。

主要な貢献

1. RoPE による連続位置エンベディング: この研究は、RoPE の有用性を連続的で非一様なタイムスタンプに拡張し、アンカー（[CLS] のようなもの）が使用されない限り、学習された入力エンベディングが RoPE の距離保証を無効にできることを実証する。
2. RoMAE フレームワーク: 画像や音声における標準的な性能を維持しながら、ネイティブに不規則な多変量時系列を処理する統一アーキテクチャ。これにより、専門的な時系列アーキテクチャの必要性が排除される。
3. 包括的な実験分析: 著者らは RoMAE を 4 つの異なるモダリティとタスクで検証する：
   • 不規則にサンプリングされた多変量時系列分類。
   • 画像分類。
   • 不規則にサンプリングされた時系列補間。
   • 音声分類。

実験結果

この論文は、RoMAE を最先端（SOTA）の専門モデルと比較したいくつかのベンチマークの結果を報告する：

• 不規則時系列分類（ELAsTiCC チャレンジ）: DESC ELAsTiCC データセット（天体の光度曲線）において、RoMAE-tiny は専門的な ATAT アーキテクチャを上回った。RoMAE は（アラートマスクなしで）F スコア 0.8029 を達成し、ATAT の 0.6270 と比較して、困難なデータセットにおいて一般化モデルが専門モデルを上回ることを実証した。
• 画像分類（Tiny ImageNet）: RoPE を用いた RoMAE は、絶対位置エンベディングを用いた MAE と同等か、わずかに良い性能を示し、CV におけるその多用途性を確認した。
• 音声分類（ESC-50）: AudioSet-20k と Librispeech で事前学習された RoMAE-small は 84.7% の精度を達成し、同じデータセットで学習された SSAST モデル（82.2%）を上回った。
• 補間タスク:
  • スパイラル: RoMAE は、MSE において以前最高の結果（ContiFormer）を 1 桁以上改善した。
  • 合成データおよび PhysioNet: RoMAE は、単変量および多変量の臨床データにおいて競争力のある MSE 結果を達成し、特に疎な観測の処理において HeTVAE や Latent ODE などの専門モデルをしばしば上回った。
• 位置再構築: 実験により、[CLS] トークンを持つモデルはほぼゼロの平均二乗誤差（MSE）で絶対位置を再構築できることが確認され、それを持たないモデルは失敗した（MSE > 200）。

意義と主張

この論文は、RoMAE が標準的な Transformer 応用（NLP、CV）と不規則時系列分析の間のギャップを埋めることができる多用途な学習器であると主張する。

• 統一フレームワーク: 不規則な時系列での強力な性能のために専門的なアーキテクチャが厳密に必要ではないことを実証する。連続 RoPE で強化された標準的な Transformer 手法で十分である。
• データ効率: RoMAE は、数百のサンプルという小規模なデータセットでも強力な性能を示し、ELAsTiCC のような数百万のサンプルにもスケーリング可能であり、事前学習の利点を浮き彫りにする。
• 理論的洞察: この研究は、RoPE の「長期的な減衰」特性がその機能にとって決定的ではないという実証的証拠を提供し、RoPE が絶対位置の再構築をサポートできる条件を明確にする。
• 限界: 著者らは、連続 RoPE は周波数を順方向パス間でキャッシュできないため、計算オーバーヘッド（量子化された RoPE より約 13% 遅い）を伴うことを認めている。さらに、BERT 型のモデルと同様に、RoMAE は分布外の時系列ウィンドウを含む外挿タスクには適していない。

結論として、RoMAE は連続時間補間と表現学習のためのタスク非依存のベースラインを提供し、「基盤モデル」アプローチが、専用のアーキテクチャ変更なしに不規則で多次元のデータを扱う科学分野へも成功裏に拡張できることを示唆している。