技術概要：ITGPT – 不規則時系列データにおける生成事前学習

1. 問題定義

本論文は、多モーダルかつ不規則にサンプリングされた時系列データに対する回帰と分類の課題に取り組む。医療（例えば、異なるセンサー頻度による患者モニタリング）や予知保全（例えば、不均一な読み取り間隔を持つトラックのセンサー）などの分野において、データは異なるレートで到着し、欠損値を含み、同期が欠けていることが頻繁にある。

既存のアプローチは、データを規則的なグリッドに強制するために、リサンプリング、補完、特徴量融合などの計算コストが高く、あるいは過度に単純な前処理ステップに依存する傾向がある。これらの手法は、ラベルなしデータの大量の活用を見送ることが多く、希少で専門家によるラベル付けがなされたデータセットを必要とする教師あり学習フレームワークにモデルを制限してしまう。Transformer ベースのモデルは、自己教師あり学習（SSL）と生成事前学習（GPT）を通じてテキストや画像の分野で成功を収めてきたが、既存のアーキテクチャは、時間的忠実性を失ったり、人工的な整列を必要としたりすることなく、不規則にサンプリングされた多モーダル時系列を直接処理するための柔軟性を欠いている。

2. 手法：ITGPT アーキテクチャ

著者は、多モーダルかつ不規則にサンプリングされたデータをネイティブに処理するために設計された、アテンションベースのアーキテクチャであるITGPTを提案する。このモデルは、GPT 類似の目的をサポートするためにITNetフレームワークを拡張したものである。

コアコンポーネント

• 因果的クロスアテンション: モデルは、モーダル固有の因果的クロスアテンション機構を利用する。ターゲット時刻 $t$ に対して、モデルはすべてのモーダルにわたる過去のデータ（$t' < t$）のみをアテンションする。
  • クエリ（$Q$）: 正弦波位置符号化を用いてターゲットタイムライン（アンカータイムライン）から導出される。
  • キー（$K$）と値（$V$）: 入力多モーダルデータとその特定のタイムスタンプから導出され、加法的な位置符号化でも強化される。
  • 機構: これにより、モデルは入力データをリサンプリングすることなく、不規則にサンプリングされたイベントの履歴に対して特定の時間点をクエリできる。

GPT フレームワークの適応

生成事前学習を可能にするため、ITGPT は ITNet モデルのペアを連鎖させる：

1. エンコーダ: 多モーダル不規則データを入力とし、定義されたタイムライン上の単一の同期化された多変量時系列（「アンカー」データ）を出力する。
2. デコーダ: アンカーデータを入力とし、元の多モーダルデータを再構成するか、入力空間における次のステップを予測する。
3. 深いスタッキング: 複数のエンコーダ - デコーダのペアを連鎖させてモデル容量を増加させることができ、層間には残差接続と非線形性（ReLU）が存在する。

学習目的

モデルは、ラベルなしデータを活用するための 2 つの主要な戦略を用いて学習される：

• 自己教師あり学習（SSL）: モデルは、実際の入力データと再構成/予測された入力データ（1 ステップ先予測）との間の平均二乗誤差（MSE）を最小化する。これにより、ラベルの有無にかかわらず、データセット全体での学習が可能となる。
• 生成事前学習（GPT）＋微調整: モデルはまず SSL 目的（MSE 損失）で事前学習され、その後、限られたラベル付きデータを用いてクロスエントロピー（CE）損失による教師ありタスクで微調整される。
• 結合損失（CE+SSL）: ラベル付きサンプル用の教師あり損失と、全サンプル用の SSL 損失の同時最適化。

3. 主要な貢献

本論文は、4 つの具体的な貢献を概説している：

1. フレームワークの提案: 不規則にサンプリングされた多モーダル入力に対する GPT 類似の目的をサポートする ITNet の拡張である ITGPT の導入。
2. 実証的評価: 2 つの異なる実世界データセットにおける包括的な評価：
   • TIHM: 遠隔認知症モニタリングのための医療データセット。
   • CompX: 大型トラックの予知保全のためのデータセット。
3. アーキテクチャ分析: ハイパーパラメータ、特にモデルの深さ（エンコーダ - デコーダのペア数）と混合層タイプ（線形対 MLP）の体系的な研究。
4. 低ラベル性能: SSL と GPT 学習を通じてラベルなしデータを効果的に活用し、ラベル付きサンプルが希少である場合に純粋な教師ありアプローチを上回る ITGPT の実験的実証。

4. 実験結果

TIHM データセット（医療）

• 性能: ITGPT は、補間されていない生データを使用して、文献で報告された元の線形モデルと同等の性能（特異度約 0.77、リコール約 0.68）を達成した。
• 学習スキーム: 標準的なクロスエントロピー（CE）単独と比較して、CE+SSLスキームは平均リコールでわずかな改善（0.63 から 0.73 へ）を示した。GPT→CE スキームは、完全なラベルを用いたこの特定の設定では標準的な CE を上回らなかった。
• 低ラベル安定性: ラベル付き患者数が減少した場合、CE+SSL スキームは安定したリコール性能を維持したが、CE および GPT→CE の性能は著しく低下した。

CompX データセット（予知保全）

• アーキテクチャ最適化: 深さ（1〜7 ペア）と混合層（線形、MLP/1、MLP/2）を変化させる実験により、深いモデルは過学習を防ぐために高いドロップアウト確率（10〜20%）を必要することが明らかになった。
  • 最良の構成: MLP/2 混合層、10% ドロップアウト、深さ 3 または 6 を用いた場合、最高精度 - リコール曲線下面積（AUPRC）である0.44を達成した。
  • 線形対非線形: MLP ベースの混合層は、一般的に線形混合層を上回った。
• 低ラベル性能:
  • GPT→CEおよびCE+SSLの両方は、ラベル付きデータが希少（例：データの 1% 未満）な場合、純粋な CE ベースラインを大幅に上回った。
  • CE+SSLは、ラベル付きデータが増加するにつれて性能向上が速く、171 個のラベル付きサンプルで約 0.28 のピーク AUPRC に達した。
  • GPT→CEの性能は早期にピークに達し、ラベルが増えるとわずかに低下した。これは、事前学習フェーズが極端な低データ領域で最も有益であることを示唆している。
• 検閲データの処理: 著者は、CompX におけるクラス 6（検閲データ/潜在的な故障）は曖昧であり、他のクラスからの誤分類を招くことが多いと指摘した。したがって、クラス 6 は教師あり損失の計算からは除外されたが、SSL 事前学習には保持された。

5. 意義と主張

本論文は、ITGPT が実用的な推論タスクのために大規模な非構造化時系列データを効率的に活用するための重要な一歩であると主張している。その主な意義は以下の点にある：

• 前処理の排除: リサンプリング、特徴量融合、明示的なデータ補完を必要とすることなく最先端の結果を達成し、データのネイティブな不規則性を保持する。
• データ効率: 豊富なラベルなしセンサーデータと希少な専門家ラベルの間のギャップを効果的に橋渡しし、SSL および GPT フレームワークが不規則多モーダル時系列に対して viable（実行可能）であることを実証する。
• スケーラビリティ: ドロップアウトと適切な混合層による過学習が制御されている限り、アーキテクチャは深さと容量に応じてスケーリングすることが示されている。

著者は、ITGPT が産業および医療アプリケーションのための柔軟な基盤を提供すると結論づけているが、解釈性の向上、効率的なアテンション機構による計算複雑性の削減、疎な計算の最適化など、将来の研究が必要であると認めている。