技術的サマリー：Divide and Contrast (Di-COT)

問題定義

時系列表現学習における自己教師あり学習（SSL）は、ラベル付きデータへの依存を軽減しつつ、下流タスクでの強力な性能を維持することを目指しています。しかし、既存の対照学習アプローチには重大な限界が存在します：

1. 計算的非効率性： 多くの手法は、アンカー、ポジティブ、ネガティブに対してエンコーダを複数回通過させる必要があり、または類似度計算のために動的時間 warping（DTW）のような高価な操作に依存しています。
2. データ拡張バイアス： データ拡張（マスキング、時間領域/周波数領域変換など）に大きく依存するアプローチは、学習された特徴埋め込みを歪める帰納的バイアスを導入し、汎化性を阻害する可能性があります。
3. 時間的仮定の失敗： 時間的に隣接するタイムステップを対照する最近の効率的な手法（CaTT など）は、時間的近接性が意味的類似性を意味すると仮定しています。この仮定は、UCR および UEA ベンチマークで一般的に見られる急速なイベント遷移を伴うデータセットではしばしば破綻し、意味的に異なるが時間的に近いタイムステップが誤ってポジティブペアとして扱われる「偽陽性」を引き起こします。
4. スケーラビリティの問題： 一部の手法における損失計算は、バッチサイズとシーケンス長さの両方に対して二次的にスケールするため、長い時系列ウィンドウに対しては実行不可能となります。

手法：Divide and Contrast (Di-COT)

Di-COT は、データ拡張や複数のエンコーダ通過なしに堅牢な時間的特徴を学習するために設計された教師なしフレームワークです。これは、表現空間内の密な分類タスクとして時間的対照学習を再定義します。

中核メカニズム

1. 確率的サブブロック分割： 全体シーケンスまたは個々のタイムステップを処理する代わりに、Di-COT は各反復で各時系列ウィンドウを $k$ 個の重なり合うサブブロックに確率的に分割します。サブブロックの数 $k$ は、一様分布 $U\{k_{min}, \dots, k_{max}\}$ からサンプリングされます。

   • サブブロックの長さは $L$、ストライドは $s$ であり、重なり率 $\rho \in (0, 1)$ によって制御されます。
   • この確率性は、エンコーダを複数の時間粒度にさらし、明示的な階層設計なしに短距離および長距離のコンテキスト全体で堅牢性を間接的に促進します。

2. サブブロック符号化： 各サブブロックは共有時間エンコーダ $f_\theta$ を通過し、時間次元に沿ってプーリングされて単一の埋め込みベクトルを生成します。

3. 対照目的（次のサブブロック予測）：

   • ポジティブペア： 同じインスタンス内の時間的に隣接するサブブロックはポジティブペアとして扱われます。具体的には、サブブロック $j$ に対して、直前のサブブロック $j-1$ がターゲットとなります。
   • ネガティブペア： 同じシーケンス内の他のすべてのサブブロックがネガティブとして機能します。
   • 定式化： このタスクは多クラス分類問題として定式化されます。各サブブロック $j$ について、モデルはその直前の隣接インデックスを予測します。損失は、温度スケーリングされた交差エントロピー損失（InfoNCE に類似していますが、サブブロックインデックスに適用されます）です：
     $$\mathcal{L}_{CE} = -\frac{1}{Bk} \sum_{i=1}^{B} \sum_{j=0}^{k-1} \log \frac{\exp(S^{(i)}_{j, p^*(j)} / \tau)}{\sum_{p=0}^{k-1} \exp(S^{(i)}_{j, p} / \tau)}$$
     ここで、$S^{(i)}_{j,p}$ はサブブロック $j$ と $p$ 間の類似度であり、$p^*(j)$ はターゲットインデックス（$j>0$ の場合は $j-1$、最初のサブブロックの場合は $0$）です。

効率性とスケーラビリティ

• 計算量： 損失計算はシーケンス長さ $T$ ではなく、バッチサイズ $B$ とサブブロック数 $k$ に依存します。設計上 $k \ll T$ であるため、時間計算量は $O(Bk^2d)$、メモリ計算量は $O(Bk^2)$ となります。これにより、シーケンス長さから独立した手法となり、非常に長いシーケンスでの効率的なトレーニングが可能になります。
• 拡張なし/複数パス不要： 内部サブ構造を対照することにより、Di-COT はデータ拡張の必要性を回避し、異なる拡張ビューをポジティブとして扱う手法に必要な複数のエンコーダ通過を排除します。

主要な貢献

1. 拡張フリーフレームワーク： Di-COT は、データ拡張、タイムステップマスキング、複数のエンコーダ通過の必要性を排除し、計算オーバーヘッドを削減するとともに、表現の歪みを防止します。
2. 動的サブブロック対照： この手法は、確率的サブブロックを用いた個々のインスタンス内での対照を導入します。これにより、急速な遷移中に失敗する自明なタイムステップレベルの識別を防止し、多様で意味的に有意義な表現を促進します。
3. 分類への再定式化： 時間的対照学習は、交差エントロピー分類タスクとして再定式化されます。これにより、すべてのサブブロックをシグナルとして活用する密な教師信号を提供しつつ、温度スケーリングされた InfoNCE の特性を保持します。
4. 最先端の性能： このフレームワークは、分類、クラスタリング、kNN、およびクロスデータセット転送タスクにおいて最先端の結果を達成し、同時にトレーニング時間を大幅に削減しました。

実験結果

著者は、Di-COT を 6 つの大規模実世界データセット（PAMAP2、WISDM2、HARTH、SLEEP、ECG、SKODA）および UCR/UEA ベンチマークで評価しました。

• 線形評価： Di-COT は、大規模データセットにおける SSL 手法の中で平均精度が最も高く、TS2Vec、TF-C、CaTT などのベースラインを上回りました。いくつかのデータセットでは、完全教師ありのエンドツーエンドモデルと同等の性能を達成しながら、トレーニング時間を大幅に短縮しました。
• 低ラベル領域： 1% のラベル付きデータ設定において、Di-COT は他のすべての SSL 手法および同じ限られたデータでエンドツーエンドにトレーニングされた完全教師ありベースラインを上回り、優れたラベル効率を示しました。
• 非パラメトリック kNN： Di-COT は 1-最近傍分類において最良の性能を示し、学習された埋め込みが意味的に類似したサンプルが密にマッピングされた構造化された局所近傍を持っていることを示唆しています。
• クラスタリング： Di-COT は、正規化相互情報量（NMI）と調整ランダム指数（ARI）の両方で最高値を達成し、真のクラスと整合するグローバルに整合性の取れたクラスタを学習していることを示唆しています。
• クロスデータセット転送： 転移学習実験（例：HARTH $\to$ PAMAP2）において、Di-COT はベースラインと比較して強力なドメイン汎化性を示し、分布シフトに対する堅牢性を示しました。
• 効率性： Di-COT は、深層学習ベースのアプローチの中で一貫して最低のトレーニング時間を必要としました。例えば、大規模データセットでは、他の手法が 3.47〜11.48 時間かかるのに対し、約 2.88 時間でトレーニングされました。

意義と主張

本論文は、Di-COT が既存の時系列対照学習手法における根本的なトレードオフ、すなわち効率性のための時間的近接性の利用と、汎化のための意味的一貫性の維持との間の緊張関係に対処していると主張しています。

• 時間的ダイナミクスへの堅牢性： 個々のタイムステップではなく、情報豊富なサブ構造を対照することにより、Di-COT はすべての隣接タイムステップが意味的に類似であると仮定する手法に内在する「偽陽性」の問題を回避します。これにより、頻繁なイベント変化を伴うデータセットに対して特に効果的となります。
• スケーラビリティ： 損失計算がシーケンス長さから独立しているため、Di-COT は長い時系列に効率的にスケーリングできます。これは、メモリと計算コストがシーケンス長さに対して二次的にスケールする CaTT などの手法の限界です。
• 実用性： このフレームワークは、注釈が不足しているシナリオに対する実用的な解決策として提示されており、精度と計算の間の有利なトレードオフを提供します。著者は、この手法が分類、クラスタリング、検索において優れている一方で、その対照的な性質（識別構造に焦点を当てている）は、微細な時間的予測を必要とする予測タスクとは直交する可能性があり、これが限界であり将来の研究方向であると指摘しています。

著者は、Di-COT が局所的に整合性があり、グローバルに良く組織化され、かつドメイン間で転送可能な表現を学習し、教師なし時系列表現学習における新しい最先端を確立したことを強調しています。