論文要約：Beyond Binary Contrast: Modeling Continuous Skeleton Action Spaces with Transitional Anchors (TranCLR)

1. 研究の背景と課題

骨格データに基づく動作認識において、自己教師あり学習（特に対照学習）は強力なパラダイムとして確立されています。しかし、既存の手法には以下のような根本的な限界がありました。

• 二項対比（Binary Contrast）の限界: 既存の対照学習は、「正のペア（類似）を近づけ、負のペア（非類似）を遠ざける」という二項的な目的関数に依存しています。
• 人間動作の連続性の無視: 人間の動作は段階的に変化し、異なる動作間にも共通する部分動作（サブモーション）が存在します。二項的な対比は、この「動作の連続性」や「遷移状態」を無視してしまいます。
• 結果としての問題点:
  • 特徴量空間におけるクラス内クラスタの断片化。
  • 動作間の境界が硬直化し、遷移的な動作や曖昧な動作のモデル化が困難になる。
  • 予測の信頼性（Calibration）が低く、特に難易度の高いサンプルやぼやけたサンプルに対して不安定な予測を行う。

2. 提案手法：TranCLR

著者らは、離散的な二項対比から、連続的かつトポロジー（位相）を考慮した表現パラダイムへの転換を提案し、TranCLR（Transitional anchor-based Contrastive Learning）を開発しました。

2.1. 主要な構成要素

(1) 動作遷移アンカー構築 (Action Transitional Anchor Construction: ATAC)

既存の手法では見落とされていた「中間的な動作状態」を明示的にモデル化し、多様体（Manifold）の正則化子として機能させる戦略です。

• 大域的軌道補間 (Global Trajectory Interpolation): Mixup に着想を得て、2 つの動作サンプルを線形補間することで、大域的に滑らかな遷移経路を生成します。
• 局所的時空間置換 (Local Spatio-temporal Substitution): 大域補間では細かな運動学的特徴がぼやける問題を解消するため、骨格を部位（腕、脚、体幹など）に分解し、特定の部位と時間窓を別の動作から抽出・置換します。これにより、運動学的な整合性を保ちつつ、物理的に可能な遷移状態を生成します。
• 動的アンカー選択: 上記 2 つの戦略を確率的に選択し、多様な遷移パターンをモデルに学習させます。

(2) 多レベル幾何的多様体較正 (Multi-Level Geometric Manifold Calibration: MGMC)

生成された遷移アンカーを用いて、潜在空間の幾何学的構造を 3 つのレベルで調整し、滑らかでトポロジー的に整合性の取れた空間を構築します。

• サンプル内連続性の維持 (Intra-Sample Continuity): 同じ動作の異なる拡張ビュー間での遷移を、埋め込み空間でも線形補間として対応させることで、クラス内の連続性を確保します。
• サンプル間意味的ブリッジング (Inter-Sample Semantic Bridging): 異なる動作クラス間でも、遷移アンカーを介して意味的な距離を連続的に表現することで、硬直したクラス境界を緩和します。
• クロスアンカー関係的一貫性 (Cross-Anchor Relational Consistency): 複数の親ペアから生成されたアンカー間の幾何学的関係を制約し、多様体全体のトポロジー的一貫性を高めます。

(3) ソフトアライメント戦略

従来のハードな対照損失（InfoNCE）では、クラス内密接化とクラス間連続化の間に矛盾が生じる可能性があります。これを解消するため、知識蒸留の概念を取り入れた「ソフトアライメント」を採用し、KL 発散を用いて確率分布を調整することで、学習の安定性を向上させています。

3. 主要な貢献

1. TranCLR の提案: 骨格ベースの動作理解において、離散的な二項類似度モデルから、連続的かつトポロジーを考慮した表現パラダイムへ転換する新しい対照学習フレームワークを提案しました。
2. 多レベル幾何的多様体較正メカニズム: 遷移アンカーを用いて特徴距離を段階的に調整し、表現空間の滑らかさと識別性を両立させるメカニズムを設計しました。
3. 高い汎化性と信頼性: 線形評価、転移学習、動作検索、そして**較正分析（Calibration Analysis）**において、最先端（SOTA）の性能を達成しました。特に、曖昧な動作に対する不確実性の推定が信頼できることを示しました。

4. 実験結果

NTU RGB+D, NTU RGB+D 120, PKU-MMD などの主要データセットで広範な実験が行われました。

• 線形評価 (Linear Evaluation):
  • NTU RGB+D 120 (X-Sub) では、ベースラインに対し平均 17.2% の精度向上を達成（74.3%）。
  • PKU-MMD Part II での転移学習では 65.6% の精度を記録し、既存の強敵（Heter-Skeleton や 3s-ActCLR+ など）を凌駕しました。
• 動作検索 (Action Retrieval):
  • 厳密なクラス分離を意図的に緩和する設計ですが、NTU-60 X-Sub で 74.6%、NTU-120 X-Sub で 59.1% の SOTA 性能を達成し、特徴空間の識別性の高さを証明しました。
• 較正分析 (Calibration Analysis):
  • 期待較正誤差（ECE）が劇的に改善されました（例：NTU-120 X-Set で ActCLR の 5.63% から 0.65% へ、約 88% の相対減少）。これは、モデルが自身の予測確度を正確に反映できていることを示しており、実世界での信頼性が高いことを意味します。

5. 意義と結論

TranCLR は、従来の対照学習が抱えていた「二項対比による動作の連続性の欠落」という課題を、遷移アンカーと幾何的多様体較正によって解決しました。

この研究の意義は以下の点にあります：

• 動作の連続性の定式化: 人間の動作が持つ本質的な連続性と遷移性を、学習フレームワークに組み込むことに成功しました。
• 信頼性の向上: 単なる精度向上だけでなく、モデルの予測に対する信頼性（Calibration）を大幅に改善し、医療リハビリや人間 - コンピュータインタラクションなど、誤判定が許されない実用場面での適用可能性を高めました。
• トポロジーに基づく表現学習: 特徴空間を単なる点の集合ではなく、滑らかで意味的に順序付けられた多様体として構築するアプローチは、今後の自己教師あり学習の方向性を示唆するものです。

結論として、TranCLR は、骨格データに基づく動作認識において、高精度、汎化性、そして信頼性のすべてを兼ね備えた新しい基準（SOTA）を確立しました。