Not Every Subject Should Stay: Machine Unlearning for Noisy Engagement Recognition

「Not Every Subject Should Stay: Machine Unlearning for Noisy Engagement Recognition」という論文の詳細な技術的サマリーを以下に示す。

問題定義

本論文は、動画データからユーザーのエンゲージメントレベルを分類するタスクであるエンゲージメント認識における実用的な課題に取り組んでいる。エンゲージメントデータセット（DAiSEE、EngageNet など）は通常被験者索引付きであり、ノイズの多い主観的な教師信号を含んでいる。個々のクリップが誤ラベル付けされる標準的なノイズラベル問題とは異なり、これらのデータセットにおける問題の単位はしばしば被験者全体である。同じ個人からの複数のクリップは、ラベル付けの曖昧さ、記録のアーティファクト、または非典型的な行動パターンを共有しており、これらは逆効果となる教師信号をもたらす。

ベースラインモデルが訓練された後、問題のある被験者を除去する概念的に正しい解決策は、残りのデータでモデルを最初から再訓練することである。しかし、この完全な再訓練は、特に複数の候補となる被験者サブセットを検査する必要がある場合、計算コストが高くなる。本論文は以下の問いを提起する：すでに訓練されたモデルから、完全な再訓練なしに問題のある被験者全体の影響力を除去することは可能か？

手法

著者は、事後の浄化メカニズムとして**被験者レベルの機械的忘却（Machine Unlearning）**フレームワークを提案する。このプロトコルは、以下の 4 つの主要な段階で構成される：

1. ベースライン訓練: 固定アーキテクチャであるTCCT-Net（Tensor-Convolution and Convolution-Transformer Network）を用いて、全訓練被験者集合（$S_{tr}$）上でベースラインモデル（$f_{\theta_0}$）を訓練する。
2. 有害な被験者の特定: 真のラベルの破損を仮定するのではなく、著者は有害性を操作的なランキング問題として扱う。訓練されたベースライン下での、各被験者のデータに対するクリップ平均クロスエントロピー損失に基づいて、各被験者にスコア（$r_s$）を計算する。上位 K 位にランクされた被験者が**忘却セット（$F$）**を形成する。
3. 近似忘却更新: ベースラインモデルに軽量な修正を適用し、忘却済みモデル（$\tilde{f}_{\theta}$）を生成する。
   • アーキテクチャ制限: 更新を効率的に保つため、TCCT-Net の下位レベルの特徴抽出器は凍結される。更新されるのは、最終的な融合層と分類層（「ヘッド」）のみである。
   • 目的関数: 更新は複合損失（$L_{unl}$）を最小化する：
     • $L_{ret}$: タスクの有用性を維持するための保持データ（$D_R$）上のクロスエントロピー。
     • $L_{cons}$: 不要なドリフトを防ぐための、保持データ上のベースラインモデルと忘却済みモデルの予測間の整合性項（KL ダイバージェンス）。
     • $L_{forg}$: これらの被験者に適合することをモデルから遠ざける（アンチフィッティング）ための、忘却データ（$D_F$）上の負のクロスエントロピー項。
     • 正則化: 元のヘッドパラメータ（$\phi_0$）からの逸脱を罰する項。
4. オラクル中心評価: 忘却済みモデルは、保持された被験者（$D_R$）のみに基づいて最初から再訓練されたオラクルモデル（$f^*_{\theta_F}$）と比較される。このオラクルは、「保持データに基づく解決策」のための清浄な基準として機能する。

主要な貢献

1. 問題の定式化: 本論文は、サンプルレベルのノイズラベル修正を超えて被験者索引付きデータの改訂に取り組む、エンゲージメント認識における固有の問題設定として被験者レベルの事後浄化を定義する。
2. 評価プロトコル: 単にモデルを攪乱するか、忘却データでの性能を低下させるのではなく、保持データで最初から再訓練されたモデルの解決策を近似しているかどうかを測定するオラクル中心評価を導入する。
3. 実証研究: DAiSEEとEngageNetにおける制御された研究により、被験者レベルの忘却がいつ有益であるか、それが忘却セットの構築にどのように依存するか、そして完全な再訓練との間の有用性 - 効率性のトレードオフを実証する。

結果

本研究は、小さな忘却セットシナリオ（$K \in \{1, 3, 5\}$）において、3 つのモデル状態（ベースライン、忘却済み、オラクル）を評価する。

• 性能回復:
  • EngageNet（$K=3$）において、忘却済みモデルはオラクルモデルが達成した性能向上の**89.3%**を回復した（ベースラインに対する相対値）。
  • DAiSEE（$K=3$）において、忘却済みモデルはオラクルの利益の**92.5%**を回復した。
• 効率性: 忘却更新には、完全なオラクル再訓練の約4 分の 1の計算コストしか必要なかった（再訓練の相対ウォールクロックコストが約 0.97 倍〜0.98 倍であるのに対し、忘却更新は約 0.22 倍〜0.26 倍）。
• 単純な手法との比較: 「単純な除去＋短いファインチューニング」というアプローチは、提案された忘却手法よりも著しく性能が低く、オラクルの利益の 36.7%（EngageNet）および 23.3%（DAiSEE）しか回復しなかった。
• 忘却セットサイズへの感度:
  • 性能は一般的に $K=1$ から $K=3$ へと改善し、有害性は単一の外れ値に集中するのではなく、少数の被験者に分散していることを示唆する。
  • $K=5$ になると、利益は飽和し始め、あるいは低下し、これは「有害なコア」を超えて多くの被験者を除去することが、有用な訓練の変動性を失わせる可能性があることを示している。
  • **オラクルギャップ回復（OGR）**は、中間的な $K=3$ の設定で最も高く、近似忘却は、特定の小さな監査対象サブセットを除去対象とする場合に最も効果的であることを示唆している。

意義と主張

本論文は控え目で実用的な範囲を維持している。これは、正確または認証された忘却を提供することを主張するものでも、新しいエンゲージメントのバックボーンを提案するものでもない。代わりに、その意義は以下の点を示すことにある：

1. 事後修正の実現可能性: 近似被験者レベルの忘却は、ノイズの多いエンゲージメントデータに対する低コストの修正メカニズムとして機能し、完全な再訓練の恩恵の相当部分を回復できる。
2. オラクル参照の重要性: 有用な浄化と単なるモデルの攪乱とを区別するためには、保持データで再訓練されたオラクルに対して忘却を評価する必要がある。
3. レジーム依存性: この手法の有効性は、被験者選択の質と忘却セットのサイズに大きく依存する。これは、単調な剪定戦略というよりも、特定された少数の有害な被験者に対するターゲット型の修正として最もよく機能する。

著者らは、この手法がすべてのデータセットやアーキテクチャに対する万能の解決策ではないものの、教師信号がノイズを含み、被験者によって整理されている場合に、訓練済みエンゲージメントモデルを改訂するための妥当なフレームワークを提供すると結論付けている。