技術的概要：ProtoSSL

問題定義

臨床波形解析や音声分類などの時系列ドメインにおいて、深層ニューラルネットワークは高い予測性能を達成する一方で、解釈性の欠如が課題となっています。投影ベースのプロトタイプネットワーク（例：ProtoPNet）は、「これはあれに似ている」という推論、すなわち入力と代表的な学習例との比較に基づいて予測を行うことで、本質的な解釈性を提供しますが、既存のアプローチには2つの重大な限界があります。

1. ラベル依存性：プロトタイプは特定のクラス構造に紐付いた教師あり目的関数を通じて学習されるため、大規模なラベル付きデータセットが必要です。
2. 再利用性の欠如：プロトタイプは特定のタスク向けに最適化されるため、異なるラベル空間を持つ新しい下流タスクやデータセットへの転用が容易ではなく、ゼロから再学習を余儀なくされます。

一方、自己教師あり学習（SSL）はラベルなしデータから転用可能な構造を学習できますが、通常は潜在空間で動作するため、人間が検査可能で投影に基づく説明を生み出すことができません。中心的な課題は、初期学習段階でタスク固有のラベルに依存することなく、タスク間で転用可能かつ本質的に解釈可能なプロトタイプをいかに学習するかです。

手法：ProtoSSL フレームワーク

ProtoSSL は、モチーフ発見とラベル整合を分離することでこの課題に対処します。このフレームワークは2つの明確なフェーズで動作します。

1. 自己教師あり事前学習（モチーフ発見）

ProtoSSL は、ラベルなしの時系列データから再利用可能なプロトタイプバンクを学習します。

• アーキテクチャ：エンコーダ $f_\theta$ が入力時系列 $x$ を表現 $h$ にマッピングします。学習可能なプロトタイプ集合 $P$ が定義されます。
• 活性化：プロトタイプ活性化 $a(x)$ は、エンコーダ出力と各プロトタイプ $p_k$ の類似度として計算されます。
• 目的関数：投影されたプロトタイプ活性化 $z = r_\phi(a(x))$ に直接、自己教師ありな対照目的関数（SimCLR/NT-Xent）が適用されます。これにより、モデルはラベルの教師なしで、拡張されたビュー間でのデータの一貫性に基づいて入力をプロトタイプの重み付けとして表現することを強制されます。
• 正則化：プロトタイプベクトルに KoLeo 正則化を適用し、潜在空間内でこれらが広がり、崩壊しないようにします。
• 成果：データ分布における反復的で転用可能なパターン（モチーフ）を捉え、特定の下流タスクに依存しない「プロトタイプバンク」$P$ が得られます。

2. タスク適応（ラベル整合）

ラベル付きデータを持つ下流タスクが利用可能になった時点で、事前学習済みのプロトタイプを、プロトタイプバンクを再学習することなく新しいタスクに整合させます。

• 割り当て：ラベルなしで学習可能な非パラメトリックな新しい割り当て手順により、バンク内のプロトタイプを下流ラベルにマッピングします。これは**長方形線形割り当て問題（LAP）**として定式化され、多項式時間で解くことができます。
  • 各ラベルに対する正サンプルと負サンプルでの活性化を分散で正規化したプロトタイプ活性化統計に基づき、関連付けスコア行列 $Q$ を計算します。
  • LAP ソルバーが、最も識別力のあるプロトタイプを各ラベルスロットに割り当てます。
• 投影：割り当てられたプロトタイプを、対応するラベルを持つターゲットデータセットからの実際の代表的な学習例に投影します。このステップにより、プロトタイプは具体的な信号セグメントに根ざし、解釈性が維持されます。
• 分類：投影されたプロトタイプ活性化上でロジスティック回帰分類器を学習します。エンコーダとプロトタイプは凍結されたまま（線形プロービング）にすることも、ラベル教師ありで微調整することも可能です。

主な貢献

1. 新規フレームワーク：ProtoSSL は、ラベルなしデータから投影に基づく解釈可能なプロトタイプを学習し、明示的な割り当てと投影手順を通じて下流タスクに適応する初のフレームワークです。
2. 関心の分離：モチーフ発見（自己教師あり）とラベル整合（割り当て）を分離することで、コア表現を再学習することなく、データセットやラベル空間を超えたプロトタイプの再利用を可能にします。
3. ラベル効率：このフレームワークはラベル効率を大幅に向上させ、わずか256個のラベル付き例でも効果的に機能し、低データ領域において教師ありプロトタイプベースラインを上回ります。
4. 人間の解釈性：人間による評価研究により、タスクラベルなしで学習されたプロトタイプは、直接教師ありで学習されたものよりも診断の代表例として「受容性」が高く評価されることが示されました（後者は場合によっては予測精度が高いにもかかわらず）。
5. 一般化性：このアプローチは心電図（ECG）を超えて音声分類にも拡張され、異なる時系列ドメインにおけるモチーフ発見とラベル整合の分離が有効であることを実証しました。

実験結果

著者らは、6 つの ECG データセットと 3 つの音声データセットで ProtoSSL を評価しました。

• ECG パフォーマンス：

  • 全データ：微調整により、ProtoSSL は教師ありプロトタイプベースライン（SupProto Direct）を上回り、ブラックボックス基盤モデルと競合する性能を達成します。
  • 低データ：低データ領域（256 サンプルまで）において、ProtoSSL（凍結プロービング）は教師ありベースラインおよびブラックボックスモデルを常に上回ります。特に、ProtoSSL はわずか 4,000 サンプルで、特定タスクにおいて全データセット（64,000 サンプル以上）で学習された教師ありベースラインの性能と同等の成果を上げます。
  • 一般化：ProtoSSL はラベル空間が異なるドメイン外タスクにもよく一般化しますが、ラベル教師あり事前学習（SupProto HEEDB）は重なり合わないラベルを持つタスクへの転用が効果的ではありません。

• 音声パフォーマンス：

  • AudioSet で事前学習された ProtoSSL は、UrbanSound8K、IEMOCAP、VoxCeleb1 へ効果的に転用されます。最小限のラベル重なりを持つタスクにおいて教師ありベースラインを上回り、モチーフ発見フェーズの堅牢性を示しています。

• 人間による評価：

  • 医学部学生を対象としたブラインド研究において、ProtoSSL のプロトタイプは、直接教師ありのプロトタイプと比較して、「受容性」（91.4% 対 66.4%）および説明の質（82.9% 対 67.9%）で有意に高い評価を得ました。これは、自己教師ありによる発見が、人間専門家にとって直感的に「典型的」でない可能性のある識別的特徴を優先する教師あり学習よりも、一貫して代表的な臨床例として認識されるパターンを生み出すことを示唆しています。

• 効率性：

  • 割り当てステップは計算効率が良く、線形割り当て問題を数秒で解決します。一方、代替のパラメトリックな割り当て手法（例：適応型 ProtoPool）は、その 10 倍程度の時間を要します。

意義と主張

本論文は、下流のラベル空間が知られる前に解釈可能なプロトタイプを学習できることを実証することで、解釈可能な時系列モデリングのパラダイムを根本的に変えることを主張しています。

• 分離：「これはあれに似ている」という推論メカニズムが、有用なパターンを発見するためにエンドツーエンドのラベル教師を必要としないことを証明します。
• 再利用性：最小限のラベル付きデータで新しい臨床または産業タスクに迅速に適応可能な、再利用可能で解釈可能なモデルコンポーネントを作成する道筋を確立します。
• 証拠の質：著者は、自己教師ありなモチーフ発見が、人間専門家にとって直感的に「典型的」でない可能性のある識別的特徴を優先する教師あり学習よりも、より代表的なケースベースの証拠をもたらす可能性があると提唱しています。

この研究は、大規模なラベル付きデータセットの取得が困難でありながら、臨床的な信頼と採用のために解釈性が不可欠であるデータ不足ドメイン（医療など）における研究の基盤として ProtoSSL を位置づけています。