iBERT: Interpretable Embeddings via Sense Decomposition

技術要約：iBERT：感覚分解による解釈可能な埋め込み

問題提起
SBERTやSimCSEといった現在のニューラルエンコーダは、意味的な検索には優れているものの、高密度なベクトル表現を生成するため、透明性に欠けています。これらのモデルは、スタイルと意味がどのようにエンコードされるかを制御または解釈するための明確なメカニズムを提供しておらず、著者性検証、トーン制御生成、あるいはスタイルのモデレーションといった、表現の透明性を必要とする領域における信頼性を制限しています。既存の解釈可能性の手法は、多くの場合、事後的なもの（例：プロービング、サリエンシーマップ）であり、解釈可能性を考慮して設計されていない表現に対して適用されるため、不完全で不誠実な説明をもたらします。さらに、従来のスタイルの表現学習は、代理的な監督（例：著者のアイデンティティ）に依存することが多く、その結果、コンテンツとスタイルが不可分に混ざり合ったもつれた埋め込みが生じてしまいます。本論文は次のように問いかけます：事後的な分析を通じてではなく、設計段階において、意味的およびスタイルの表現を埋め込み空間内で明示的かつ制御可能にできるエンコーダを設計できるか？

手法
著者らは、本質的に解釈可能で制御可能な埋め込みを生成するように設計されたエンコーダアーキテクチャであるiBERT（interpretable-BERT）を提案しています。

• アーキテクチャ: iBERTは、各入力トークンを、$k$個の文脈に依存しない「感覚ベクトル（sense vectors）」上の疎で非負な混合としてエンコードします。標準的な高密度埋め込みとは異なり、このモデルはトークン表現を$k$個の異なる「感覚」（実験では$k=8$）に分解します。
  • トークンエンコーディング: トークン$x_i$は標準的な埋め込みへとマッピングされ、その後$k$個の感覚へと投影されます。Transformerエンコーダは文脈状態を生成し、それらは感覚固有のクエリおよびキーへと投影され、混合重み（$\alpha_{\ell,i,j}$）を計算します。最終的なトークン表現$o_i$は、これら文脈に依存しない感覚ベクトルの凸結合となります。
  • 文章プーリング: 文章の埋め込みを生成するために、モデルはトークンレベルの感覚活性化に対して構造化されたプーリングを適用します。論文では3つのバリアントを定義しています：
    • iBERT-v1 (平均プーリング): すべてのトークン表現の一様平均。
    • iBERT-v2 (トップセンス・プーリング): シーケンスに対する支配的な感覚を特定し、すべてのトークンに対してその感覚のみを保持する（ハード選択）。
    • iBERT-v3 (ソフトマックス・ブレンド): 温度パラメータ$\tau$を用いてv1とv2を補間し、感覚選択の鋭さを制御する（ソフト・ブレンディング）。
• トレーニング・パイプライン:
  • ステージ0 (MLM事前学習): iBERTは、意味のある感覚ベクトルを実体化させるために、FineWebコーパス（750Bトークン）の5%を用いて、Masked Language Modeling (MLM) によりスクラッチから事前学習されます。これにより、171Mパラメータのエンコーダが得られます。
  • ステージ1 (スタイル表現学習): モデルは、スタイルの変動を対象とした対照的なトリプレット（$\langle s, s^+, s^- \rangle$）を用いてファインチューニングされます。訓練データには、制御された語彙的・統語的変動を持つStyleSynth (Patel et al., 2025) からの合成トリプレットと、著者ラベル付きのトリプレット (Wegmann et al., 2022) が含まれます。InfoNCE損失が使用され、スタイルの類似した入力同士を近づけ、異なる入力を遠ざけるように促されます。
• ベースライン: 公平な比較を確保するため、著者らは標準的なBERT-baseモデルを同じデータでスクラッチから学習させ、同じ対照学習目的関数を用いてファインチューニングを行い（これによりBERT-SD、BERT-WG、およびBERT-WG+SDを作成）、高密度なベースラインとして機能させます。

主な貢献

1. iBERTアーキテクチャ: 設計段階から解釈可能で分解可能な表現を生成する、制御可能なエンコーダの導入。
2. 性能: 3つのベンチマーク（STEL、SoC、PAN）において強力な性能を示し、高密度ベースラインに対して最大+8%のスタイル表現有効性（STEL）の向上を達成しつつ、著者性検証において競争力のある性能を維持しました。
3. 新しい解釈可能性: 特定のスタイル特性（例：絵文字の使用、皮肉、語彙の選択）が特定の感覚ベクトルに割り当てられることを示す、感覚ベクトルのプロービング、属性特定のための感覚のアブレーション、および制御されたスタイル転送のための埋め込み編集。

結果

• STEL (スタイル表現有効性): iBERTモデルはBERTベースラインを大幅に上回りました。直接的なスタイル監督（StyleSynth）の下で、iBERT-v3-1は38.3%のSTEL（128トークン）を達成し、BERTベースラインに対して+6.7ポイントの向上を実現しました。iBERT-v3バリアント（ソフト・ブレンディング）は一般に、ハード選択のiBERT-v2よりも優れた性能を示し、ソフトな感覚の重み付けが一様な混合と厳格な疎性の間のギャップを埋めることを示唆しました。
• SoC (スタイル対コンテンツ): iBERT-v3-1は最高のスタイルの極性分離能（精度92.8%）を達成し、モデルが極性感受性を維持しながら解釈可能性を保持できることを証明しました。
• PAN (著者性検証): 代理スタイルタスクとして、iBERTバリアントは128トークンの入力においてBERTと同等またはわずかに優れた性能を示しました。しかし、512トークンの入力では、BERTがわずかにiBERTを上回りました（61.92% 対 61.07%）。これは、BERTの密接な結合が、より長いコンテキストにおいて、意味的およびスタイルの特徴の両方の恩恵をより多く受けるためと考えられます。iBERTは、明示的なスタイルラベルがない場合でも、監督がノイズを含んでいる（著者アイデンティティのみ）状況下で競争力のある性能を維持しましたが、スタイルとコンテンツが激しく絡み合っている場合にはBERTよりも苦戦しました。
• 解釈可能性分析: プロービングにより、個々の感覚が異なるスタイルのクラスター（例：感覚$\ell=2$は皮肉のような感情的トーンに、$\ell=0$は絵文字のような表層的マーカーに適合する）に特化していることが明らかになりました。アブレーション研究は、スタイルに整合した感覚を除去すると、特定のスタイルの分離能が劇的に低下する（最大66%の距離減少）一方で、無関係なスタイルには最小限の影響しか与えないことを確認し、編集の局所性を検証しました。

意義と主張
本論文は、iBERTが事後的な解釈可能性からアーキテクチャに基づいた解釈可能性への転換を象徴していると主張しています。設計段階から、iBERTは識別的な信号（意味的またはスタイルのいずれか）をモジュール化された感覚ベクトルへと分解します。

• モジュール性: モデルは、関連のない属性を乱すことなく、埋め込み空間におけるターゲットを絞った編集（例：フォーマリティの変更や絵文字の削除）を可能にします。これは、高密度エンコーダでは困難なことです。
• 汎用性: スタイルのモデリングに関して評価されていますが、iBERTはスタイルに限定されません。その構造的なモジュール性は、存在する判別的な信号（意味的またはスタイルの両方）を解釈可能な形で分解するように設計されており、監督が意味的およびスタイルの要因を混合している場合でも汎用性を発揮します。
• トレードオフ: 著者らは、モジュール構造が、深い文脈的統合を必要とするタスク（例：長文における意味的なドリフト）において、高密度エンコーダと比較してわずかな性能差を生む可能性があることを認めています。また、感覚の特化はシーケンス長に敏感であり、現在の研究は英語に焦力的です。

著者らは、iBERTが単に強力であるだけでなく、本質的に理解可能な埋め込みモデルへの一歩であり、透明でモジュール化されたNLPパイプラインの実行可能なバックボーンとなることを結論付けています。