On the Identifiability of Masked Prediction: Mode Blindness and Mask Schedules

技術要約：マスク予測の識別可能性について

問題提起
マスク予測手法（BERT、マスクオートエンコーダ、離散拡散モデルなど）は、結合分布の法則を直接学習するのではなく、スケジュールで重み付けされた条件付き分布の族を最適化することで表現を学習する。急速な混合（rapid-mixing）レジームにおいては、近似的なテンソル化を通じて条件付き分布から結合法則を復元することが可能であるが、マルチモーダルなデータが存在する場合に、近最適（near-optimal）な条件付き予測が基礎となる結合法則を決定づけられるかどうかは依然として不明である。具体的には、本論文は、モデルがマスク予測損失を極小化しつつ、データ分布における明確に分離されたグローバルなモード（例：コード対散文、あるいは異なる言語）に対して、大幅に異なる重みを割り当てることが起こり得るかを調査している。この現象は**モード・ブラインドネス（mode blindness：モード盲目性）**と呼ばれる。

手法
著者らは、以下の新しい理論的枠組みを用いて、母集団レベルでの解析を行っている：

1. $\epsilon$-識別性モジュラス（$\epsilon$-Identifiability Modulus）: 真のデータ法則 $p$ と、最大 $\epsilon$ のマスク予測リスクを負う任意の許容可能なモデル法則 $q$ との間の最大分布誤差（例：全変動距離）として定義されるモジュラス $A^\mu_d(p, \epsilon)$ を導入している。これは、厳密な識別可能性（$\epsilon=0$）と、小さな超過リスク下での安定性の両方の研究を統一するものである。
2. モード再重み付け証拠族（Mode-Reweighting Witness Family）: 識別可能性を検証するために、真のデータ法則 $p$ と同一のモード内条件付き分布を共有しながら、グローバルな混合比率（モードの重み）のみが異なる法則の族 $\{q_\lambda\}$ を構築している。もしマスク目的関数が $p$ と $q_\lambda$ を区別できないのであれば、結合法則は識別不可能である。
3. 情報の分解: 論文では、再重み付けされた法則 $q_\lambda$ と $p$ の間のマスクされた対数不一致（log discrepancy）の正確な分解を導出している。この不一致は、真のモード重みと再重み付けされたモード重みの間のカルバック・ライブラー（KL）ダイバージェンスに比例し、かつ、可視コンテキストによる条件付き最小平均二乗誤差（MMSE）によって測定されるスケジュール平均された残留モード不確実性によってスケールされることが示されている。
4. データの幾何学的構造に関する仮定: 解析は、データ法則に関する2つの構造的仮定に基づいている：
   • 大規模コンテキストによるモード固定（Large-Context Mode Pinning）（仮定 5.1）: 十分に大きな可視コンテキストにおいて、モードは指数関数的に高い確率で特定される（残留不確実性が指数関数的に減衰する）。
   • 低可視性残留不確実性（Low-Visibility Residual Uncertainty）（仮定 5.2）: 小さな可視コンテキストにおいて、モードは曖昧なままであり、その残留不確実性は下限を持つ。

主要な貢献

1. モード・ブラインドネスの証明: 大規模コンテキストによるモード固定の仮定の下、本論文は、マスク・スケジュールが大規模な可視コンテキストに支配されている場合（最小可視座標数が大きい場合）、マスク目的関数がグローバルなモード重みに対して指数関数的に鈍感になることを証明している。モデルは、指数関数的に小さいマスク損失を負いながら、モードに対して任意の重み（一定の範囲内）を割り当てることができる。その結果、$\epsilon$-識別性モジュラスは、指数関数的に小さい超過リスクにおいてもマクロな大きさのまま留まる。
2. スケジュール依存の識別可能性: 論文は、マスク・スケジュールが目的関数の「観測モデル」として機能することを示している。
   • 盲目性（Blindness）: 低可視性コンテキストに質量を持たないスケジュール（高可視性を伴う固定比率マスキングなど）は、モード重みの復元に失敗する。
   • 復元（Recovery）: 低可視性コンテキストに正の質量を割り当てるスケジュール（小さな可視集合）は、モード重みへの感度を回復させる。復元の強さは、低可視性コンテキストに割り当てられた質量と、そのスケールにおける残留不確実性によって決定される。
   • フルマスク強制力（Full-Mask Coercivity）: フルマスク（可視コンテキストがゼロの状態）に正の質量が存在することは、単なる再重み付けの族だけでなく、すべての許容可能なモデルに対して識別性モジュラスを抑え込む一様な保証を与える。
3. 正確な情報分解: 著者らは、再重み付けされた法則に対するマスクされた不一致が、モード重みの情報と期待される残留モード不確実性の積であることを示す正確な分解を提供している。これにより、なぜ大きなコンテキストが感度を抑制するのか（固定により不確実性がゼロに近づくため）、そしてなぜ低可視性コンテキストが復元に必要なのかが説明される。
4. 近似的テンソル化の下界: 本論文は、二峰性（bimodal）レジームにおいて結合法則の復元が失敗する場合、近似的テンソル化定数（結合KLを条件付きKLで抑える定数）が、大規模コンテキスト・スケジュールの下でシーケンス長 $N$ に対して指数関数的に増大することを示す。これは、この失敗が既存の解析手法の限界ではなく、目的関数に固有のものであることを示唆している。

結果

• 理論的境界: $v_{\min}(\mu) \geq s_{\text{pin}}$ であるスケジュールに対して、真の法則と再重み付けされた法則の間の不一致は $O(e^{-c \cdot v_{\min}(\mu)})$ で抑えられる一方、全変動距離は一定に保たれることを確立している。逆に、低可視性質量 $\pi_s(\mu) > 0$ を持つスケジュールでは、モード重みの誤差は $O(\sqrt{\epsilon / \pi_s(\mu)})$ となる。
• 経験的検証:
  • 厳密な計数: 計算可能な二峰性法則（固定の仮定を満たすように構築されたもの）を用いて、予測された指数関数的減衰率と正確な感度比を検証している。
  • 勾配学習: これらの法則を用いたモデルの学習により、「盲目性–復元」の二分法が確率的最適化においても生存することを確認している。盲目的なスケジュールで訓練されたモデルは真のモード重みに収束しないが、低可視性質量を持つモデルはそれを復元し、その誤差は $\pi_0(\mu)^{-1/2}$ に比例してスケールする。
  • 実コーパス: コード/散文およびドイツ語/英語のコーパスにおける測定により、自然言語が要求される幾何学的構造を備えていることが示された。すなわち、残留モード不確実性は短いコンテキストにおいて下限を持ち、長いコンテキストにおいて抑制される。ただし、その減衰は厳密な指数関数ではなく冪乗則（power law）に従っており、理想的な熱力学系と比較して、自然言語におけるモード・ブラインドネスは（指数関数的ではなく）より緩やか（多項式的）である可能性を示唆している。

意義および主張
本論文は、マスク予測における根本的な問い、すなわち**「いつ、近最適なマスク予測は基礎となる結合法則を識別できるのか？」という問いに答えるものである。その答えはスケジュールに依存する**。

• 結合法則のグローバルな構造（特にモードの重み）は、低可視性およびフルマスクのコンテキストに対するマスク・スケジュールの質量のみによって、復元可能か不可視かが決定される。
• 標準的な大規模コンテキスト・スケジュールにおけるグローバル構造の識別失敗は、モデルの容量の問題ではなく、マルチモーダルなデータ（メタステーブルなレジームを持つデータ）に適用された際の目的関数の固有の性質である。
• 本研究は、抽出された条件付き分布が互いに矛盾し得る（単一の結合法則を定義できない）理由についての理論的根拠を提供し、グローバルなデータ構造を復元するためには、低可視性質量（またはフルマスク質量）が設計上の必須要素であることを示唆している。
• 著者らは、これらの結果が母集団レベルの保証であることを強調している。勾配学習実験はこれらの現象を再現しているが、本論文は大規模な事前学習における有限サンプルやアーキテクチャの限界を解決することを目的としたものではない。

要約すると、本論文は、マスク・スケジュールが単にマスク予測が「どのように」学習するかを決定するだけでなく、それが「何を」識別できるかを決定することを確立している。すなわち、ウェル・セパレートされたデータモードが存在する場合、低可視性またはフルマスクのコンテキストに質量を持たないスケジュールに対して、グローバルなモードの重みは不可視となる。