テクニカル・サマリー：ランク・ワン・コーナー（Rank-One Corner）

問題提起

学習されたワールドモデルは、伝統的に観測への忠実度（再構成誤差）や報酬の予測能力によって評価される。しかし、これはモデルの品質をバイナリな性質（忠実であるか否か）として扱うものであり、ダウンストリームの制御タスクが要求する特定の構造的要件を無視している。タスクはすべての観測を再構成することを求めているのではなく、システムのダイナミクス下で自律的に進化する、特定の低次元の予測座標セットを捉えることを求めている。著者らは、この集合を**クロージャ（closure）**と呼んでいる。

本研究が取り組む中心的な問いは、「ワールドモデルは、タスクのクロージャのうち、実際にどれだけの量を表現しているのか、そして何がそれを決定するのか？」である。具体的には、バリュー等価性（Value Equivalence, VE）において遍在する単一報酬目的関数が、制御に必要な構造をインストールするのに十分なのか、あるいは必要なダイナミクスの「影」しかインストールできないのかを調査している。

手法

著者らは、DreamerV3 カテゴリカル-RSSMスタックを用いた制御実験セットアップを採用している。環境は、知覚ベンチマークではなく、測定器として構築されている：

1. 真のクロージャ（Ground Truth Closure）: $k$ 個の緩やかに変化する潜在座標（$L_t$）からなる既知の低次元プロセスを、固定された解析的なワープを用いて高次元の $64 \times 64$ 画像観測へとレンダリングする。
2. ディストラクター（Distractor）: 再構成目的関数だけでは自動的にクロージャを回収できないように、観測に高分散のディストラクターノイズを加える。
3. 読み出しメカニズム（Readout Mechanism）: 確率的潜在状態（$z_t$）が何を表しているかを判断するために、著者らは**保持された線形プローブ（held-out linear probe）**を使用する。決定論的な再帰状態（$h_t$）を除外し、$z_t$ のみから読み出すことが極めて重要である。これにより、回収された構造が履歴状態を経由したものではなく、真に潜在表現の中にインストールされたものであることを保証する。
4. 指標: 主要な指標は、**インストールされたランク（installed rank）**である。これは、再構成のみを目的としたヌル閾値を超えて、線形プローブが潜在変数から回収できるクロージャ座標の数として定義される。

本研究は、アーキテクチャ、容量、および訓練予算を一定に保ったまま、目的関数の次元数（$d$）（1から4まで）を系統的に変化させている。

主な貢献

1. 次元の法則（Dimensionality Law）: 本論文は、潜在変数にインストールされる構造のランクは、それが訓練される目的関数の次元数によって厳密に決定されることを示している。$d$ 次元の目的関数は、モデルの容量に関わらず、潜在変数内に正確に $d$ 個の予測方向をインストールする。
2. ランク・ワン・コーナー（The Rank-One Corner）: 著者らは、単一報酬のバリュー等価性（スカラー目的関数、$d=1$）が、より広範な法則の「ランク・ワン・コーナー」であることを特定した。スカラー目的関数はタスクとは整合しているものの、クロージャの1次元投影しかインストールしない。実験において、スカラー目的関数はクロージャのわずか 0.10 ($R^2$) しか回収できなかったのに対し、完全な多次元目的関数は、同じ構成で 0.76 を回収した。
3. 因果的帰属（Causal Attribution）: ラベルのシャッフルと圧力一致コントロール（pressure-matched controls）を通じて、スカラー目的関数の失敗が、訓練の圧力やアーキテクチャのアーティファクトによるものではなく、ターゲットの次元数に起因することを証明した。
4. 法則の境界: 本論文は、この法則が適用される境界を測定している。クロージャがフレーム内で直接観測可能（frame-observable）な環境では、再構成のみで十分であり、目的関数の次元数は無意味になる。この法則は、受動的なチャネル（再構成、再帰）が、リターンに関連する構造を回収できないレジームにおいて支配的となる。
5. 評価側のエコー（Evaluation-Side Echo）: 著者らは、ベルマン残差が報酬項とバリューのみのオペレータ誤差に分解されることを示している。その結果、標準的な評価指標（ベルマン残差など）は、モデルのダイナミクスの低次元な「バリュー・スライス」のみを読み取ることになり、非バリュー構造の表現における失敗を隠蔽してしまう可能性がある。

主な結果

• スカラー vs. 完全な目的関数: 4次元のクロージャを持つセットアップにおいて、スカラーのバリュー目的関数（$d=1$）は、クロージャ構造の10%しか回収できない潜在変数をインストールした。一方、完全な4次元の目的関数（$d=4$）は、76%の構造を回収する潜在変数をインストールした。
• 階段効果（Staircase Effect）: 目的関数の次元を1から4へとスイープすると、潜在変数はそれぞれ正確に1、2、3、4個のクロージャ方向をインストールした。1次元の目的関数の重みを4次元の目的関数の全分散に一致するように増やしても、インストールされたランクは増加せず、単一の方向が強化されるだけだった。
• ヘッドの独立性: この法則は、補助的な回帰ヘッドを介して目的関数を適用する場合でも、モデル自身のバリューヘッドを介する場合でも成立する。ただし、非線形性（tanh）により、バリューヘッドを使用すると回収の大きさは減衰する（約0.7倍）。
• 容量の独立性: 潜在容量（幅）をクロージャのランク以上に増やしても、インストールされたランクは増加せず、ランクは目的関数の次元 $d$ でプラトーに達した。
• 再構成の十分性: クロージャが毎フレーム観測可能な対照的なタスクでは、単一報酬のVEはフルバリューファミリーと同等の性能を示し、報酬信号なしの再構成も同じクロージャランクをインストールした。これは、この法則が、受動的な観測によってクロージャを回収できないレジームに特有であることを裏付けている。

意義と主張

本論文は、「タスクにはどれほどのバリュー等価性が必要か」という問いに対して、定量的な回答を提供すると主張している。その答えは、タスクは、そのクロージャのランクに等しい数の予測方向をインストールすることをモデルに要求する、というものである。

• バリュー等価性の洗練: 本研究はバリュー等価性の原理を否定するものではなく、それを精緻化するものである。適切なバリュー等価性は、一連のバリュー関数に対して定義され、高次元になり得る。一般的な単一報酬のインスタンス化は、この原理のランク・ワン・コーナーに過ぎない。
• 割り当て vs. 利用可能性（Allocation vs. Availability）: スカラー目的関数が完全なクロージャを表現できないのは、情報の「利用可能性」（情報は観測の中に存在する）の問題ではなく、「割り当て」（目的関数が潜在変数に対し、非バリューな次元を無視するように指示する）の問題である。
• 反証可能な予測: 本論文は、反証可能な予測を提示している。もしタスクのクロージャがフレーム内で観測できない場合、モデルのサイズに関わらず、単一報酬の目的関数は必要な構造をインストールすることに失敗する。
• 限界: 著者らは、自らの主張が既知の真のグラウンドトゥルースを持つ合成環境および特定のアーキテクチャ（DreamerV3）に基づいていることを明記している。自然画像に対して法則が同様に保持されることや、容量の項が検証なしにすべてのドメインに一般化することを主張しているわけではない。結果は、あらゆる強化学習に対する普遍的な法則としてではなく、特定のレジームの測定された境界として提示されている。

要約すると、本論文はバリュー等価性は次元的であると主張している。馴染み深い単一報酬の目的関数は、そのクロージャが1次元以上の構造を必要とするタスクに対しては不十分であり、モデルは目的関数の次元が許容する分だけ、タスクの構造を正確にインストールするのである。