技術的要約：ニューラルネットワークにおける一義的な表現

問題提起

従来の表現（例：ビット列、文字）は本質的に曖昧であり、その意味は完全に外部のデコーダや慣習に依存している。単一のビット列であっても、デコーディング・スキームがJPEGであればJPEGとして、MP3であればMP3としてエンコードされる。対照的に、意識体験は根本的に異なると仮定されている。例えば、「赤い正方形」の知覚に対応する神経状態が、同時に「緑の三角形」の知覚をエンコードすることはあり得ない。この意識の固有の性質は、意識的な表現が**一義的（unambiguous）**であること、すなわち、その内容が外部的な解釈ではなく、神経状態そのものによって決定される必要があることを示唆している。

本論文は、ニューラルネットワークが内部の**関係的構造（relational structure）**を通じて、表現内容を一義的にエンコードできるかという問いに取り組んでいる。具体的には、あるニューロンの内容（例：それが表す数字のクラスや、それがエンコードする入力の空間的位置）が、学習手順や外部ラベルの知識なしに、他のニューロンとの結合パターンのみによって一意に決定できるかどうかを調査している。

方法論

理論的枠組み

著者らは、情報理論を用いて表現の曖昧さを定式化している。曖昧さは条件付きエントロピー $H(I|R)$ として定義される。ここで、$I$ は可能な解釈を表し、$R$ は表現を表す。

• 高い曖昧さ： 解釈の分布が一様である（内容に関する情報が最小限）。
• 低い曖昧さ： 確率が集中している（内容に対する確信度が高い）。
  仮説として、ネットワーク内の関係的構造（内部関係の網目）が可能な解釈を制約し、それによって $H(I|R)$ を減少させることができると考えている。

実験設定

主に2つの実験が、MNIST数字分類タスク（784-50-50-10 アーキテクチャ）を用いて訓練された全結合ニューラルネットワークを用いて実施された。3つの訓練パラダイムが比較された：

1. 未学習（Untrained）： ランダム初期化（コントロール）。
2. 標準的なバックプロパゲーション（Standard Backpropagation）： 標準的な学習。
3. ドロップアウト訓練（Dropout Training）： 隠れ層に20%のドロップアウトを適用したバックプロパゲーション。

実験1：出力ニューロンのクラス同一性のデコード

• タスク： 結合関係のみに基づいて、どの出力ニューロンがどの数字クラス（0–9）を表しているかを特定する。
• 手順： 位置情報を除去するために、出力層のニューロンをランダムに置換した。関係的構造は、ニューロンの重みベクトルのコサイン類似度の**グラム行列（Gram matrix）**を介して抽出された。
• デコード手法：
  1. 幾何学的マッチング（Geometric Matching）： 正解の順序を持つネットワークから平均化した参照グラム行列を、テスト対象のネットワークと比較した。フロベニウス距離を最小化する置換を選択した。
  2. 学習済みデコーダ（Learned Decoder）： 置換不変性を確保するため（位置エンコーディングなし）、関係的構造からクラスの同一性を予測するように訓練されたトランスフォーマーベースのデコーダを使用した。
• アブレーション（切除実験）： ローカルな近傍（ターゲットニューロンと他の全ニューロンとの類似性）だけで十分か、あるいはフルグローバルな幾何学が必要かをテストした。
• スケーリング： 関係的複雑性が曖昧さを減少させるかをテストするため、出力ニューロンの数（2から10まで）を変化させた。
• クロスアーキテクチャ： 異なる隠れ層アーキテクチャ（50-50, 25-25, 100）間での転移可能性をテストした。

実験2：入力ニューロンの空間的位置のデコード

• タスク： 入力ニューロンに対応するピクセルの、画像中心からのユークリッド距離をデコードする。
• 手順： 実験1と同様の手法を、入力層の重み（$784 \times 50$）に適用した。置換の数が膨大（$784!$）であるため、学習済みデコーダ（回帰タスク）のみを使用した。
• 指標： 空間距離を予測するための $R^2$ スコア。

曖昧さの定量化

著者らは、最大エントロピーに対する条件付きエントロピーの減少を定量化するために、**曖昧さ減少スコア（ARS: Ambiguity Reduction Scores）**を算出した。

• 分類の場合：ファノの不等式を用いた精度から導出。
• 回帰の場合：ガウス残差を仮定した $R^2$ から導出。
  ARSが1.0であることは、完全な一義的決定（$H(I|R, C) = 0$）を意味する。

主要な結果

1. 出力ニューロンのクラス同一性のデコード

• 未学習ネットワーク： デコード精度はチャンスレベル（10%）であり、ランダムな重みには回収可能な構造が含まれていないことが検証された。
• 標準的なバックプロパゲーション： 学習済みデコーダで25%、幾何学的マッチングで38%の精度を達成した。チャンスレベルは上回っているものの、関係的幾何学には顕著な曖昧さが残っていた（複数の置換が参照行列に対して同様の距離を示したため）。
• ドロップアウト訓練： 幾何学的マッチングにおいて精度100%（分散ゼロ）を達成し、学習済みデコーダでは75%を達成した。真の置換は、幾何学的空間において他の誤った選択肢から明確に分離されていた。
• パフォーマンスとの直交性： これらの劇的な表現の曖昧さの違いにもかかわらず、基礎となるMNIST分類精度は、すべての訓練パラダイム間でほぼ同一であった。

2. 構造的必要性と複雑性

• グローバル vs ローカル： グローバルな幾何学的コンテキスト（ローカルな類似性ベクトルのみを提供すること）を取り除くと、デコード精度が大幅に低下した。これは、ニューロンの内容が単なる近傍ではなく、全体の関係的幾何学における位置によって決定されることを示している。
• 関係的複雑性： 関係的構造を計算するために使用されるニューロンの数が増えるにつれ、精度は単調に増加した。2つのニューロンでは精度はチャンスレベル（50%）であったが、10個のニューロンでは100%に達した。これは、より豊かな関係的幾何学が、より多くの解釈への制約を与えることを示している。

3. 不変性と汎化

• アーキテクチャの不変性： 幾何学的マッチングは、異なる隠れ層アーキテクチャ（例：50-50の参照を用いて25-25のネットワークをデコードする）に対しても強いデコード精度を示し、内容の相対的エンコーディングが概ねアーキテクチャに依存しないことを示唆した。
• データセットの識別： バイナリ分類器は、関係的構造のみに基づいて、MNISTで訓練されたネットワークとFashion-MNISTで訓練されたネットワークを、ほぼ完璧な精度（ドロップアウトの場合は99.8%）で区別できた。

4. 入力ニューロンの空間的位置

• 出力層の結果とは対照的に、標準的なバックプロパゲーションの方が、ドロップアウト訓練（$R^2 = 0.695$）よりも高い空間デコード精度（$R^2 = 0.844$）を示した。
• しかし、いずれの場合も、フルな関係的構造はローカルな近傍情報よりも大幅に優れた性能を示した。
• 入力位置の曖昧さ減少スコア（ARS）は0.419から0.654の範囲にあり、かなりの、しかし完全ではない一義的決定が行われていることを示している。

意義と主張

本論文は、神経系における表現の曖昧さを測定するための定量的な手法を提供することを主張している。その主な貢献は以下の通りである：

1. 一義性の操作化： ニューラルネットワークが、関係的構造に対して一義的な方法で情報をエンコードできることを示した。ドロップアウト訓練されたネットワークについては、関係的幾何学のみが表現内容（クラス同一性）を完全に特定しており、ARS 1.0を達成している。
2. 曖昧さとパフォーマンスの直交性： 表現の曖昧さは、行動的なタスクのパフォーマンスとは独立して変化し得る、神経表現の次元であることを示した。ネットワークはタスクを完璧に遂行しながら、情報を曖昧に（標準的なバックプロパゲーション）あるいは一義的に（ドロップアウト）エンコードすることができる。
3. 理論的整合性： 結果は、意識的な状態は一義的でなければならないと断言する理論的説明（狭義の表現主義や統合情報理論など）を支持している。本論文は、もし意識が脳の状態に随伴するならば、それらの状態は内容を一義的に決定しなければならないと論じている。実験的な発見、すなわち関係的構造が外部のデコーディングなしに内容を確定できるという事実は、「内在的」な現象的体験の性質と一致している。
4. 構造的決定性： 本研究は、内容が単に慣習的に割り当てられるのではなく、システムの内部関係によって構造的に決定され得ることを示唆している。実験で使用されたデコーダは、意味を押し付けるのではなく、ネットワークのインスタンスに固有の、一貫した関係的パターンを発見しているのである。

著者らは、自らの主張に対して慎重であり、MNISTネットワークが意識を持っていると主張しているわけではないことを明記している。代わりに、彼らは現象的体験のための必要条件（ただし十分条件ではない）としての、内部構造を通じて内容を一義的にエンコードする能力を提供するフレームワークを提案している。