A Fiber Criterion for Representation Identifiability in Supervised Learning

技術的要約：表現の識別可能性に関するファイバー基準

問題提起
教師あり学習において、モデルは通常、入力・出力の振る舞い（予測精度やリスク）に基づいて評価される。しかし、現代のモデルは単なる予測器としてではなく、内部的な写像 $h$ が圧縮、不変性、もつれのない分離（disentanglement）、あるいは意味的なアクセシビリティといった特定の構造的特性を備えていると主張される「表現学習器」として解釈されることが多い。本論文は、根本的なギャップを指摘している。すなわち、教師ありの証拠は合成予測器 $f = c \circ h$（ここで $h$ は入力を表現へと写し、$c$ は表現を出力へと写す）を制約するが、それが実現する特定の分解 $(h, c)$ を必ずしも決定するわけではない。

二つの異なる分解が、全く同じ予測器 $f$ を誘導しながら、実質的に異なる内部表現を持つことがある。例えば、ある表現は不要な情報（nuisance information）を破棄しているかもしれないが、別の表現はそれを保持しているかもしれない。あるいは、一方は圧縮されているが、他方は圧縮されていないかもしれない。本論文は、次の問いを定式化する：内部表現 $h$ のどの特性が、誘導された予測器 $c \circ h$ によって一意に決定されるのか？ 著者らは、追加の仮定がない限り、一般的な表現レベルの主張の多くは、教師ありの予測的振る舞いのみからは識別不可能であると論じている。

手法および理論的枠組み
本論文は、表現とヘッドのペアの空間における**ファイバー（fiber）**の概念に基づいた、形式的な識別可能性の枠組みを通じてこの問題にアプローチする。

1. 予測器の等価性とファイバー:
   $\mathcal{M}$ を許容される表現とヘッドのペア $(h, c)$ のクラスとする。本論文は、射影写像 $\Pi: \mathcal{M} \to \Pi(\mathcal{M})$ を定義する。ここで $\Pi(h, c) = [c \circ h]_{P_X}$ であり、これは $P_X$-ほとんど至る所での等価性まで考慮した誘導予測器を表す。

   • 二つのペア $(h, c)$ と $(\tilde{h}, \tilde{c})$ が予測器等価であるとは、それらが同じ予測器を誘導する場合（$c \circ h = \tilde{c} \circ \tilde{h}$ がほとんど至る所で成立する場合）を指す。
   • 同じ予測器を誘導するすべてのペアの集合は、$\Pi$ のファイバーを形成する。

2. ファイバー／降下基準（Fiber/Descent Criterion）:
   中心となる理論的結果（定理 3.3）は、表現の識別可能性に関する必要十分条件を確立する：

   • 表現の特性 $P$ が、誘導された予測器から識別可能であるための必要十分条件は、$P$ が $\Pi$ のすべてのファイバー上で一定であることである。
   • 言い換えれば、$P$ は予測器自体のウェルディファインドな特性へと「降下（descend）」しなければならない。もし $P$ が単一のファイバー内で変化する場合（すなわち、二つの分解が同じ予測器を生成するが、$P$ の値が異なる場合）、$P$ は予測器のみから推論することはできない。

3. 増強による障害（The Augmentation Obstruction）:
   非識別性を実証するために、本論文は**予測器保存的な増強（predictor-preserving augmentation）**と呼ばれる標準的な構成を導入する。

   • 分解 $(h, c)$ と補助統計量 $q(x)$ が与えられたとき、新しい表現 $h_q(x) = (h(x), q(x))$ と新しいヘッド $c_q(u, v) = c(u)$ を構築できる。
   • 新しいヘッドは付加された座標 $q$ を無視するため、$c_q \circ h_q = c \circ h$ が点ごとに成立する。これにより、予測器および教師ありリスクは変化しない。
   • しかし、新しい表現 $h_q$ は、最小性、圧縮、不変性、または意味的なアクセシビリティといった特性において $h$ と異なる可能性がある。
   • 定理 3.5（増強による障害）: もしモデルクラス $\mathcal{M}$ が予測器保存的な増強に対して閉じている場合、そのような増強を適用した際に変化するあらゆる表現特性は、誘導された予測器から（したがって、スカラーの教師ありリスクからも）識別不可能である。

4. 識別可能性の回復:
   本論文は、許容されるクラス $\mathcal{M}$ を制限すること（例：アーキテクチャ上の制約、ボトルネック、あるいは帰納バイアス）によって、識別可能性を回復できることを述べている。これにより、「悪い」増強を排除するか、あるいは観測対象を豊かにする（例：補助的な損失、複数の環境、あるいは直接的な測定を追加する）ことが可能となる。

主な貢献

• 表現の識別可能性の定式化: 本論文は、表現レベルの識別可能性を、潜在的な生成因子に関する統計的識別可能性とは区別し、厳密に誘導された予測器の観点から定義した。
• ファイバー／降下基準: 特性が識別可能であるためには、表現と予測器の射影のファイバー上で一定でなければならないという、厳密な数学的基準（定理 3.3）を提供した。
• 一般的な障害メカニズム: 予測器保存的な増強を、非識別性の普遍的な証拠として特定し、最小性、圧縮、不変性、等変性、不要情報の除去、意味的なアクセシビリティを含む一般的な欲求に適用した（表1）。
• 経験的診断: 本論文は二種類の経験的証拠を提供している：
  1. 厳密な代数的証拠: CelebA, CIFAR-10, STL-10, OfficeHome, PACS における実験において、表現に補助情報（意味的属性、変換埋め込み、ドメインラベル）を付加した。その結果、予測器は同一（不一致はゼロ）である一方で、標準的な診断指標（プローブ精度、不変性距離、有効ランク）が劇的に変化することを示した。
  2. 性能一致研究: 異なる制約（ERM, Bottleneck, VIB, AugInv, SupCon）を用いて訓練された、同様の教師あり性能を持つモデルを比較したWaterbirdsデータセットを用いた研究。結果は、これらのモデルが、同等のテスト精度や損失を持っているにもかかわらず、異なる表現診断（例：有効ランク、不要情報のデコーダ可能性）を選択していることを示している。

結果

• 理論的: 本論文は、圧縮、不変性、および意味的なアクセシビリティといった特性が、教師ありの予測のみから導かれるものではないことを証明した。これらは、予測器のファイバー内で変化する。これらは、許容されるクラスが制限されない限り、予測器自体によって決定されない。
• 経験的:
  • 厳密な証拠実験において、表現に単一の座標（例：ドメインラベル）を付加することで、元の表現では不可能であった情報をプローブで100%の精度でデコードできるようになったが、予測器の出力は変わらなかった。
  • Waterbirdsの研究では、性能が一致したモデル間で、表現特性に大きな乖離が見られた。例えば、Information Bottleneck手法は、ERM（有効ランク $\approx 35.7$）と比較して、極めて低いランクの表現（有効ランク $\approx 1.8$）を選択した。また、増強不変性（augmentation-invariance）手法は、変換への感度を低下させたが、不要情報のデコーダ可能性は維持していた。決定的なのは、最悪グループの精度（worst-group accuracy）は、不要情報のプローブ精度と単調な相関を持たなかったことであり、これは表現レベルの主張には、予測性能を超えた特定の正当化が必要であることを示唆している。

意義および主張
本論文は、教師ありの予測的振る舞いと内部表現の特性との間の論理的関係を明確にすることを目的としている。その主要な貢献は、表現に関する主張に対する教師あり学習の十分性に関する否定的な結果である：

• 教師ありの予測的振る舞いは、その特性が誘導された予測器によって決定されている場合にのみ、表現レベルの特性を保証する。
• 圧縮、不変性、または意味的構造に関する主張は、低い教師あり損失の自動的な帰結ではない。
• これらの主張を正当化するためには、予測器を超えた追加の構造（例：アーキテクチャの制限、正則化、ボトルネック、データ拡張、補助的な目的関数、因果的仮定、あるいは直接的な表現レベルの測定）に依拠しなければならない。

本論文は、表現レベルの識別可能性は、許容される分解のクラスに依存すると結論付けている。予測器のファイバーを縮小したり、特定の代表を選択したりする制約がない限り、教師ありモデルの内部構造は、入力・出力の振る舞いだけでは過小決定されたままとなる。