🤖 machine learning

The role of class encoding in neural collapse

本論文は、ラベルエンコーディングがニューラル崩壊にどのように影響するかを調査し、均衡データにおけるワンホットエンコーディングされたラベルに対して、バイアス正則化を強めることで、中心化されていない平均特徴量が正単体等角タイトフレームから直交フレームへと遷移することを実証するとともに、分類器のバイアスが一般に任意のラベルエンコーディングを中心化させる役割を果たすことを示している。

原著者： Bastien Massion, Roy Makhlouf, Estelle Massart

公開日 2026-06-02

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Bastien Massion, Roy Makhlouf, Estelle Massart

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、混ざり合ったおもちゃの山を異なる箱に仕分けするよう、ロボットのチーム（ニューラルネットワーク）を訓練していると想像してください。ロボットたちには、おもちゃを処理する「脳」（隠れ層）と、正しい箱を指し示す「意思決定者」（最終的な分類器）があります。

この論文は、**ニューラル・コラプス（Neural Collapse）**と呼ばれる、奇妙で美しい現象について調査しています。ロボットたちが仕事において非常に優秀になったとき（ミスがゼロになったとき）、彼らの脳内で魔法のようなことが起こります：同じ箱に入っているおもちゃの内部表現が、互いに固まって、タイトで完璧なグループを形成し始めるのです。

以下に、著者らが発見した内容を、日常的な比喩を用いて分かりやすく解説します。

1. 組織化における2つの形状

論文では、これらの塊（クラスター）がどのように配置されるかを調べています。彼らは、その配置が**「ラベルの付け方」と、「意思決定者がどれだけ位置を『シフト』することを許されているか」**という2つの要素に大きく依存することを発見しました。

「直交（Orthonormal）」の形状（グリッド/格子状）: ロボットがおもちゃのグループを、完璧な正方形のグリッドの角のように配置する場合を想像してください。すべてのグループが互いに直角になっています。これは、意思決定者が正確に中心に留まるよう強制されている場合（バイアスがゼロの場合）に起こります。
「単体（Simplex）」の形状（ピラミッド状）: グループがおもちゃのグループが完璧なピラミッドの角（グループが3つしかない場合は三角形）のように配置される場合を想像してください。それらは互いに等間隔ですが、わずかに傾いています。これは、意思決定者が自由に動ける場合に起こります。

大きな発見: 著者らは、これら2つの形状は実は別々の世界ではないことに気づきました。これらは、単に**「同じ形がシフトしたもの」**なのです。

「グリッド」を、テーブルの上に置かれたピラミッドだと考えてください。
ピラミッド全体を持ち上げると（バイアスを加えると）、ピラミッドの中心は移動しますが、角同士の相対的な角度は変わりません。
論文では、「正則化ノブ」（意思決定者がどれだけ動くことを許すかを制御するもの）を調整することで、ロボットの脳をグリッドの形状からピラミッドの形状へと、スムーズにスライドさせられることを示しています。

2. 「ラベル」の役割（箱のタグ）

論文では、次のような問いを立てています：「箱に名前をどう書くかは重要なのでしょうか？」

標準的なラベル（One-Hot）: 通常、私たちは箱に対して、正しい箱には「1」、それ以外には「0」というラベルを付けます（電灯のスイッチのようなものです）。
バイアスの役割: 著者らは、意思決定者の「バイアス」が**「補償器」**として機能することを発見しました。その主な役割は、すべてのラベルの平均的な位置が部屋のちょうど真ん中に来るようにすることです。
- もしラベルが自然に中心に寄っている（バランスが取れている）なら、バイアスはゼロのままです。
- もしラベルが中心から外れている（変わったコーディングシステムを使っている）なら、バイアスはシステム全体を引き戻して中心に持っていくためにシフトします。これは、バランスを保つために棒を調整する綱渡りの人のようなものです。

3. 何が変化し、何が変わらないのか？

論文では、ラベルを変更すること（エンコーディング）が、ニューラル・コラップスの魔法を壊してしまうかどうかを検証しています。

「塊を作る性質（NC1）」: この部分は**非常に頑健（ロバスト）**です。ラベルをどのように付けようと、あるいはバイアスをどのように調整しようと、ロボットは常に同じおもちゃを同じ場所に固めます。これは、「箱をどんな色で塗ろうとも、赤い車は常に赤いゾーンに駐車する」と言えるのと同じです。
「完全な対称性（NC2）」: ここではラベルが重要になります。完璧なピラミッドの形状は、ラベル自体に特定の対称性がある場合にのみ形成されます。もしラベルをめちゃくちゃにスクランブルさせると、ロボットは完璧なピラミッドを形成できないかもしれませんが、それでも「塊を作る」ことは行います。
「鏡像関係（NC3）」: 通常、意思決定者の重みは、塊となったおもちゃのグループと全く同じ形になります（自己双対性と呼ばれる性質）。論文では、ラベルを回転させたり反転させたりすると、この鏡像関係が壊れることを発見しました。しかし、それは本当に壊れたわけではなく、単に回転しただけなのです。もし意思決定者を回転させて元に戻せば、鏡像関係は戻ってきます。つまり、つながりは失われておらず、ただ「違う帽子を被っている」だけなのです。

まとめ

要約すると、この論文はニューラル・コラプスが非常に安定した現象であることを説明しています。

ロボットは常に似たものを一緒にグループ化します。
これらのグループの具体的な幾何学的形状（グリッドかピラミッドか）は、「バイスのノブ」と「ラベルの書き方」によって制御されます。
バイアスは**「中心化メカニズム」**として機能し、ラベルがどのようにエンコードされていても、システムがバランスを保てるようにします。
たとえラベルがスクランブルされても、根本的な「塊を作る性質」は残り、グループと意思決定者の関係は、破壊されるのではなく、単に回転しているだけです。

著者らは新しい医学的な用途や将来的な応用を提案したのではなく、AIの脳が最高のパフォーマンスを発揮しているときに、それらがどのように自身を組織化しているかという、数学的な「幾何学」を解明したのです。

技術要約：ニューラル崩壊におけるクラス・エンコーディングの役割

問題提起
ニューラル崩壊（Neural Collapse, NC）は、訓練誤差がゼロに達した際の深層ニューラルネットワーク分類器における、最終隠れ層の活性化の特定の幾何学的構造として観察される現象である。NCは、クロスエントロピー損失を用いた非制約特徴モデル（Unconstrained Features Model, UFM）の下で広く研究されてきたが、平均二乗誤差（MSE）損失下での挙動については依然として調査の対象となっている。具体的には、先行研究において、UFMとMSE損失およびワンホット・エンコーディングを用いた場合、クラス平均の活性化には、分類器のバイアスが存在しないか、あるいは強く正則化されている場合には「直交フレーム（Orthogonal Frame, OF）」、アンレギュラライズされたバイアスが存在する場合には「単体等角タイトフレーム（Simplex Equiangular Tight Frame, ETF）」という、2つの異なる構造的結果が生じることが特定されている。これらの構造と、任意のラベル・エンコーディングがNCの特性に与える影響との関係は、完全には理解されていない。本論文は、ラベル・エンコーディングとバイアス項が、これらの幾何学的構造の出現に果たす役割を扱う。

手法
著者らは、MSE訓練損失を用いた非制約特徴モデル（UFM）を用いて問題を分析している。最適化問題は、すべてのパラメータに対する $\ell_2$ 正則化を制約条件として、非制約特徴（ $H$ ）、線形分類器（ $W$ ）、およびバイアス項（ $b$ ）について損失を共同で最小化することを含む。本研究では以下を検討する：

ラベル・エンコーディング： 標準的なワンホット・エンコーディングから、任意のエンコーディング行列 $\bar{Y} \in \mathbb{R}^{K \times K}$ （ラベル平滑化を含む）まで。
バイアス正則化： 分類器バイアスに関連する正則化係数 $\lambda_b$ の影響。
データのバランス： バランスの取れたデータと不均衡なデータの両方のシナリオをカバーする分析。

理論的導出は、グローバルな最小化因子を特徴付けるための一次最適条件に基づいている。著者らは、観察された幾何学的構造を統一するために、「シフトされた単体等角タイトフレーム（Shifted Simplex Equiangular Tight Frame, SSETF）」という概念を導入する。

主要な貢献と結果

OFとSimplex ETF構造の統一：
本論文は、OFとSimplex ETFの間の遷移がバイアス項によって制御されることを示している。ワンホット・エンコーディングとバランスの取れたデータの場合、バイアス正則化係数 $\lambda_b$ が減少するにつれて、非中心化された平均特徴はOFからSimplex ETFへと連続的に遷移する。
- メカニズム： 最適なバイアス $b^*$ は、ラベルの非中心性を補償するように機能する。レギュラライズされていないバイアス（ $\lambda_b = 0$ ）の極限において、バイアスはラベルの平均となり、実質的に問題を中心化させ、Simplex ETF構造をもたらす。
- SSETFの定義： 著者らは、OF（シフトパラメータ $\beta=0$ ）とSimplex ETF（シフトパラメータ $\beta=1$ ）の両方を包含する一般化としてSSETFを定義する。彼らは、任意のSSETFを中心化するとSimplex ETFになることを証明している。
任意のエンコーディングにおけるバイアスの役割：
ワンホット・エンコーディングを超えて、著者らは、任意のラベル・エンコーディングと不均衡なデータに対しても、UFMにおける最適なバイアスがラベルを中心化しようとすることを示す。具体的には、ラベルが中心化されている場合（ $Y \mathbf{1}_N = 0$ ）、最適なバイアスは $\lambda_b$ に関わらずゼロとなる。ラベルが中心化されていない場合、バイアス項は、ラベルのグローバルな平均と原点の間の不一致を補償するように解をシフトさせる。
変動性の崩壊（NC1）の堅牢性：
本論文は、データがバランスされている場合、いかなるラベル・エンコーディングおよびいかなるバイアス正則化強度 $\lambda_b \geq 0$ に対しても、ニューラル崩壊の第一の性質（NC1）――すなわち、特徴量がそのクラス平均へと崩壊すること――が保持されることを証明している。これは、変動性の崩壊が特定のエンコーディング・スキームに依存しないことを示している。
自己双対性（NC3）およびNC3'への影響：
本研究は、分類器の重みがクラス平均と整列するという標準的な自己双対性（NC3）が、任意のエンコーディングに対して堅牢ではないことを明らかにしている。ラベルに直交変換を適用すると、 $W^*$ とクラス平均 $\bar{H}^*$ との直接的な整列が崩れる。
- 提案された解決策： 著者らは、より弱いバリアントである NC3' を提案する。これは、分類器の重みが、スケーリングおよび直交回転／反射を除いてクラス平均に収束するというものである。彼らは、MSE損失を用いたUFMの下で、バランスの取れたエンコーディングに対してNC3'が成立することを証明している。
Simplex ETF（NC2）およびSSETFへの収束：
本論文は、もし最適な平均特徴がSSETFを形成する場合、それらを中心化したものはSimplex ETFを形成すること（NC2を満たすこと）を確立している。著者らは、バランスの取れたシナリオにおいて、平均特徴がSSETFを形成するための必要十分条件は、ラベル・エンコーディング自体がSSETFであることであるという仮説を立てている。このファミリーには、ワンホット・エンコーディングとラベル平滑化の両方が含まれる。

意義と主張
本論文は、MSEで訓練された分類器において観察される以前の明確に異なるOFとSimplex ETFの構造の間に理論的な架け橋を提供し、その違いをバイアス項によるラベルの中心化の役割のみに帰属させていると主張している。SSETFの枠組みを導入することで、本研究は任意のラベル・エンコーディングに対するニューラル崩壊の理解を一般化している。

著者らは、NC2（SSETFエンコーディング経由）の十分条件を特定し、NC1とNC3'の堅牢性を証明した一方で、不均衡な設定においてどのエンコーディングがNC2を導くかを完全に特徴付けることは依然として未解決の課題であると控えめに述べている。本研究は新しいアルゴリズムや実験的応用を提案するものではなく、ラベル・エンコーディングとバイアス正則化がどのように相互作用してニューラル崩壊の幾何学的景観を形成するかについての理論的な明確化を提供するものである。

1. 組織化における2つの形状

2. 「ラベル」の役割（箱のタグ）

3. 何が変化し、何が変わらないのか？

まとめ

関連論文