Geometric and Information Compression of Representations in Deep Learning

ロボットにさまざまな種類の果物を認識させる方法を教えていると想像してください。あなたは、リンゴ、バナナ、オレンジの写真を何千枚もロボットに見せます。ロボットの仕事は、写真（入力）を見て、それがどの果物であるかを判断するのに役立つ、秘密の内部的な要約（潜在表現）を作成することです。

この論文は、そのロボットがどのように「考えているか」について、非常に具体的な問いを投げかけています。ロボットの内部的な要約をより「小さく」したり「単純」にしたりすることは、常に似たもの同士の果物をより密接にグループ化することを意味するのでしょうか？

長い間、研究者たちはその答えは「イエス」であると考えてきました。もしロボットが写真の不要な詳細を大量に捨て去った（低い情報量）のであれば、それはすべてのリンゴを一つのタイトな塊に、すべてのバナナを別の塊に、というように、きれいに詰め込んだ結果であるはずだと考えていました（高い幾何学的圧縮）。

しかし、この論文の著者たちはこう言います。「ちょっと待ってください。」

以下に、彼らの発見を簡単な比喩を用いて解説します。

1. 「単純さ」を測る2つの方法

研究者たちは、ロボットの思考がどれほど「圧縮」されているかを測る2つの異なる方法を調査しました。

• 情報圧縮（「ノイズ」テスト）： これは、ロボットが元の写真の情報をどれだけ記憶しているかを測定します。もしロボットが（照明や背景などの）特定の写真に関する詳細をほとんど忘れ、果物の種類だけを記憶しているなら、それは情報量が低くなります。
  • 比喩： あなたが警察の似顔絵描きに友人の特徴を伝えていると想像してください。もしあなたが「それは人間です」と言ったなら、あなたは情報を大幅に圧縮しました。髪の色、身長、服装といった詳細を忘れてしまったのです。
• 幾何学的圧縮（「パッキング」テスト）： これは、ロボットが似たものをどれだけタイトにグループ化しているかを測定します。もしロボットの頭の中で、すべての「リンゴ」の写真が一つの一つの小さな、引き締まった円の中に集まり、すべての「バナナ」の写真が別の離れた円の中に集まっているなら、それは高い幾何学的圧縮です。
  • 比喩： クローゼットを想像してください。もしシャツをすべて一つの大きな乱雑な山に放り込んだら、それは幾何学的圧縮が低いです。もしシャツを完璧に畳み、きれいに積み重ねたタワーにしたなら、それは高い幾何学的圧縮です。

2. 大きな驚き：それらは必ずしも一致しない

この論文の主な発見は、「情報の低さ」は自動的に「タイトなパッキング」を意味するわけではないということです。

著者たちは、「トイ・モデル」（単純なシミュレーション）を使用して、その理由を示しました。彼らは、情報を「低く」する方法（詳細を忘れる方法）が2通りあることを発見しました。

1. 「タイトな塊」メソッド： ロボットが完璧に学習します。すべてのリンゴを一つの小さく整った塊にまとめます。背景のノイズは忘れます。
   • 結果： 低い情報量 ＋ 高い幾何学的圧縮。（これは人々が予想していたことです）
2. 「スタティック（静止画ノイズ）」メソッド： ロボットがあまりに混乱しているか、あるいはノイズが多すぎるため、リンゴとバナナの違いを判別できません。ただランダムなノイズを出力している状態です。ランダムなノイズを出力しているため、入力に関する詳細は一切記憶していません。
   • 結果： 低い情報量 ＋ ゼロの幾何学的圧縮（すべてがぼやけた混沌とした状態）。

比喩：
トランプの束を仕分けようとしていると想像してください。

• シナリオA： あなたはマークと数字ごとに完璧に仕分けました。あなたは「乱れ（メス）」を取り除き（低情報量）、カードはタイトで整然とした束になっています（高い幾何学的圧縮）。
• シナリオB： あなたはトランプをブレンダーに入れて粉砕しました。ブレンダーがカードを破壊しました。今や、あなたにはカードに関する情報は残っておらず（低情報量）、しかし、マークごとの整然とした束も存在しません（幾何学的圧縮なし）。

この論文は、ディープラーニングにおいて、ロボットがシナリオB（単なるノイズ状態）に陥っており、それでもなお「情報を圧縮した」ように見えてしまうことがあることを示しています。

3. 「混乱させる」要因：汎化

研究者たちは、「詳細を忘れること」と「物をタイトにパッキングすること」の関係が、実際には負の相関があり、非線形であることを見出しました。

• 時には、ロボットが（見たことがない新しい果物を予測するという）「汎化」において上手くなったとき、これら2つの尺度は逆方向に動きます。
• 彼らは、汎化（新しいデータに対して賢く振る舞う能力）が、「コンファウンダー（交絡因子）」として機能していると考えています。つまり、汎化が「忘れること」と「パッキングすること」の間の単純なつながりをめちゃくちゃにしているのです。

学生がテストを受けている様子を考えてみてください。

• もし学生が答えを完璧に暗記したなら、スコアは高くなるかもしれませんが、概念を本当に「理解」したわけではありません（悪い汎化）。
• もし学生が概念を理解しているなら、具体的な数字は忘れてしまうかもしれませんが、論理は正しくなります（良い汎化）。
• この論文は、「どれだけデータを『忘れたか』」を見るだけで「学習」を測定しようとすることは、学生の実際の理解（汎化）が全体の構図を変えてしまうため、誤解を招く可能性があることを示唆しています。

4. 証明のために行ったこと

これを証明するために、彼らは単に推測しただけではありません。彼らは多くの異なる「ロボットの脳」（ニューラルネットワーク）を構築し、それぞれ異なる方法で学習させました。

• あるものは、非常にノイズが多くなるように強制されました（思考にランダムなノイズを加える）。
• あるものは、物事をタイトにグループ化するように強制されました（クラスタリングを行う特別なルールを使用）。
• 彼らはこれらのロボットを、画像（猫や犬など）やテキスト（ニュース記事など）でテストしました。

結果： これらほぼすべての実験を通じて、彼らは、低い情報量が必ずしも信頼できるタイトなパッキングを意味しないことを発見しました。実際には、パッキングがタイトになればなるほど、ロボットはより多くの情報を持っているように見えることもあれば、その逆もあります。

まとめ

長い間、科学者たちはこう考えてきました。「もしロボットが詳細を忘れるなら、それはデータを完璧に整理しているに違いない。」

この論文はこう言っています。「必ずしもそうとは限りません。」

ロボットが詳細を忘れているのは、完璧に整理しているからかもしれませんし、あるいは、単に混乱してノイズだらけになっているからかもしれません。したがって、「どれだけ忘れたか」を、単純なショートカットとして「どれだけうまく整理できているか」の指標として使うことはできません。

この論文は、ディープラーニングがなぜ機能するのかを説明しようとする際、私たちはもっと慎重になる必要があると結論付けています。「データを圧縮した」と言うだけでは不十分です。なぜなら、圧縮には2つの全く異なる方法があるからです。一つはスマートなもの（優れたクラスタリング）、もう一つは単に乱雑なもの（ノイズ）です。