The Concept of Representation in ML: Beyond Plato and Aristotle

地図と領域：クイックガイド

あなたが、一度も家から出たことがない友人に世界について説明しようとしているところを想像してみてください。あなたは座標のリストを渡すこともできますし、生のデータの塊を渡すこともできますし、あるいは美しく描かれた地図を渡すこともできるでしょう。機械学習（ML）の世界では、この「地図」は**表現（レプレゼンテーション）**と呼ばれます。それは、コンピュータプログラムが目にする情報（例えば、猫の写真を図形的な特徴である「毛深い」「尖った耳」「ひげ」といった数字のリストに変換すること）を整理する内部的な方法です。長い間、エンジニアたちは、これらの地図がコンピュータがパズル（猫を正しく識別するなど）を解くのに役立つかどうかだけを重視してきました。

しかし最近、非常に興味深いことが起こりました。科学者たちは、異なる大規模なコンピュータモデルを構築し、それぞれ異なるものに対して学習させたとき、それらの内部地図が驚くほど似通ってきたことに気づいたのです。彼らは疑問を持ち始めました。これらのコンピュータは皆、同じ「真の」世界の地図を発見しているのではないか？ この考えは、**プラトン的表現仮説（Platonic Representation Hypothesis）**と呼ばれています。これは、宇宙にはすべての猫のコピーの元となる、完璧で理想的な「猫」という概念が存在するように、すべての賢いAIモデルが徐々に発見している、単一の完璧な現実の構造が存在するという示唆です。

しかし、哲学者たちは、何かを「表現する」とは本当は何を意味するのかについて、何十年もの間議論してきました。彼らは問いかけます。猫の絵は単なる絵なのか、それとも「猫」という意味を持つのか？ その絵が人間によって描かれたのか、ロボットによって描かれたのか、あるいは落雷によって描かれたものだとしても、それは重要なのか？ 本論文はこの問いを掘り下げます。AIモデルがその地図を似せているというだけで、それらが「真実」を見つけていると言えるのか、それとも私たちは単に数学的な巧妙なトリックを見ているだけなのか、という問いです。

---

AIの地図が似通い始める時

現代の機械学習の世界では、「表現」という言葉が秘伝のソースです。それは翻訳者のようなものだと考えてください。コンピュータに犬の写真を見せるとき、コンピュータは毛や骨を見ているのではなく、複雑な数字のパターンを見ています。「表現」とは、コンピュータがその生のデータを、思考し、学習し、汎化するための形式へと翻訳する方法なのです。長年、エンジニアはこの言葉を、非常に実用的な「仕事を完遂させるため」の方法として使用してきました。もしモデルが、乱雑な画像を整然とした内部コードに変換でき、それがゲームに勝つのに役立つのであれば、そのコードは優れた表現であったと言えます。

しかし、これらのAIモデルがより大きく、より賢く、より人間らしくなるにつれ、議論は変化しました。研究者たちは奇妙な現象に気づきました。全く異なる2つのAIモデル（一方はテキストで学習し、もう一方は画像で学習し、異なるコードで構築されたもの）を取り上げ、その「脳」の中を覗いてみると、それらの内部地図が同一の形になり始めているのです。それらは収束しているのです。

この観察は、プラトン的表現仮説と呼ばれる大胆なアイデアを生みました。その名前は、背後にあるらわしく不完全な世界の後ろには、完璧で統一された現実が存在すると信じた古代の哲学者プラトンに由来します。この仮説は、AIモデルが大きくなるにつれて、単にデータを暗記するのではなく、この単一の根底にある現実の構造を「発見」し始めることを示唆しています。それはまるで、異なる教科書を使い、異なる教師を持つクラスの全生徒が、最終的に全く同じエッセイを書くようなものです。なぜなら、彼らは皆、同じ普遍的な真理を明らかにしているからです。

哲学的なスピードバンプ（減速帯）

この論文の著者であるギラド・D・ランドウとアヴィヴ・ケレンは、この刺激的な物語に対してブレーキをかけるためにここにいます。彼らは、「収束する地図」という観察自体は事実であるが、「AIが現実の真理を見つけている」という結論に飛びつくことは、非常に重要なステップを飛ばした大きな飛躍であると主張しています。

なぜそう言えるのかを理解するには、哲学における古典的な問題である**選言問題（Disjunction Problem）**を見る必要があります。想像してみてください。犬を見つけるたびに鳴るセンサーがあるとします。素晴らしい！ しかし、もしそのセンサーが、霧の中の馬や、犬の像、あるいは犬の写真を見たときにも鳴るとしたらどうでしょう？ もしセンサーがこれらすべてに対して鳴るなら、その音は実際に何を「意味」しているのでしょうか？ 「犬」を意味しているのか？ 「動物」なのか？ 「犬のような形をしたもの」なのか？ それとも「照明の悪い状態の犬」なのでしょうか？

エンジニアリングの世界では、多くの場合、この区別は重要ではありません。もしその音がロボットが犬を避ける助けになるなら、それで機能するからです。しかし、哲学において、ある状態が真の「表現」であるためには、単なる漠然とした相関関係ではなく、特定の意味を持つ必要があります。論文は、「プラトン的仮説」が、異なるモデルの内部地図がどれほど類似しているかを測定することに依存していると指摘しています。彼らは**カーネル・アライメント（kernel alignment）**と呼ばれる手法を用いていますが、これは基本的に、2つのモデルがデータを同じ幾何学的な形状で整理しているかどうかをチェックするものです。

問題は、2つの地図が同じに見えるからといって、それらが同じ真実を指しているとは限らないということです。著者らは、これらのモデルは単にデータの「ショートカット」や統計的なパターンを見つけているだけであり、現実の深い構造を見つけているのではない可能性があると主張しています。それは、2人の生徒がカンニングペーパーから同じ間違った答えを写しているようなものです。彼らの答えは完璧に一致していますが、彼らは真理を学んだわけではありません。

「スワンプマン」と欠落した歴史

また、この論文は**スワンプマン（Swampman）**と呼ばれる有名な思考実験も取り上げています。稲妻が沼地を直撃し、偶然にも人間の分子レベルでのコピーを作り出したと想像してください。この「スワンプマン」は、実在の人間と全く同じように見え、振る舞います。しかし、彼は生まれも進化もしていないため、思考を持っているのでしょうか？ 彼は世界の「表現」を持っているのでしょうか、それとも単に振る舞いを模倣しているだけの空っぽの殻なのでしょうか？

古典的な表現理論によれば、何かが「意味」を持つためには、それを正しく機能させるために形作った進化や学習の歴史が必要であるとされています。AIモデルは、人間よりもスワンプマンに近い存在です。彼らは進化したのではなく、設計され、訓練されたのです。論文は、モデルの地図が私たちのものと似ているからといって、それらが「本物の」表現を持っていると単純に仮定することはできないと示唆しています。私たちは、それらがタスクを遂行するためにどのようにその表現を「使用」しているのかを理解する必要があります。

哲学者ニコラス・シェイが提案した新しい理論は、中間的な立場を提供しています。それは、システムが生物学的に進化したものでなくても、環境から学び、時間の経過とともにその振る舞いを安定させることができれば、依然として真の表現を発達させることができるというものです。しかし、これには単にデータの形状を見る以上のことが求められます。それは「機能」を見ることです。その表現は何を「する」のでしょうか？

アリストテレス的転換：リアリティ・チェック

論文は、技術的な観点からプラトン的視点に異議を唱える、非常に興味深い追跡研究を強調しています。「プラトン的表現仮説の再検討：アリストテレス的視点」と題されたこの研究は、モデルが大きくなるにつれて、実際には「偶発的な結びつき」を作る余地が増えることを示唆しています。

これを次のように考えてみてください。コインを10回投げたとき、完璧なパターンを得るのは困難です。しかし、もし100万回投げれば、偶然によって長い連続した表のストリーク（連続）がいつか必ず現れます。同様に、AIモデルが巨大になるにつれ、可能な「偽の相関（spurious correlations）」（偶然の一致）の数も増えていきます。この研究によれば、これらの偶発的な一致を考慮に入れると、「モデル間の完璧な一致」はしばしば消失することが分かりました。

後に残るのは、より控えめな「アリストテレス的」な視点です。モデルは一つの完璧で普遍的な真理（プラトン）を見つけているのではなく、現在行っている特定のタスクのために、最適な局所的解決策（アリストテレス）を見つけているだけなのです。彼らは、宇宙の根本的な構造ではなく、目の前の問題を解決するのに役立つ構造へと収束しているのです。

これが将来に意味すること

この論文の主な教訓は、謙虚さと明晰さを求める呼びかけです。著者らは、AIが無用であるとか、AIが学習していないと言っているわけではありません。彼らは、言葉の使い方に注意すべきだと言っているのです。2つのAIモデルが内部構造について一致しているのを見たとき、すぐに現実の性質に関する形而上学的な結論に飛びついてはなりません。

代わりに、より深く掘り下げる必要があります。以下の問いを立てる必要があります。

1. 内容は何か？ モデルは何を表現しており、それが単なる偶然ではないとどうやって判断するのか？
2. 機能は何か？ この内部状態は、特定のタスクにおいてモデルの成功や失敗にどのように貢献しているのか？
3. 誰がそれを使っているのか？ システムの他の部分は、この情報をどのように解釈しているのか？

論文は、AIが何を表現しているかを真に理解するためには、単に地図がどれほど似ているかを測定することを超えなければならないと示唆しています。私たちは、それらの地図が果たす「役割」を理解するために、哲学の道具を使う必要があります。これらのモデルが自らの内部状態の意味をどのように確定させているのかを説明できない限り、「プラトン的な真理」を発見しているという考えは、美しくも証明されていない物語のままなのです。

要約すると、本論文は、「プラトン的表現仮説」が魅力的なアイデアではあるものの、現在得られている証拠は、AIモデルが似たようなパターンを見つけることに長けてきていることを示しているに過ぎないと論じています。それは、彼らが宇宙の究極の真理を見つけていることを証明するものではありません。それを知るためには、単に地図を見るだけでなく、モデルがその地図を描くために辿った「旅路」を理解する必要があるのです。