From Checklists to Clusters: A Homeostatic Account of AGI Evaluation

あなたは、何をもって人が「賢い」とするのかを理解しようとしているのだと想像してください。長い間、科学者たちは、数学のパズルを解く、物語を覚える、図形のパターンを見つける、言語を理解するといった、さまざまな異なるタスクの巨大なリストを人々に与えることで、これを測定しようとしてきました。彼らはこれらを「ドメイン（領域）」と呼んでいます。もし人がこれらすべてにおいて優れた成績を収めれば、知能が高いという考え方です。しかし、ここには落とし穴があります。これらのテストを行う際、私たちは通常、あらゆる個々のタスクが等しく重要であるかのように扱ってしまいます。それは、ある生徒の成績をつける際に、靴紐を結ぶ能力と詩を書く能力に同じ重みを与えて採点するようなものです。また、これらのテストは通常、「スナップショット」です。一度テストを受け、スコアを得たら、それで終わりです。その生徒が来週になってもそのパズルを解けるかどうか、あるいは、テストを少し難しくしたり、再挑戦するまで数日待ったりしたら、その生徒が崩れ落ちてしまわないかについては、わからないのです。

これが、人工汎用知能（AGI）評価の世界です。AGIとは、人間のように賢く柔軟で、プログラムされた特定の状況だけでなく、あらゆる状況で学習し問題を解決できるコンピュータを構築するという夢です。現在、研究者たちは、これらと同じ「スナップショット」形式のチェックリストを用いてAIシステムをテストしています。しかし、もし私たちがAIが真に「汎用的」な知能を持っているかどうかを知りたいのであれば、その知能が本物で持続的なものなのか、それともストレスがかかった時に壊れてしまう単なる幸運なトリックなのかを知る必要があります。この論文は、大きな問いを投げかけています。どうすれば、単にポイントを数えることをやめ、機械の精神の「安定性」を測定し始めることができるのでしょうか？

この論文の著者たちは、現在のAIのテスト方法は、車を晴れた日に直線でどれだけ速く走れるかだけで判断するようなものだと述べています。速く見えるかもしれませんが、それだけでは、凸凹道でもエンジンが持ちこることや、雨の中でもブレーキが効くかどうかまでは分かりません。彼らは、真の知能とは――人間であれ機械であれ――単なるスキルのリストではないと主張しています。むしろ、それは**恒常的な特性クラスター（homeostatic property cluster）**のようなものです。それは、もっと専門的な言い方をすれば、たとえ状況が混乱したり変化したりしても、内部的なメカニズムによってそれらが結びつき続け、一体となって機能する能力のグループのことです。

知能を、よくできたキャンプファイア（焚き火）だと考えてみてください。「ドメイン」（数学、言語、論理）は薪（まき）です。しかし、火そのものは、すべての薪を共に燃やし続けるための「熱」と「炎」です。もし単に薪（スキル）を積み上げるだけで、それらを燃やし続けるメカニズム（恒常的な部分）がなければ、少しの風（ストレッサーや遅延）によって火は吹き消されてしまいます。論文は、現在のテストは薪があるかどうかを確認しているだけで、風が吹いても火が生き残れるかどうかを無視していると示唆しています。

著者たちは、この問題を解決するために2つの主要な変更を提案しています。第一に、すべてのテスト問題が等しく重要であると扱うべきではないと彼らは言います。密度の高い薪がより熱く燃えるように、特定のスキルはシステム全体を維持するために、より「中心的」な役割を果たします。彼らは、**中心性優先スコア（centrality-prior score）**と呼ばれる新しい採点法を用いることを提案しています。これは、人間の知能がすでにどのように研究されているかというアイデアを借りて、特定のスキルがシステム全体の安定性を維持するためにどれほど役立つかに基づいて、テストに重み付けを行うものです。それは、生徒の成績をつける際に、単一の事実を暗記する能力よりも、新しいことを学ぶ能力をより重視して採点するようなものです。

第二に、彼らは一度限りのスナップショットに頼ることをやめたいと考えています。代わりに、**クラスター安定性指数（Cluster Stability Index）**を提案しています。これは単に一度高いスコアを取ることではなく、時間の経過や圧力の下でもそのスコアを維持できることを証明することです。彼らは、以下の3つの方法でAIをテストすることを提案しています。

1. プロファイルの持続性（Profile Persistence）：AIは数日後や数週間後も、物事のやり方を覚えているか？
2. 耐久学習（Durable Learning）：何か新しいことを教えたとき、それは定着するのか、それともすぐに忘れてしまうのか？
3. エラー訂正（Error Correction）：もしAIが間違いを犯した場合、クラッシュすることなく自力で修正できるか？

この論文は、完璧なテストを構築したとか、AGIの測定問題をすでに解決したと主張しているわけではありません。代わりに、著者たちはこれらの新しい手法がより優れているであろうと「示唆」しています。彼らは、これらのテストが「ブラックボックス」的なアプローチ（AIの内部構造が正確に分からなくても可能であること）で行えることを提示しています。また、これらの新しいテストを用いた場合に何が起こるかについての予測も行っており、現在の多くのAIシステムは、安定性とストレス耐性をチェックし始めると、実際には非常に異なって見える（おそらく、より「汎用的」な知能ではなく、より脆いものに見える）だろうと示唆しています。

要約すると、この論文は、チェックボックスに印をつけていくことから、火が灯り続けているかを確認することへと移行する必要があると主張しています。重要なスキルに重み付けを行い、遅延やミスに対処できるかどうかをテストすることで、私たちはようやく、機械が本当に賢いのか、それとも単に賢いふりをしているだけなのかについて、より明確な姿を捉えることができるのかもしれません。