Do Language Models Align with Brains? Prediction Scores Are Not Enough
厳密な L-PACT フレームワークを用いた本研究は、肯定的な予測スコアを有しているにもかかわらず、現在の言語モデルは人間の脳表現と本質的に整合していないことを示しており、その見かけ上の成功は構造的な類似性ではなく対照条件によって完全に説明されるものである。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは査読を受けていないプレプリントのAI生成解説です。医学的助言ではありません。この内容に基づいて健康上の判断をしないでください。 免責事項の全文を読む
あなたが、新しい超スマートなロボット（言語モデル）が人間の脳のように考えているかどうかを判断しようとしている状況を想像してみてください。
長年にわたり、科学者たちはこの問いに答えるために、「もしロボットに物語を与えたら、次に人間の脳のどの部分が活性化するかを推測できるか？」という質問を試みてきました。ロボットが頻繁に正しく推測できれば、科学者たちは「アハ！このロボットは人間のように考えているに違いない！」と言うのです。
しかし、**「言語モデルは脳と一致するか？予測スコアだけでは不十分である」**というタイトルのこの論文は、このような考え方が欠陥があると主張しています。著者の賈小（Xiao Jia）氏は、ロボットがうまく推測できるからといって、それが実際に脳の内部機構を理解していることを意味するわけではないと述べています。それは単に運の良いパターンに基づいた推測に過ぎないかもしれません。例えば、気象予報士が「火曜日だから」という理由で雨を予報し、気象学を理解しているわけではないのと同じです。
これを証明するために、著者はL-PACTと呼ばれる厳格な「試験」を構築しました。L-PACT を単一のテストではなく、ロボットが人間との真の一致を証明するために通過しなければならない4 段階のセキュリティチェックポイントと考えてください。
L-PACT 試験の 4 つの門
高セキュリティのクラブ（「脳クラブ」）に入ろうとするロボットを想像してください。そのロボットは 4 つの門を通過しなければなりません。たとえ1 つでも失敗すれば、入場を拒否されます。
門 1：「コイン投げより良いか」チェック（予測の適切性）
- テスト： ロボットは、無意味なランダムな推測や「ノイズ」の基準（壊れたラジオのようなもの）よりも、脳活動を正確に予測できるでしょうか？
- 罠： ロボットは単なるランダムな推測だけでなく、「厳格な対照群」にも勝たなければなりません。この対照群とは、言葉がシャッフルされ、文が逆転し、あるいは層が混ざり合ったように「かき混ぜられた」ロボットだと想像してください。もし本物のロボットがこのかき混ぜられたバージョンに勝てないなら、それは真の理解ではなく、ノイズに基づいた推測に過ぎません。
- 結果： この研究のロボットたちは失敗しました。彼らはかき混ぜられたバージョンに勝つことができませんでした。
門 2：「地図チェック」（関係性の適切性）
- テスト： 正解を推測するだけでは不十分です。ロボットは、脳と同じように知識を整理している必要があります。
- 比喩： 2 つの地図を想像してください。一つは人間の脳によって描かれた都市の地図、もう一つはロボットによって描かれた地図です。両方の地図が同じ目的地にたどり着くとしても、人間の地図が公園の隣に学校を描いているのに、ロボットの地図が公園の隣に火山を描いているなら、それらは異なります。
- 罠： ロボットは、単にスコアを正しく取るだけでなく、その内部的な「関係性の地図」が人間の脳の地図と一致していることを示さなければなりません。
- 結果： ロボットたちは失敗しました。彼らの内部的な地図は、人間の脳の地図とは異なる方法で整理されていました。
門 3：「手術チェック」（メカニズムの剥離）
- テスト： これは「反事実的」なテストです。ロボット脳の特定の部分（驚きや文法を理解する能力など）を外科的に取り除いた場合、そのパフォーマンスが低下するのは、人間脳がその特定の作業を行っているときだけでしょうか？
- 比喩： 車のエンジンを取り除けば、車は走らなくなります。ロボットから「文法」の部分を取り除けば、文法タスクでは失敗するものの、他のことについては問題なく機能するはずです。もし一部を取り除くことですべてが同様に壊れてしまうなら、そのロボットは実際にはその特定の作業にその部分を使っていなかったことになります。
- 結果： ロボットたちは失敗しました。一部を取り除いた際、そのダメージが特定しすぎておらず、彼らが人間と同じ「メカニズム」を使用していたことを証明できませんでした。
門 4：「天井チェック」（信頼性限界）
- テスト： ロボットは、可能な絶対的な限界にどの程度近づいていますか？
- 比喩： 人間の脳をカメラだと想像してください。最高のカメラでも、粒状やノイズのために、写真がどれだけ鮮明になるかには限界があります。ロボットの写った写真がぼやけている場合、それはロボットが悪いからでしょうか、それともカメラ（脳）が本質的にノイズを含んでいるからでしょうか？ロボットが人間の信頼性の「天井」に達しているかどうかを知る必要があります。
- 結果： ロボットたちは天井からは程遠い位置にありました。彼らのスコアは、真の一致とみなすには低すぎました。
「陽性対照」：試験が機能していることの証明
あなたは、「もしかして試験自体が壊れているのではないか？難しすぎるのではないか？」と尋ねるかもしれません。
著者は、通過するはずのもので試験をテストすることで、試験が機能していることを証明しました。
- 「脳対脳」テスト： 彼らは、ある人間の脳の一部分を、同じ人間の脳の別の部分と比較しました。これは試験を通過しました（同じ脳だからです！）。
- 「偽信号」テスト： 彼らはデータの中に完璧な偽の信号を仕込みました。試験はそれを正しく一致として検出しました。
- 「低レベル」テスト： 試験が「単語がちょうど始まった」といった単純なものを検出できるか確認しました。それはできました。
これは、試験が壊れているのではなく、この研究のロボットたちが合格しなかっただけであることを証明しています。
大きな結論
この論文は、ポッドキャストを聴いたり物語を読んだりする人々など、いくつかの現実世界の実験からのデータを分析し、GPT-2 や Qwen などの人気のある言語モデルをテストしました。
判決：
- 146 回の試行のうち 0 回が、4 つの門すべてを通過しました。
- ロボットがうまくやっているように見えたすべての場合、より詳しく見ると、それは「偽陽性」であることがわかりました。彼らは弱い基準には勝っていましたが、「厳格な対照群（かき混ぜられたバージョン）」には敗れていました。
- 著者はこれらの結果を**「対照群で説明可能」**と呼んでいます。これは、見かけ上の成功は、ロボットが単語の頻度やタイミングなど、脳のような単純なパターンを拾っただけであり、実際に脳の仕組みをシミュレートしているからではない、という事実によって完全に説明できることを意味します。
教訓
この論文は、予測スコアだけでは不十分であると結論付けています。コンピュータモデルがあなたの脳が次に何をするかを推測できるからといって、それがあなたのように考えているわけではありません。それは単に非常に優れた推測屋かもしれません。
モデルが脳と「一致」すると真に主張するには、この厳格な 4 段階のセキュリティチェックを通過しなければなりません。この特定の研究では、テストされた特定のデータとモデルを用いて、どの言語モデルも合格しませんでした。見かけ上の類似性は、深い構造的な一致ではなく、より単純な統計的なトリックによって作り出された錯覚に過ぎませんでした。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。