🤖 AI

Structural Ranking of the Cognitive Plausibility of Computational Models of Analogy and Metaphors with the Minimal Cognitive Grid

本論文は、機能/構造比、一般性、および性能の一致に基づく形式化された定量的アプローチを用いて、SME、CogSketch、METCL、および LLM を含むアナロジーとメタファーの主要な計算モデルの認知的妥当性を体系的に評価し、順位付けするために、最小認知的グリッド枠組みを適用する。

原著者： Alessio Donvito, Antonio Lieto

公開日 2026-05-06

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Alessio Donvito, Antonio Lieto

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたがタレントショーの審査員だと想像してください。ただし、出場者が歌手やダンサーではなく、人間の思考のように振る舞おうとするコンピュータプログラムです。具体的には、それらは「A は B に対して、C は D に対して」といった類推や、「私の仕事は刑務所だ」といった比喩を含むパズルを解こうとしています。

この論文の著者であるアレッシオ・ドンヴィトとアントニオ・リエトは、ミニマル・コグニティブ・グリッド（MCG）と呼ばれる特別な採点システムを作成しました。このグリッドを三脚の椅子だと考えてください。コンピュータがその椅子に快適に座り、「認知的に妥当な」モデル（単にそう見えるのではなく、人間のように考えるモデル）と見なされるためには、三本の脚すべてでバランスを保つ必要があります。

以下に、簡単な類推を用いて三本の脚の仕組みを説明します。

脚 1：設計図の一致（機能的/構造的比率）

問い： コンピュータは人間の脳と同じ方法で答えを構築しているのか、それとも魔法のように正解を導き出しているだけなのか？

類推： 二人の人が鳥小屋を作ろうとしていると想像してください。
- 人物 A（構造的モデル）： 大工が取るのと同じ手順で、木材、釘、ハンマーを使用します。彼らは遅いかもしれませんが、そのプロセスは人間らしいものです。
- 人物 B（機能的モデル）： 3D プリンターやレーザーカッターを使用します。彼らは全く同じ鳥小屋を手に入れますが、その内部の機械は人間の手に全く異なります。
論文の主張： 著者らは、コンピュータが私たちがどのように考えるかの良いモデルとなるためには、「木材と釘」のアプローチ（構造的）を使用する必要があると主張しています。
- SME と CogSketch： これらは大工のようなものです。人間が類推を行う仕組みを模倣する特定の規則（例えば「一つのものから一つのものへの対応付け」）を使用します。ここで高いスコアを獲得します。
- LLM（GPT-4 など）： これらは 3D プリンターのようなものです。彼らは鳥小屋を作る（正解を得る）のが素晴らしいですが、それは人間のような論理的な手順に従うのではなく、膨大な本のライブラリからパターンを推測することで行います。その「内部機構」は人間の思考とは異質であるため、ここで非常に低いスコアになります。
- METCL： これは中間的な大工です。対応付けではなく分類に焦点を当てた、異なる設計図を使用するため、スコアは中間になります。

脚 2：スイスアーミーナイフ（汎用性）

問い： コンピュータは多様な種類の思考を行えるのか、それとも一芸に秀でただけなのか？

類推：
- 専門家： 名人を打ち負かすことができるチェスの名人ですが、靴紐を結んだり卵を焼いたりすることはできません。
- 一般家： チェスを遊び、料理をし、車を運転し、数学の問題を解くことができる人。
論文の主張： 著者らは、これらのシステムが数学、視覚的パズル、言語、さらには物理的な動き（感覚運動技能）を処理できるかどうかを見ています。
- LLM： これらは究極の一般家です。読み書き、数学、画像の認識が可能です。ここで最も高いスコアを獲得します。
- SME と CogSketch： これらは専門家です。視覚的なパターンなどの特定の論理パズルは得意ですが、数学を行ったり複雑な文を理解したりすることはできません。ここで低いスコアになります。
- METCL： これも専門家で、主に言語の比喩に焦点を当てています。

脚 3：ミラーテスト（パフォーマンスの一致）

問い： コンピュータが間違えたとき、それは人間が犯すのと同じ種類の誤りを犯しているのでしょうか？

類推： テストを受けていると想像してください。
- 概念を誤解して間違えた場合、それは「人間らしい」間違いです。
- コンピュータの故障やランダムな推測によって間違えた場合、それは「機械的な」間違いです。
- 目標は、コンピュータの「故障」が人間の混乱のように見えるかどうかを確認することです。
論文の主張：
- SME と CogSketch： これらはこの点で優れています。視覚的パズル（例えばレイヴン・プログレッシブ・マトリックス）で失敗する際、彼らが失敗するのは人間が苦労する全く同じ難しいパズルです。思考にかかる時間も人間と似ています。非常に高いスコアを獲得します。
- LLM： 彼らはしばしば正解しますが、失敗するときは、その誤りが人間とは異なります。彼らは、人間を混乱させないようなわずかな言葉の変化に混乱することがあります。ここで低いスコアになります。

最終スコアボード

著者らは、この三つのスコアを組み合わせ、「認知的妥当性」のタイトルを誰が獲得するかを判断します。彼らは、正解を得るだけでなく、人間がどのように考えるかを理解することが主な目標であるため、**脚 1（設計図）**が最も重要であると決定しました。

勝者（厳格なルール下）： CogSketch と SME。 これらは「一芸に秀でた存在」（汎用性が低い）ですが、人間のように考えます。彼らは人間の心を研究するための最良のモデルです。
準優勝： METCL。 中間に位置し、人間のようなことをいくつか行いますが、上位 2 者ほど包括的ではありません。
「魔法」の箱： LLM（GPT-4 など）。 これらは非常に賢く多用途（汎用性が高い）ですが、人間のように考えません。問題解決のためのツールを望むなら、彼らは素晴らしいです。しかし、人間がなぜそのような考え方をするのかを説明するモデルを望むなら、論文によれば彼らは最良の選択ではありません。

大きな教訓

この論文は、「賢い」（正解を得る）ことと、「認知的に妥当である」（人間のように考える）ことは異なる、と結論付けています。

LLMは、台本を完璧に暗記し、人間と全く同じように聞こえるスーパー俳優のようです。しかし、彼らは実際には感情を感じていません。
SME/CogSketchは、実際に感情を感じ、キャラクターの論理を通じて思考する方法俳優のようです。たとえ台詞をそれほど多く暗記できなくても、彼らはそうします。

著者らは、人間の心を研究するためのどのコンピュータプログラムが最高の「方法俳優」かを決定するのを科学者たちが支援するために、このグリッドを構築しました。彼らは、「スーパー俳優」（LLM）は印象的ですが、「方法俳優」（SME/CogSketch）が人間の思考のメカニズムを理解するためのゴールドスタンダードであると発見しました。

技術的概要：最小認知グリッドを用いたアナロジーとメタファーの計算モデルの認知的妥当性の構造的ランキング

問題提起
アナロジーとメタファーの創造および解釈は、人間の意味論的competenceの基盤である。これらの能力を再現するための多数の計算モデルが提案されてきたが、それらの「認知的妥当性」、すなわち機能的に同等な出力を生み出すだけでなく、その内部メカニズムが人間の認知プロセスとどの程度整合しているかを評価するための体系的かつ定量的な枠組みは欠如している。現在の人工知能システム、特に大規模言語モデル（LLM）は、アナロジータスクにおいて高い性能を達成するが、人間の認知とは根本的に異なるメカニズム（例えば、統計的パターン認識）を通じて動作している。本論文は、出力を模倣する「機能的」なアーティファクトと、内部認知メカニズムを模倣する「構造的」モデルを区別するための標準化された指標の必要性に対処し、認知科学におけるそれらの説明力を評価する。

方法論：最小認知グリッド（MCG）
著者は、Lieto（2021）が提唱した人工システムを生物学的または認知的なターゲットに対する構造的精度に基づいてランク付けする枠組みである最小認知グリッド（MCG）を採用し、形式的に作動化している。この方法論は、3 つの明確な次元にわたる定量的評価を含む：

機能/構造比率（FSR）： この次元は、機能の再現（出力の一致）と構造の実装（メカニズムの一致）とのバランスを評価する。著者は、2 つの主要な認知理論に由来する構造的制約のセットに基づき、$FSRM$ という指標を定義する：
- 構造マッピング理論（SMT）： 制約には、1 対 1 マッピング、並列接続、体系性（相互接続された関係的構造への優先）、および推論的投影が含まれる。
- メタファーのカテゴリー化理論（CTM）： 制約には、カテゴリー化（メタファーをクラス包含命題として解釈すること）と属性選択（顕著な特徴の転送）が含まれる。
  モデルは、これらのメカニズムを構造的に実装しているか（ $s_i=1$ ）、単に機能的に実装しているか（ $s_i=0$ ）に基づいてスコア付けされ、各制約の理論的重要性によって重み付けされる。
一般性（GM）： この次元は、人間の認知能力のカットレル・ホーン・キャロル（CHC）分類に基づき、モデルがシミュレートできる認知機能の幅を評価する。著者は、量的知識、流動性推論、視覚処理、言語/言語知識、感覚/運動能力の 5 つの領域においてモデルを評価する。スコアは、完全網羅（1）、部分的網羅（0.5）、欠如（0）に基づいて割り当てられ、具身認知における感覚/運動能力の重要性を強調する特定の重み付け方式が採用される。
性能一致（PMM）： この次元は、モデルの行動と人間の行動の整合性を定量化する。これは単なる精度だけでなく、誤りのパターンや反応時間も考慮する。スコアは、以下の加重和である：
- 精度デルタ： 人間のベースライン性能からの偏差。
- 誤りのパターン： モデルが人間の誤りの分布（例えば、同じ困難な項目で失敗すること）を再現しているかどうか。
- 反応時間： 人間の反応時間と比較した実行遅延の類似性。

主要な貢献

形式的作動化： 本論文は、MCG の厳密な数学的作動化を提供し、質的な理論的区別を、多様な AI アーキテクチャの直接比較を可能にする定量的スコア（$FSRM $、$ GM $、$ PMM$）に変換する。
統合的認知的妥当性指標（CPM）： 著者は、3 つの次元を統合する合成スコア、 $CPM = \lambda \cdot FSR'_M + \mu \cdot GM + \nu \cdot PMM$ を導入する。彼らは、内部メカニズムと人間理論の整合性が認知科学における説明力に主に依存すると主張し、構造的忠実度を優先する重み付け方式（ $\lambda=0.5, \mu=0.25, \nu=0.25$ ）を提案する。
体系的比較分析： この枠組みは、4 つの異なるシステムクラスに適用される：
- SME（構造マッピングエンジン）および CogSketch： SMT に基づく記号システム。
- METCL： CTM に基づくメタファー生成のための論理ベースモデル。
- LLM： GPT-3.5、GPT-4、および GPT-4o を含む。

結果
評価により、各システムに対して明確なプロファイルが得られる：

SME および CogSketch： SMT 制約（1 対 1 マッピング、体系性）の明示的な実装により、最も高い構造的スコア（ $FSR'_M \approx 0.606$ ）を達成する。また、レイベン・プログレッシブ・マトリックスにおいて、人間の精度と誤りのパターンを再現し、最も高い性能一致（ $PMM \approx 0.923$ ）を示す。しかし、量的推論、言語処理、感覚運動タスクの能力が欠如しているため、一般性のスコアは非常に低い（ $GM \approx 0.063–0.125$ ）。
METCL： 中間的な位置を占める。CTM 制約（カテゴリー化、属性選択）を実装することで構造的忠実度（ $FSR'_M \approx 0.407$ ）で中程度のスコアを獲得するが、SMT ベースの構造的制約は欠如している。一般性は限定的（ $GM \approx 0.125$ ）であり、性能一致は中程度（ $PMM \approx 0.714$ ）である。
LLM： 量的、流動的、視覚的、言語的領域を網羅し、最も高い一般性（ $GM \approx 0.500–0.800$ ）を示す。しかし、体系的なマッピングや 1 対 1 マッピングなどの SMT 制約を機械的な意味で実装できていないため、構造的忠実度は非常に低い（ $FSR'_M \approx 0.109$ ）。性能一致は混合的（ $PMM \approx 0.578$ ）であり、高い精度を示すことが多いが、人間が成功する分散の多いタスクで失敗するなど、誤りのパターンが異なり、時間的整合性のデータも欠如している。

提案された非等しい重み付け方式（認知的妥当性を優先）の下では、CogSketchとSMEが全体的な認知的妥当性において最高位にランクされる。等しい重み付け方式の下では、LLM は優れた一般性により METCL を凌駕する。これは、LLM が認知に着想を得た制約を欠いているにもかかわらず生じる結果であり、著者によって「逆説的」と記述されている。

意義と主張
本論文は、MCG が単なる機能的出力ではなく、生物学的または認知的妥当性に基づいて AI システムを一般化可能かつ再現性のある方法で比較するための「青写真」を提供すると主張する。

説明力： 著者は、機能/構造比率が認知科学にとって決定的な次元であると主張する。なぜなら、それはモデルの成功が統計的一般化ではなく、現象に関連するメカニズム（例えば、関係的マッピング）に基づいているかどうかを評価するからである。
行動主義からの区別： この枠組みは、人間レベルの性能を人間に類似していない内部プロセスを通じて達成するシステムに対してペナルティを与えることで、「新たな行動主義」を回避することを目指す。
スケーラビリティ： この方法論は、現在のおよび将来の AI 世代を評価するためのスケーラブルなツールとして提示されており、記号的、非記号的、ハイブリッドなアーキテクチャ全体にわたる共通の測定言語を提供する。
限界： 著者は謙虚に限界を認めている。これには、ベンチマークデータの不均等な入手可能性（LLM は SME/CogSketch より多くのデータセットでテストされている）、一部のシステムにおける反応時間データの欠如、および制約の重みが現在データ駆動型の導出ではなく理論的関連性に基づいていることが含まれる。彼らは、将来の研究がデータセットの拡大と重み付け方式の洗練に焦点を当て、枠組みの一般性をさらに拡張すべきであると提案している。