論文要約：Parallelograms Strike Back: LLMs Generate Better Analogies than People

タイトル: 平行四辺形は反撃する：LLM は人間よりも優れた類推（アナロジー）を生成する
著者: Qiawen Ella Liu, Raja Marjieh, Jian-Qiao Zhu, Adele E. Goldberg, Thomas L. Griffiths (プリンストン大学他)

1. 背景と問題提起

4 項語類推（例：王：女王 :: 男：？）は、伝統的に「平行四辺形モデル（Parallelogram Model）」として幾何学的にモデル化されてきた。このモデルでは、概念を幾何学的空間の点、関係をベクトルとして表現し、$A:B::C:?$ の解を $C + (B - A)$ として求める。

しかし、Peterson ら（2020）の研究では、人間が生成する類推において、関係性を考慮しない単純な「局所類似性ヒューリスティック（C 項に似た単語を選ぶ等）」の方が、平行四辺形モデルよりも人間の回答分布を良く説明することが示された。これにより、「平行四辺形モデルは類推の関係を捉えるのに不適切なのか」、あるいは「人間が関係性を維持した類推を生成するのが苦手なだけなのか」という疑問が生じた。

本研究は、大規模言語モデル（LLM）の登場を機会として、この問いを再検証する。LLM が人間よりも優れた類推を生成できるか、またその性能が平行四辺形モデルや局所類似性モデルによってどのように説明されるかを調査する。

2. 研究方法

データセットとモデル

• タスク: Peterson ら（2020）が使用した 846 件の 4 項語類推問題（SemEval-2012 Task 2 などからのデータ）。
• 対象モデル: 6 つの最先端 LLM（GPT-5-mini, o4-mini, DeepSeek-V3.1-671B, Qwen3-235B, Qwen3-32B, Gemma-3-27B）。
• プロンプト: 各問題に対して 4 種類の意味的に同等な指示文を使用し、温度パラメータ 1.0 で 10 回ずつ生成（計 40 回答/モデル/問題）。
• 比較対象: 元の Peterson データセットに含まれる 26,265 件の人間回答。

評価手法

1. 人間による評価: 390 名の参加者に、LLM と人間の回答（$D$）が、$A:B$ の関係と $C:D$ の関係がどの程度類似しているかを 7 段階で評価させた。
2. 幾何学的分析:
   • 埋め込み空間: GloVe（300 次元）を使用。
   • 指標:
     • 平行四辺形整合性: ベクトル $(B-A)$ と $(D-C)$ のコサイン類似度。
     • 局所類似性: $C$ と $D$ の類似度（$C:D$ 類似性）、および最近傍（NN）ヒューリスティック。
     • 累積回収率（CPR）: 予測されたランク上位に実際の回答がどれだけ含まれるか。
3. 回帰分析: 評価スコアの差（LLM - 人間）を、平行四辺形整合性、局所類似性、単語頻度（アクセシビリティ）で説明できるか検証。
4. 内部表現の分析: 各 LLM の内部レイヤー（残差ストリーム）からの埋め込みを用いて、モデル内部で平行四辺形構造がどの程度維持されているかを確認。

3. 主要な結果

結果 1: LLM の類推は人間よりも高く評価される

• 人間の評価者によるスコアにおいて、LLM が生成した類推は人間が生成した類推よりも統計的に有意に高い評価を得た（GPT-5-mini や o4-mini が特に顕著）。
• ただし、この優位性はすべての回答に均一に存在するわけではなく、人間が「長い尾（long tail）」を形成する低品質な回答を生成する傾向があることが要因の一つである。

結果 2: 平行四辺形モデルの再評価

• 予測精度: 3 つのモデル（平行四辺形、$C:D$ 類似性、NN）のいずれも、LLM の回答分布を人間よりも良く予測した。
• モデル間の差: 人間データでは、局所類似性モデルが平行四辺形モデルを大きく上回ったが、LLM データではその差が縮小した。LLM の回答は平行四辺形構造により強く整合している。
• 評価との相関: 人間による評価スコアが高い LLM 回答は、GloVe 空間での平行四辺形整合性が高いことと強く相関していた。

結果 3: 単語頻度（アクセシビリティ）の影響

• LLM は人間よりも低頻度（アクセシビリティが低い）の単語を生成する傾向があった。
• 回帰分析の結果、**「平行四辺形整合性が高いこと」と「単語頻度が低いこと（より具体的・専門的な単語）」**の両方が、LLM の評価優位性を説明する重要な予測因子であった。
• 局所類似性（$C$ と $D$ の類似度）が高いことは、むしろ評価を低下させる要因となった（$C$ に近すぎる回答は関係性を無視しているため）。

結果 4: モダル（最頻）回答における優位性の消滅

• 人間と LLM の最頻回答（Modal Responses）のみを比較した場合、LLM の評価優位性はほぼ消失した（統計的に有意な差がなくなった）。
• これは、LLM の優位性が「常に優れた回答を出す」ことによるものではなく、「人間が生成する低品質な回答の長い尾（長尾分布）」によって引き起こされていることを示唆する。
• しかし、最頻回答同士を比較しても、**「平行四辺形整合性が高いこと」と「単語頻度が低いこと」**が、評価差を予測する要因として残存した。

結果 5: 内部表現との乖離

• GloVe 空間での平行四辺形整合性は人間評価を良く予測したが、LLM の内部表現（残差ストリームからの埋め込み）における平行四辺形整合性は、人間評価の予測力が低かった。
• これは、LLM が内部で明示的な幾何学的ベクトル演算を行って類推を生成しているわけではなく、分布表現空間（GloVe など）で定義される「人間が良しとする関係性パターン」を、内部メカニズムとは独立して満たす形で出力している可能性を示唆する。

4. 結論と意義

1. 平行四辺形モデルの妥当性: 平行四辺形モデルは、人間が「どのように」類推を生成するか（生成プロセス）を完全に記述するものではないかもしれない（人間は局所類似性に頼りがち）。しかし、人間が「どのような」類推を「良い」と判断するか（評価基準）を捉えるには有効である。
2. LLM の役割: LLM は、人間よりも一貫してこの「関係性制約（平行四辺形構造）」を満たす回答を生成できる。また、人間がアクセスしやすい（頻度の高い）単語に頼る傾向を避け、より適切な低頻度単語を選択できる。
3. 認知科学への示唆: 人間の類推生成における「失敗（低品質な回答の生成）」と、人間が好む「理想の類推」の間にはギャップがある。LLM はこのギャップを埋め、人間が潜在的に求めている関係性の構造をより忠実に実装できるシステムとして機能する。
4. 理論的貢献: 局所類似性ヒューリスティックが生成プロセスの予測には優れているが、評価基準としての平行四辺形モデルの重要性を再確認した。LLM を実験対象とすることで、認知モデルの心理学的妥当性を再検証する新たな道が開かれた。

この研究は、LLM が単に人間の模倣を超えて、人間が潜在的に求める論理的・関係的構造をより明確に表現できる能力を持っていることを示しており、類推の認知メカニズム理解に新たな視点を提供している。