Language Models Can Resolve Reference Compositionally, But It's Not Their Native Strength: The Case of the Personal Relation Task

技術的要約：言語モデルは構成的に参照を解決できるが、それは彼らの本来の強みではない

問題提起
本論文は、大規模言語モデル（LLM）の評価における極めて重要な問いに取り組んでいる。すなわち、これらのモデルは自然言語を解釈するための構成的な能力を真に獲得しているのか、それともその出力は主に洗練されたパターンマッチングの結果なのか、という問いである。既存のベンチマークは、自然言語を形式的な表現へと翻訳すること（内包的タスク）、あるいは記述を具体的な指示対象へとマッピングすること（外延的タスク）のいずれかに焦点を当てることが多いが、これら二つの意味の側面を統一された枠組みの中で明示的に対比させた研究はほとんどない。著者らは、LLMの学習における参照的接地（referential grounding）の欠如が、人間のような言語理解を模倣する上で決定的な欠落要素であると考えており、モデルが「センス（意味内容）」（構造的な公式）を計算する能力と、「リファレンス（指示対象）」（特定のエンティティ）を解決する能力を区別する方法が必要であると主張している。

手法
著者らは、LLMと人間の参加者の両方を評価するために、パーソナル・リレーション・タスク（PRT）（Paperno, 2022）を適応させた。このタスクは、4種類の関係（友人、敵、親、子）によって結ばれた6人の人物からなる制御された「宇宙（ユニバース）」を扱う。参加者は複雑な名詞句（例：「アンバーの親の友人」）を提示され、以下のいずれかのタスクを実行するよう求められる：

1. 外延的タスク（Extensional Task）： 与えられた宇宙の中で、その句が指し示す特定の人物（指示対象）を特定する。
2. 内包的タスク（Intensional Task）： 句の意味を表す入れ子状の関数公式（例：friend(parent(amber))）を生成する。

実験デザインでは、以下の4つの変数を操作した：

• アプローチ： 外延的か、内包的か。
• 表現形式： 英語（標準的な名前と関係を使用）か、抽象形式（名前と関係を任意の変数、例：Amber $\to$ h、friend $\to$ x にマッピング）か。抽象条件は、事前学習データの汚染に対するコントロールとして機能し、表面的な文字列操作を防ぐことで内包的タスクの難易度を高める役割を持つ。
• 分岐構造： 左分岐（所有格の 's、例：「Amber's parent's friend」）か、右分岐（前置詞句、例：「the friend of the parent of Amber」）か。
• 複雑性： 関係の数に1を加えた数（LLMに対してはレベル3、4、5、6でテスト。予算の制約により人間に対してはレベル3に限定）。

本研究では、標準的な指示チューニング済みモデルおよび大規模推論モデル（LRM）を含む5つのLLMを評価した。標準的な4部構成のプロンプト構造（導入、データセット、例題、テスト問題）を用いた。人間のデータは、Prolificを通じて32人の参加者から収集された。パフォーマンスの分析には、参加者グループ、タスクのアプローチ、表現形式、および複雑性の影響を評価するために、一般化線形混合モデル（GLMM）を用いた。

主な貢献

• 方法論的枠組み： 内包的解釈と外延的解釈を評価するための統一された方法論を導入し、これら二つの異なる意味的能力を直接比較することを可能にした。
• 比較データ： LLMと最大限に比較可能な条件下での人間によるパフォーマンスデータを提供し、構成能力が明示的な人間ベースラインなしに評価されることが多いというギャップを埋めた。
• 実証的評価： いくつかのLLMの統計的評価を行い、モデル間での能力の相違、特に推論強化型アーキテクチャの影響を浮き彫りにした。

結果
本研究は、人間とLLMの間にある根本的なパフォーマンス・プロファイルの乖離を明らかにしている：

• 逆転した強み： 人間は内包的タスク（71.1%）よりも外延的タスク（82.8%）において有意に高い精度を示した。逆に、LLMは外延的タスク（79.8%）よりも内包的タスク（95.0%）において高いパフォーマンスを示した。
• 表現形式の影響： 両グループとも、抽象的な表現よりも英語の表現の方が容易であると感じた。しかし、難易度の差が最も顕著だったのは、LLMの「抽象・外延的」条件（精度66.1%）であり、これは宇宙をナビゲートし、任意の記号をマッピングする必要がある。一方で、LLMにとって最も容易だったのは「英語・内包的」タスク（精度95%）であり、これは翻訳や構文の再配置作業に近い性質を持つ。
• 複雑性と推論： LLMのパフォーマンスは複雑さが増すにつれて低下した。しかし、推論強化モデル（LRM）は、標準的なモデルと比較して、複雑さのレベルに関わらず、外延的タスクと内包的タスクの間のパフォーマンスの差をより安定して維持しており、推論能力が参照解決の弱さを軽減できる（完全に排除はできないものの）ことを示唆している。
• 分岐構造： 初期のリカレントニューラルネットワークの研究とは異なり、現代のTransformerベースのLLMは、左分岐と右分岐の構造間に有意な系統的バイアスは見られなかった。

意義と主張
著者らは、これらの結果が、LLMの学習における参照的接地（referential grounding）の欠如が、人間のような言語理解を達成する上での決定的な欠陥であるという概念を支持していると主張している。LLMが内包的タスク（形式構造への「翻訳」）において高い精度を発揮するのは、その学習目的が表面形式の予測と構文パターンに焦点を当てているためである。対照的に、現実世界との相互作用に基づいた言語使用を行う人間は、具体的な指示対象を特定することには長けているが、基礎となる構造的な公式を明示的に記述することには苦労する。

本論文は、LLMは構成的なタスクにおいて高い精度を達成できるものの、それは人間とは異なる基礎的なプロセス、すなわち、真の参照的接地ではなく、翻訳能力を活用することで達成されていると断じている。著者らは、任意の参照（arbitrary reference）は最先端のモデルにとっても依然として顕著な課題であることを指摘し、参照的接地がAIシステムに統合すべき重要な欠落要素であることを強調している。なお、実験設定はある程度人工的なものであり、今後の課題として、基本的な指示チューニング済みモデルと推論強化モデルをより広く比較する必要があるとしている。