Evaluating Pragmatic Reasoning in Large Language Models: Evidence from Scalar Diversity

新しいロボット友達が人間の会話を本当に理解しているのか、それとも適切な質問をされればうまく付き合うことだけができるのかを判断しようとしていると想像してください。これは、Ye-eun Cho による論文「Evaluating Pragmatic Reasoning in Large Language Models（大規模言語モデルにおける語用論的推論の評価）」が扱っているまさにその問題です。

以下に、この研究の物語を、いくつかの役立つ比喩を用いて簡単な言葉で分解して説明します。

大きな問い：ロボットは賢いのか、それとも演技が上手いだけなのか？

大規模言語モデル（LLM）は、インターネット上のほぼすべてを読み込んだ、驚くほどよく読んだ学生のようなものです。彼らは文法や事実については得意です。しかし、人々が言うことの「隠された」意味を理解できるでしょうか？

人間の会話では、「いくつかのクッキーが食べられた」といったことを言うことがあります。私たちは単に「少なくとも一つ」という意味ではなく、通常「すべてではない」という含意を伝えます。これはスカラー含意と呼ばれます。もし私が「いくつか」と言うなら、「すべて」とは言っていないことを示唆しているのです。なぜなら、「すべて」は真実ではないからです。これは微妙な社会的ルールです。

研究者たちが問いかけた大きな問題は、これらの AI モデルは本当にこの隠された意味を「理解」しているのか、それとも私たちが丁寧に質問すれば、理解しているふりをするだけなのか、ということです。

ロボットをテストする二つの方法

この問いに答えるため、研究者たちはモデルをテストするために二つの異なる方法を用いました。これは、ある学生の知識をテストする二つの異なる方法に似ています。

1. 「内なる直感チェック」（直接確率）：
   ロボットに声に出して答える必要なく、文の次の単語を予測するように命じると想像してください。あなたが確認するのは、それが実際に最も可能性が高いと「考えている」のかどうかを示す、その内部の数学です。

   • 比喩: これは、学生がテストを受けている間の脳波を見るようなものです。それは、答えようとする前に、彼らが本能的に知っているものを示します。

2. 「口頭試験」（メタ言語的プロンプト）：
   これは、ロボットに直接質問する場面です。「もし私が『いくつかのクッキーが食べられた』と言ったら、それは『すべてのクッキーが食べられたわけではない』を意味しますか？はいまたはいいえで答えてください」と。

   • 比喩: これは、学生に手を挙げて答えを声に出して説明するように頼むようなものです。それは彼らが「知っている」と言うものであり、質問のされ方に影響される可能性があります。

実験：60 種類の異なる「いくつか」のメニュー

研究者たちは、たった一つの文をテストしただけではありませんでした。彼らは（いくつか/すべて、暖かい/熱い、良い/素晴らしい のような）60 組の異なる単語のペアの「メニュー」を使用しました。

• 一部のペアは、人間にとって推測しやすいものです（例えば、いくつか は すべてではない を意味する）。
• 一部のペアはより難しかったり、意味が弱かったりします（例えば、暖かい は常に 熱くない を意味するとは限りません）。
  この多様性はスカラー多様性と呼ばれます。これは、シェフをステーキの調理の上手さだけでテストするのではなく、繊細なハーブから頑丈な根菜まで、60 種類の異なる食材をどのように扱うかでテストするようなものです。

彼らが発見したこと：プロットの転換

結果は驚くべきものであり、これらのモデルがどれほど賢いのかについて、単一の「真実」はないことを示しました。

1. 「直感チェック」と「口頭試験」の不一致
しばしば、ロボットの内部の数学（直感チェック）と、その口頭での答え（口頭試験）は、完全に異なる物語を語っていました。

• 時には、ロボットの内部の数学は「私はこれを本当に理解していない」と言っていたのに、丁寧に尋ねられると、「はい、理解しています！」と言いました。
• 他の時には、内部の数学は自信に満ちていたのに、口頭での答えは混乱していました。
• 教訓: ロボットが「有能」かどうかを知るために、一つの方法だけを見ることはできません。それは、頭の中では答えを知っているのに、尋ねられると凍りついてしまう学生、あるいはその逆のようなものです。

2. 「演技」は台本に依存する
研究者たちが質問をした方法は、非常に重要でした。

• 彼らが単純な質問をした場合、ロボットは「いいえ」と言うかもしれません。
• 「あなたは役立つアシスタントです、教えてください…」といった丁寧な導入を加えた場合、ロボットは突然「はい」と言うかもしれません。
• 教訓: ロボットの「パフォーマンス」は台本によって変化します。ロボットが何か新しいことを学んだからというわけではありません。それは単に質問のスタイルに反応しているだけです。

3. 異なるロボット、異なる個性
この研究では、二つの異なるタイプの AI モデル（Flan-T5 と Qwen）がテストされました。

• Flan-T5 は、やや一貫性がありました。その内部の数学と口頭での答えは互いに近かったです。
• Qwen は非常に劇的でした。その内部の数学はしばしば非常に低く（答えを「知っている」ようには見えなかった）、しかし直接尋ねられると、まるで演技をしているかのように完璧な答えを出しました。
• 教訓: ある AI モデルが賢く振る舞うからといって、すべての AI モデルが同じように機能するわけではありません。

4. 「比較」のトリック
研究者たちがロボットに二つの選択肢を並べて比較するように尋ねたとき（「どちらが優れていますか：A か B か？」）、ロボットは単一の文を判断する必要がある場合よりも、はるかに良い結果を出しました。

• 教訓: 答えをゼロから生成する必要があるのではなく、選択をする機会がある場合、ロボットは正しい答えを選ぶ方が簡単です。

最終的な判決

この論文は、「この AI は語用論的推論を持っている」あるいは「持っていない」と言うことはできないと結論づけています。

代わりに、AI における語用論的推論は、二人のパートナーによるダンスのようなものです：

1. ロボットの内部知識（それが実際に学んだもの）。
2. 私たちが質問をする方法（プロンプト）。

もしあなたがダンスのパートナー（プロンプト）や音楽（タスク）を変えれば、ダンスも変化します。ロボットは人間の意味で必ずしも「嘘をついている」わけでも「知っている」わけでもありません。それは単に、置かれた具体的な状況に反応しているだけです。

要約すると： AI が人間のニュアンスを理解しているかどうかを理解するためには、一つの質問をして、その答えを表面的に受け取るだけではなりません。あなたは、それが多くの異なる状況でどのように振る舞うかを見る必要があります。なぜなら、その「有能さ」は固定された特性ではなく、それが知っていることと、あなたがそれをどのように尋ねるかの組み合わせだからです。