CRiT-QA: Evaluating Multi-hop Reasoning with Counterfactual Chains and Distractor Traps
本論文は、パラメトリックな知識への依存を排除するための反事実的連鎖と、ショートカットの利用を防ぐためのディストラクター（妨害要素）を用いることで、大規模言語モデルのマルチホップ推論能力を厳密に評価するために設計された新しいデータセットであるCRiT-QAを紹介しており、それによって標準的なベンチマークと比較した際の顕著な性能格差を明らかにしている。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたは、高額な賞金がかかった「探偵」ゲームをプレイしていると想像してください。ただし、手元にあるのは虫眼鏡ではなく、あらゆる本をほぼすべて読み終えた超スマートなロボットの友人です。あなたはそのロボットに、「映画『UHF』を配給した会社を設立したのは誰か？」といったミステリーを解かせます。
昔は、もしあなたがロボットに問題を解くための「コンテキスト（文脈）」として一束の書類を渡したとしても、ロボットはそれを完全に無視してしまうことがよくありました。彼らは目を閉じ、学習中に得た膨大な知識の記憶バンクに手を突っ込み、「マイク・メドヴォイ！」と答えを叫ぶのです。答え自体は合っていますが、彼らは与えられた手がかりを実際に読まずに「ズル」をしたのです。それは、歴史の教科書の章を読まずに、頭の中に答えを丸暗記して歴史のテストで満点を取る生徒のようなものでした。
また別のケースでは、ロボットは読もうとはするものの、怠惰な近道を選んでしまうこともありました。もし質問が「マーク・ディスモアの出生地はどの郡か？」であり、最初の段落に「ハンコック郡」という言葉が含まれていた場合、ロボットは質問にある「郡（county）」という単語と一致したために、その言葉をただ拾い上げてしまうのです。彼らは、本当の出生地を見つけ出すために、異なる段落間の点をつなぎ合わせるという難しいプロセスをスキップしてしまいました。それは、迷路の出口を実際に歩いて探すのではなく、壁の色を見て出口を推測するようなものでした。
大いなる暴露
この論文の著者であるユン・ジュンミン（JungMin Yun）氏とその仲間たちは、より強力で手ごわい「探偵」ゲームであるCRiT-QAを構築することに決めました。彼らの主な発見は、最高のロボットたちをこの新しいトリッキーなゲームに投入したとき、彼らのパフォーマンスが崩壊したということです。GPT-4oやGemini-2.5-Proのような、通常はトップクラスの成績を収める最先端のモデルでさえ、突然苦戦したのです。彼らは「A+」の優等生から、辛うじて合格点に届くレベルへと転落しました。これは、彼らのこれまでの成功が、実は光のいたずら（見せかけの成功）であったことを証明しています。
どのようにしてロボットを騙したのか
研究者たちは、ロボットを現行逮捕するために、2つの巧妙な罠を使用しました。
「もしも」の罠（反事実的設定 / Counterfactuals）: ロボットの記憶が「空は青い」と教えていると想像してください。しかし、新しいゲームでは、研究者が物語を書き換え、「この特定の宇宙では、空は実際には緑色である」と設定します。もしロボットが古い記憶に頼れば、「青い」と言って失敗します。勝つためには、記憶を無視し、提供された新しい奇妙な物語に厳格に従わなければなりません。研究者は、現実の事実をこれらの「もしも」のシナリオに置き換えたとき、ロボットが混乱することを発見しました。例えば、Qwen2.5-7Bというモデルは、通常のテストでのスコア34.96から、偽の事実に直面した際にはわずか24.77へと低下しました。
「偽の手がかり」の罠（ディストラクター / Distractors）: これは、雪の上にたくさんの偽の足跡を残しておくようなものです。研究者たちは、正しい手がかりと「全く同じ」に見える追加の段落を加えました。それらは正しい種類の言葉（人の名前や場所など）を含んでいますが、間違った答えへと導くものです。これは、宝物へ続く道が10通りあり、そのすべてが正解に見える地図を持っているようなものですが、真実の道は一つだけである状態です。ショートカットを得意とするロボットたちは、このノイズの中で迷子になりました。これらの「もしも」の物語に偽の手がかりを加えると、スコアはさらに低下しました。Qwen2.5-7Bのスコアは19.30へと急落しました。
ステップが増えるほど、難易度は上がる
研究者たちはさらに恐ろしいことに気づきました。手がかりの連鎖（チェーン）が長くなればなるほど、ロボットの成績は悪化していくのです。
- 2ホップの質問（解くために2ステップ必要）は、問題ありませんでした。
- 3ホップの質問（3ステップ）になると、難しくなりました。
- 4ホップの質問（4ステップ）は、悲惨な結果となりました。
例えば、オープンソースモデルのLLaMA-3-8Bは、2ステップの質問では28.91の精度がありましたが、4ステップの質問では10.18へと崩壊しました。それはまるで、単純なパズルは解けるものの、パズルのピースがいくつか増えると、ゲームの遊び方さえ忘れてしまうロボットのようです。研究者たちは、2ホップ、3ホップ、4ホップの質問でモデルをテストすることでこれを測定しましたが、結果は推論が深くなるにつれて一貫したパフォーマンスの低下を示しました。
これが意味すること（そして意味しないこと）
この論文は、ロボットが永遠に「壊れている」と言っているわけではありません。むしろ、私たちは彼らに甘すぎたと示唆しています。私たちは、記憶を使ったりパターンを推測したりして「ズル」ができるテストを与えてきました。この新しいCRiT-QAデータセットは、「暗記は禁止。推測も禁止。与えられた手がかりのみを使い、ステップ・バイ・ステップでプロセスを示しなさい」と言う厳しい教師のようなものです。
著者たちは非常に確信を持っています。彼らはスコアを測定し、実験を行い、数字が低下するのを確認しました。彼らは単にロボットが弱いと推測しているのではなく、データによってそれを証明しているのです。しかし、彼らはまた、この新しいテストが特定の種類のパズル（MuSiQueデータセット）に基づいているため、これが世界中のあらゆる種類の質問についても起こるのかはまだ分かっていないことも認めています。また、偽の手がかりを書くために別のロボットを使用したため、ロボットが「ロボット特有の筆致」を見抜き、それを新たなショートカットとして利用する可能性がわずかにあり、将来的に修正する必要があるとも述べています。
結論
現在、多くのスマートなAIモデルは、脚本を暗記しているだけで、プロット（筋書き）を理解していない俳優のようなものです。脚本が少し変わったり、ステージに偽の小道具が置かれたりすると、彼らは凍りついてしまいます。CRiT-QAは、彼らに実際に脚本を読み、思考することを強いる新しいステージであり、彼らがどれほどの力を持っていようとも、真の意味で探偵のように推理できるようになるまでには、まだまだ長い道のりがあることを証明しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。