Models Know Models Best: Evaluation via Model-Preferred Formats
本論文は、モデルが好む信号で学習させた軽量な分類器を活用して、記号ベースの形式と穴埋め形式の評価形式を自動的に選択し、それによって性能の不一致を解消し、様々なLLMベンチマークにおけるゼロショット精度を大幅に向上させる動的なフォーマット整列戦略を提案する。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたがどれほど賢いかを証明するためのテストを受けていると想像してください。さて、そのテストには2つの異なるスタイルがあるとします。
- 「選択式」スタイル： 問題を読み、答えに一致する記号（A、B、C、またはD）を選びます。
- 「穴埋め式」スタイル： 文章が唐突に終わっており、適切な言葉を使ってその文章を完成させなければなりません。
長い間、研究者たちはこれら2つのスタイルは、同じ質問をするための単なる異なる方法に過ぎないと考えてきました。しかし、「Models Know Models Best（モデルはモデルを最もよく知っている）」と題されたこの論文は、驚くべき発見をしました。大規模言語モデル（LLM）は、両方のスタイルを等しく好むわけではないのです。実際、どのスタイルを選ぶかによって、モデルが天才に見えることもあれば、完全な落第者に見えることもあります。たとえ質問の内容が全く同じであってもです。
以下に、著者たちの発見を簡単な比喩を用いて解説します。
1. 「適材適所」の問題
研究者たちは、22種類の異なるAIモデルを8種類の異なるタイプの質問でテストしました。その結果、明確なパターンが見つかりました。
- 「記号」スタイル（A、B、C、Dを選ぶ）： これは、選択肢を比較する必要がある質問に最適です。これは、自分の食事制限に合う料理をリストの中から選ぶメニューのようなものです。モデルは、選択肢を並べて比較しながら判断を下す必要があります。
- 「クロゼ（Cloze）」スタイル（穴埋め式）： これは、物語を続ける必要がある質問に最適です。これは、小説の一文を完成させるようなものです。モデルは、自然な流れの中で次にくる単語を予測するように訓練されています。
問題点： 研究者が「物語形式」のモデルに対して、本来は文章を完成させるための質問であるにもかかわらず、リストから記号を選ばせる（記号スタイル）という強制を行ったところ、モデルのスコアは急落しました。それはまるで、マラソンランナーに数学の計算を解かせようとするようなものでした。彼らは走ることは得意ですが、テストの形式が彼らの強みに合っていなかったのです。
2. 人間は最適な形式を推測できない
著者たちはまず、人間に質問を見てもらい、「これは物語の形式だから、穴埋め式を使おう」といった判断をさせることで、この問題を解決しようと試みました。
結果： それはうまくいきませんでした。人間は、AIがどの形式を好むかを推測するのが苦手なのです。人間にとって「物語」に見える質問であっても、AIは実際には選択肢形式（マルチプルチョイス）を好むことがあります。人間の直感に頼ると、かえってAIのパフォーマンスを低下させてしまうことが分かりました。
3. 解決策：「モデル自身に何を望んでいるか尋ねる」
人間が正しい形式を推測できないため、著者たちはモデル自身に尋ねることにしました。
彼らは、小さな軽量な「交通整理役（分類器）」を構築しました。この交通整理役は、特定の質問を見て、AIに対してこう問いかけます。「もしこの質問を選択肢リストとして与えたら、あなたの自信（確信度）はどのくらいですか？ もしこれを穴埋め形式として与えたら、自信はどのくらいですか？」
AI自身の内部的な自信のシグナルに基づき、この交通整理役がその質問に対してどの形式を使用するかを決定します。
- 質問が選択肢の比較に関するものである場合： 交通整理役は「選択肢（記号）形式を使用せよ」と指示します。
- 質問が文章の続きに関するものである場合： 交通整理役は「穴埋め（クロゼ）形式を使用せよ」と指示します。
4. 結果：隠れた潜在能力の解放
この「モデル優先（Model-Preferred）」戦略を用いたところ、結果は劇的でした。
- 「物語」系の質問において： AIのパフォーマンスは大幅に跳ね上がりました。それはまるで、ようやくランナーに適切な靴を与えたかのようでした。
- 「比較」系の質問において： パフォーマンスは高い水準を維持するか、わずかに向上しました。
- 大きな教訓： この論文は、多くのAIモデルは私たちが考えているよりもずっと賢い可能性があることを示しています。しかし、私たちはしばしば、間違った「物差し」で彼らをテストしてしまっていたのです。タスクに合わせて物差しを切り替えることで、彼らの真の能力を見出すことができます。
まとめ
この論文は、一つのテスト形式だけを選んで、あらゆることにそれを適用すべきではないと主張しています。代わりに、個別の問題に対してAIがどの形式を好むかを、AI自身に教えてもらうべきなのです。そうすることで、私たちはモデルを躓かせることがなくなり、彼らが本当はどれほど賢いのかを知ることができるのです。
要約すると： この論文は、「どのように質問するか」は、質問の内容と同じくらい重要であるということ、そして、正しい聞き方を見つけ出す最善の方法は、モデル自身の好みに耳を傾けることである、ということを証明しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。