Query Disambiguation via Answer-Free Context: Doubling Performance on Humanity's Last Exam

この論文は、回答を含まない文脈情報を用いて質問の曖昧さを解消する書き換え手法を提案し、 Humanity's Last Exam ベンチマークにおいて、従来のプロンプト手法を凌駕する大幅な精度向上(0.14 から 0.37)を実現したことを示しています。

Michael Majurski, Cynthia Matuszek

公開日 2026-03-06
📖 1 分で読めます☕ さくっと読める

Each language version is independently generated for its own context, not a direct translation.

この論文は、**「AI(言語モデル)に正しい答えをさせるために、質問の『書き方』を工夫するだけで、劇的に性能が向上する」**という驚くべき発見について書かれています。

専門用語を使わず、日常の例え話を使って解説しますね。

🏫 例え話:「先生」と「生徒」の会話

想像してください。あなたが**「優秀な先生(AI)」**に、ある難しい問題の答えを尋ねている場面です。

1. 従来のやり方:「曖昧な質問」

あなたが先生にこう聞きました。

『亜鉛』って何に使われる?

先生は「亜鉛」という言葉だけを見て、過去の知識(トレーニングデータ)から答えようとします。

  • 「亜鉛は電池に入ってるかも?」
  • 「健康にいいサプリかな?」
  • 「屋根の材料かな?」

先生は一生懸命考えますが、**「亜鉛の『硫化物(ZnS)』の結晶」**という具体的な文脈が質問に含まれていないため、先生は「一般的な亜鉛」について答えてしまいます。しかし、実はあなたが知りたいのは「レーザーに使われる亜鉛の結晶」だったのです。
結果:先生は一生懸命答えたけど、あなたの意図とはズレてしまいました。

2. この論文の発見:「文脈を渡して、質問を言い直す」

ここで、この論文の提案する新しい方法を使ってみましょう。

まず、先生に**「答えそのものは書かれていないが、背景知識が書かれたメモ(Answer-Free Context)」**を渡します。

メモの内容: 「亜鉛の化合物には、時計の文字盤やテレビ画面の蛍光塗料に使われる『硫化亜鉛』というものがある。また、レーザーの材料としても使われている……(中略)……」

このメモには「正解(レーザー)」は書かれていませんが、「レーザー」というキーワードへのヒントはあります。

次に、**「AI 自身に、このメモを見ながら、質問をより明確に書き直させる」**という手順を踏みます。
AI はメモを読み、「あ、ユーザーは単なる亜鉛じゃなくて、『レーザーに使われる硫化亜鉛の結晶』について聞きたいんだな」と理解します。

そして、AI は質問をこう書き直します。

書き直された質問:『硫化亜鉛(ZnS)』の結晶が使われているレーザーは、一般的にどの電磁波のスペクトル(光の波長)で動作していますか?

最後に、この**「書き直された質問」だけを先生に投げます**(メモはもう見せません)。

結果:
先生は、メモを直接見せられなくても、「書き直された質問」の中に含まれる「硫化亜鉛」「レーザー」という明確な手がかりから、正解を導き出すことができるようになります。


🔑 この研究の 3 つの重要なポイント

① 「答え」を教える必要はない

RAG(検索機能)を使って、AI が「答えそのもの」を見つけるのが失敗しても、**「答えに至るための背景知識(メモ)」**さえあれば、AI は質問を「翻訳」して、自分で正解を見つけられるようになります。

  • 比喩: 目的地の住所を教えるのではなく、「地図と道案内」だけ渡して、「じゃあ、目的地への行き方を自分で考えて教えて」と言うようなものです。

② 「読み直す」作業は、AI にとって「思考の整理」

単にメモを質問の前に貼り付けるだけでは、AI は混乱します。
重要なのは、**「メモを読んで、質問を『書き直す(リライティング)』という別の手順を踏むこと」**です。

  • 比喩: 料理をする前に、レシピ(メモ)をただ机に置くだけでは料理はできません。しかし、レシピを見て「じゃあ、今日はこの材料で『ステーキ』を作ろう」とメニューを明確に書き直すことで、料理人(AI)は最高の料理を作れるようになります。
  • この「書き直し」のプロセスが、AI の頭の中の思考回路を、正解に近い方向へ「同期(アライメント)」させるのです。

③ 「一度にやろうとすると失敗する」

AI に「メモを読みながら、質問を整理して、そして答えを出す」を一度の指示でやろうとすると、性能は上がりません。

  • 比喩: 料理人に「レシピを見ながら、メニューを考え、そして料理を作る」を同時にやれと言っても、頭がパンクして失敗します。
  • **「書き直し(思考整理)」「回答(実行)」**を分けて行うことが、成功の秘訣です。

🚀 結論:何がすごいのか?

この研究は、**「AI の能力を上げるには、もっと大きなモデルを作る必要はない。むしろ、人間が『どう質問するか』を、AI に手伝わせて『書き直す』だけで、劇的に正解率を上げられる」**ことを証明しました。

特に、「 Humanity's Last Exam(人類最後の試験)」という非常に難しいテストでは、AI の正解率が14% から 37% に、約 2.6 倍に跳ね上がりました。

まとめ:
AI に「正解」を教えるのではなく、**「AI に『何を聞きたいのか』を、AI 自身に明確な言葉に言い直させる」**という、少しの工夫が、AI の能力を最大限に引き出す鍵だったのです。