あなたは、大規模でハイリスクなタレントショーの審査員になったと想像してください。出場者は、「AI」と呼ばれる非常にスマートなコンピュータプログラムです。これらのAIは、財務報告書、科学論文、取扱説明書のような、厚くて退屈で複雑な文書を読み、それに関する質問に答える能力を証明しようとしています。これが「ドキュメントQA（文書回答）」の世界です。この舞台における目標はシンプルです。AIに長いPDFを読ませ、質問を投げかけます。正解すればポイントを獲得し、間違えたり、文書に情報がないのに答えを捏造したりすれば、ポイントを失います。

なぜこれを気にするのでしょうか？ AIが賢くなるにつれ、彼らは「忙しく見せるために適当に答えを推測する、自信過剰な学生」のように振る舞い始めるからです。私たちは、彼らが本当に「読んでいる」のか、それとも単に「ハルシネーション（幻覚／作り話）」を起こしているのかをテストする方法を必要としています。これを行うために、科学者たちは「MMLongBench-Doc」という巨大なテストを作成しました。これは、135種類の異なる文書に散らばる1,000問以上の質問からなる、まるで最終試験のようなものです。しかし、この新しい論文によれば、その試験自体に重大な欠陥があり、成績が不公平なものになっていたことが明らかになりました。

不完全な試験：採点者が問題であるとき

オリジナルの試験（MMLongBench-Doc）を、正確な綴りの一致だけをチェックする赤いペンを持った、厳格で古臭い教師だと考えてみてください。もし正解が「1,358,000」で、AIがカンマなしの「1358000」と書いた場合、その教師は不正解と判定します。もし答えが「Operating Activities」で、AIが「Operations activities」と書いた場合も、その教師は不正解とします。それは、数学の先生が、数字は合っているのに「12」ではなく「12.0」と書いたという理由で生徒を落第させるようなものです。

さらに悪いことに、教師の解答集（正解キー）自体が間違っていることもありました。例えば、「5ページ目に青い矢印は何個ありますか？」という質問があったとします。解答集には「ゼロ」とあります。しかし、実際にページを見てみると、青い矢印は一つもありません。したがって、「ゼロ」は正解です。しかし、時には、文書の中に実際には矢印があるのに、解答集が「ゼロ」となっていたり、質問の書き方が紛らわしすぎて人間ですら答えられなかったりすることがありました。最悪なのは、これらのミスが「難しい問題」に集中していたことです。そのため、最もスマートなAIほど罰則を受け、逆にデタラメに推測する程度の低いAIはあまり影響を受けませんでした。それはまるで、足の速いランナーには鉛のブーツを履かせ、歩くのが遅い人には何もさせないレースのようなものでした。

解決策：MMLongBench-Doc-V2

ここで新しい論文、MMLongBench-Doc-V2が登場します。著者であるMingtian Zhang氏は、試験を捨て去るのではなく、修正することに決めました。彼らはオリジナルのテストを「未完成の下書き」として扱い、3つの主要な動きによって整理・清浄化しました。

1. 新しい採点者：「意味」の探偵
単に2つのテキストが外見上一致するかどうかをチェックするロボットの代わりに、彼らは「意味の探偵（特別なAI審査員）」を雇いました。この探偵は、カンマや大文字、余分なスペースなどは気にしません。探偵はAIの回答を見て、「これは正解と同じ意味を持っているか？」と問いかけます。

• 比喩： もし正解が「The cat is sleeping（猫は眠っている）」で、AIが「A feline is napping（ネコ科の動物が昼寝している）」と言った場合、古い採点者なら不正解にします。しかし、新しい探偵は、意味が同じであるため合格を与えます。
• 注意点： この探偵は元の文書を見ません。AIの回答と正解キーのみを比較します。これにより、探偵がPDFの不鮮明なスキャンや欠落したテキストによって混乱するのを防ぎます。

2. 解答集の修正（106件の修正）
著者は試験全体を精査し、解答集が間違っていたり、質問が壊れていたり、文書が質問と一致していなかったりする106問を見つけ出しました。

• 「間違ったファイル」問題： テストフォルダの中に存在しない文書について質問している問題を10問発見しました。これは、「ハリー・ポッター第5章」について質問しているのに、生徒には「ホビットの物語」を渡しているようなものです。誰も答えられないため、これらの質問は完全に削除されました。
• 「符号」のエラー： あるケースでは、数値が60.3%上昇したと解答集にありましたが、文書では「減少」していました。著者はこの符号を修正しました。
• 「曖昧さ」の修正： いくつかの質問はあまりに漠然としていました。例えば、文書に「短期債務」と「長期債務」が別々に記載されているのに、質問がどちらを足すべきか明示せずに「総債務」を尋ねていた場合、著者は質問を非常に具体的に書き直しました。

3. 「空集合」のジレンマ
これは最もトリッキーな部分です。中には「この財務報告書にドラゴンは何匹いますか？」と尋ねる質問があります。答えは明らかにゼロです。しかし、オリジナルのテストでは、いくつかの「ゼロ」の回答が「回答不能（情報が存在しない）」とマークされていた一方で、他のものは「0（チェックしたが何も見つからなかった）」とマークされていました。

• ルール： 著者は厳格なルールを作りました。もし文書が存在し、その対象が存在しないことを「証明できる」場合は、答えは0となります。もし文書のページが丸ごと欠けていたり、数えることができないもの（例：「宇宙にあるすべての星」など）について質問している場合は、**回答不能（Not Answerable）**となります。
• 結果： 「ゼロ」の回答が公平になるよう、14問の調整を行いました。これにより、AIが「何も無い」ことが正解である場合に、「分からない」と言うのが正解だと勘違いさせられるのを防いでいます。

最終スコアボード

すべての清掃作業の後、新しいテスト（V2）は、134の文書にわたる1,071問の質問で構成されています（元の1,082問、135文書から減少）。

• 大きな変更点： この新しいテストのスコアは、旧テストのスコアと比較できません。「去年は44.9%で、今年は50%だから、向上した」と言うことはできません。テスト自体が変わったため、数値のスケールが異なるのです。
• 良いニュース： 新しいテストは、AIが本当に賢いのか、それとも単に運が良いだけなのかを見極めるための、より公平な方法です。最も優秀なモデルが間違えていた「ひっかけ問題」を取り除きました。
• 注意点： 著者は、すべての質問をチェックしたわけではないと認めています。彼らは、スマートなAIが間違えやすい箇所、つまりエラーが隠れやすい場所に焦点を当てました。まだいくつかのミスが残っている可能性はありますが、以前よりも大幅に少なくなっています。

なぜこれが重要なのか

この論文は、新しいスーパーAIを発明することについての論文ではありません。彼らを測定するために使う「定規」を直すことについての論文です。あなたが法律契約書や医療報告書を読むロボットを作っているなら、そのロボットが本当に読んでいるのか、それとも単に推測しているだけなのかを知る必要があります。MMLongBench-Doc-V2は、よりクリーンで正直な定規を提供してくれます。これにより、AIが正解を得たとき、それがカンマの数を当てたからではなく、文書を理解したからであることを保証できます。

著者は、すべての修正、新しいテストデータ、および回答を採点するためのツールを、誰でも利用できるように公開しています。これは科学において、時として最も重要な仕事はエンジンを作ることではなく、自分たちが実際にどれくらいの速さで進んでいるのかを知るために、スピードメーターを直すことであるということを思い出させてくれます。