Evaluating RAG Metrics in Applied Contexts: An Experiment, Its Findings and Its Limitations

あなたは、非常に賢いけれど時々混乱してしまう司書「RAG」のマネージャーであると想像してください。この司書の仕事は、まず棚へ走って正しい本のページを見つけ（検索）、それらのページに基づいて要約を作成すること（生成）です。

問題は、どうすればこの司書が本当にうまくやっているのかを知ることができるか？ということです。単に彼らに「うまくできましたか？」と聞くことはできません。なぜなら、彼らは嘘をついたり、自信過剰になったりする可能性があるからです。ですから、彼らの仕事を採点する方法が必要です。

この論文は、この司書を評価するために使用する**採点ツール（メトリクス）**の成績表です。著者であるOrange ResearchのQuentin Brabant氏は、どの採点ツールが人間の専門家の考えと実際に一致するかを確認するための小さな実験を設定しました。

以下に、実験の内容、結果、および注意点を分かりやすく解説します。

1. 設定：「模擬試験」

チームは、実際のビジネス文書（通信業界のオファーや顧客ルールなど）に基づいた96個の具体的な質問を含む練習テストを作成しました。

• 人間の採点者： 2人の専門家が質問と司書の回答を読み、1から5までのスコアを付けました。
  • 5: 完璧な回答。正しい事実が含まれ、詳細さも適切。
  • 1: 司書が全く無関係なことについて話している。
• 自動採点ツール： 彼らは4つの人気のある「AI採点ソフトウェア」ライブラリ（Ragas、DeepEval、RAGChecker、Opik）をテストしました。これらのツールは、人間がすべての回答を確認することなく、自動的にスコアを付けようとするものです。

2. 目標：「最高の定規」を見つけること

目標は、どれか一つのソフトウェアライブラリを永遠の「勝者」として宣言することではありませんでした。その代わりに、彼らはこう考えました。「これらの自動化された定規は、実際に人間が測定しているものを測定しているのだろうか？」

もしコンピュータプログラムが回答を「素晴らしい（5/5）」と判定しているのに、人間が「ひどい（1/5）」と判定しているなら、そのコンピュータプログラムは壊れた定規です。チームは、コンピュータのスコアと人間のスコアとの間の相関関係——つまり、統計的な握手——を探しました。

3. 結果：誰が正しく採点できたのか？

結果は、驚きと失望が入り混じったものでした。

• 旧式のツール： 意外なことに、METEORのような一部の古くてシンプルなツールは、人間とかなり高い相関を示しました。
• 「参照なし」のツール： 一部のツールは、「正解」の解答用紙を見ることなく回答を採点しようとします。これらは概して、出来の悪い結果となりました。これは、数学のテストの正解を知らずに採点しようとしているようなものです。コンピュータはただ推測しているだけなのです。
• 大きな驚き（RAGChecker）： あるツール、RAGCheckerは、人間のスコアと非常に強い相関を示しました。実際、その相関があまりに高かったため、著者たちは疑念を抱きました。
• 「ハルシネーション（幻覚）」チェック： 司書が作り話をしていないか（忠実性）をチェックするために設計されたツールは、全体的な品質スコアとはあまり相関しませんでした。これは理にかなっています。なぜなら、司書は真実を述べていても、退屈だったり無関係な回答をしたりすることもあるからです。

4. 注意点：「壊れた定規」問題

これがこの論文で最も重要な部分です。著者らは自分たちの実験における重大な欠陥を指摘しています。

例え話： あなたが温度計をテストしていると想像してください。あなたの家の部屋は一つだけで、その部屋の温度は常に70°Fです。

• あなたは部屋に温度計を置きます。それは70°Fと表示されます。
• あなたは二つ目の温度計を置きます。それも70°Fと表示されます。
• あなたは結論づけます。「これらの温度計は完璧だ！」

現実： あなたは、その温度計が実際に温度を測っているのか、それとも単に「常に70」と言う壊れたデバイスなのかを判断できません。なぜなら、あなたは**たった一つの司書システム（一つの部屋）**しかテストしていないからです。そのため、自動採点ツールが実際に「回答の質」を測定しているのか、それとも「質問の難易度」など、全く別の何かを測定しているのかを判断することができません。

• 例： もし質問が非常に単純であれば、司書は高いスコアを得ます。もし自動採点ツールが「単純な質問には高いスコアが出る」と推測することに長けていれば、人間と完璧に相関します。しかし、難しい質問を与えた場合、それは完全に失敗するかもしれません。著者らは、RAGCheckerがまさにこれを行っているのではないかと疑っています。つまり、回答の質ではなく、誤って「質問の難易度」を測定している可能性があるのです。

5. 結論：次なるステップは？

この論文は、これらの自動ツールは最悪の選択肢を排除するためには有用であるが、この種のテストに基づいた現時点では、それらを100%信頼することはできないと結論付けています。

真に信頼できる成績を出すためには、採点ツールを多くの異なる司書（異なるAIシステム）および多くの異なる種類の質問に対してテストする必要があると著者らは示唆しています。もしツールが、あらゆる場面において、良い司書と悪い司書の違いを一貫して識別できるのであれば、その時初めて、私たちはそれが「良い定規」であることを知るのです。

要約すると： この論文は、AI司書を採点するための定規をテストしました。優れた定規に見えるものもありましたが、テストに一人の司書しか使用しなかったため、著者らは、定規が回答の質ではなく、質問の簡単さに基づいて推測している可能性があると警告しています。これを修正するには、次回は、より多くの異なる司書のクラスルームに対して定規をテストする必要があります。