NLG Evaluation: Past, Present, Future

自然言語生成（NLG）を、ストーブの代わりにコンピュータを使ってレシピを書き、食事を調理するシェフだと想像してみてください。過去30年間、このシェフの仕事を評価する方法は完全に変わり、今また変ろうとしています。エフド・レイターによって書かれたこの論文は、私たちがこれらのデジタルな食事の味見を学んできた道のりを時系列で示したものです。

以下に、NLG評価の物語を「過去」「現在」「未来」の3つの幕に分けて紹介します。

第1幕：過去（1990年 – 2010年）

「シェフのメモ」時代

• 1990年：芸術評論家のアプローチ
  1990年、著者が博士号を取得した当時、誰も数字を使って料理を「テスト」していませんでした。シェフが新しいレシピが優れていると主張しても、100人に食べてもらって好まれるかどうかを確認するのではなく、代わりに、そのレシピがなぜ優れているかを説明する長い論文を書きました。そこでは、高度な言語学や工学の議論を用いて、「このソースは美しい。なぜなら材料の文法が流れるように調和しているからだ」といった具合に、実際に誰かに味がどうだったかを尋ねることなく主張するのです。
• 2000年：味見の爆発
  2000年までに、人々は実際に料理を味わう必要があると気づきました。研究者たちは、人間に評価させたり、特定の課題を解決したかどうかを確認したり、初期のコンピュータスコアを使ったりするなど、あらゆる方法で食事の評価を試みるようになりました。少し混沌としていました。誰もが異なる方法を試しており、まだ単一の「ゴールドスタンダード」は存在しませんでした。
• 2010年：標準化されたメニュー
  2010年までに、厨房は整理整頓されました。コミュニティは「共有タスク」と呼ばれる、誰もが同じ料理を作る料理コンペのようなものを使い始めました。そして、料理を測るための特定の定規に合意しました。
  • 定規（メトリクス）： BLEUやROUGEのようなコンピュータスコアを使用しました。これらは、新しい料理を「完璧な基準料理」と比較し、一致した単語の数を数えるようなものです。
  • パネル（人間の評価）： また、人間に料理をランク付けさせることも行いました。コンピュータの定規は時々間違えるため、料理が実際に美味しいかどうかを判断する標準的な方法となりました。

第2幕：現在（2026年）

「スーパーシェフ」時代

2026年に時を飛ばします。シェフ（現在はLLMと呼ばれる巨大なAIモデルによって駆動されています）は驚くほど上手になりました。料理が完璧すぎるため、それを評価する古い方法は崩壊しつつあります。

• 古い定規の問題：
  過去には、AIの料理を人間が書いた「基準料理」と比較していました。しかし現在、AIの料理はしばしば人間の基準よりも優れています。スケッチと比較して傑作を評価することはできません。比較すればスケッチはただ悪く見えるだけです。
• 新しい審査員（LLM-as-Judge）：
  料理があまりにも複雑なため、あるAIを使って別のAIを審査するようになりました。これは、ロボットであるスーパーテスターを雇って料理を批評するようなものです。これは時としてうまく機能しますが、そのロボット審査員が偏っていたり混乱していたりする場合はリスクがあります。
• 専門家パネル：
  一般の人々（クラウドワーカー）は、もはやこれらの高品質な料理の微妙な誤りを発見するには十分ではありません。時には、審査を行うためにAIを使うという不正さえ行われます。そのため、今では「シェフが架空の材料を幻覚として作り出したか？」「このアドバイスは安全か？」といった特定の課題について料理を詳しく調べるために、専門家（医師や弁護士など）が必要とされています。
• 安全性チェック：
  これらのAIシェフが今や病院や法律事務所で働いているため、料理が「平均的」かどうかだけを気にすることはできません。最悪のシナリオをチェックする必要があります。医療AIが99.9%の確率で完璧なアドバイスを提供しても、0.1%の確率で致命的なアドバイスを提供するなら、それは災害です。私たちは、その稀で危険な間違いを追求する必要があります。

第3幕：未来（2036年）

「実世界への影響」時代

2036年を見据えて、著者は、テストキッチンでのシェフの調理能力を測ることをやめ、料理が実世界にどのような影響を与えるかを測る必要があると主張します。

• 影響評価（健康診断）：
  現在、私たちは主に「AIは正しい答えを出したか？」と尋ねています。将来、私たちは「このAIを使うことで、実際に患者は助かったか？」「会社のお金を節約できたか？」と尋ねる必要があります。これは、実験室でレシピを評価することから、実世界でレストランが実際に顧客を満足させ、健康に保っているかどうかを見ることに移行するようなものです。
• 定性的評価（物語の語り）：
  私たちは、数値（統計）だけに頼るのをやめ、物語に耳を傾ける必要があります。インタビューやフォーカスグループを用いて、人々がなぜその体験を好きになったり嫌ったりしたのかを理解します。数値は「何が」起きたかを教えてくれますが、物語は「どのように」感じられたかを教えてくれます。
• 安全性評価（ガードレール）：
  安全性が最も重要なものになります。政府は、自動車や医薬品の場合と同様に、ルールを設定するために介入し始めるかもしれません。特にハッカーがAIを欺こうとしたり、予測不能な奇妙な状況に直面したりする際に、AIが暴走しないよう、継続的に監視する必要があります。

大きな教訓

この論文は、この分野がチェックボックスの確認（数字が一致したか？）から、実世界の確認（これは実際に人々を助けたり傷つけたりしたか？）へと移行していると結論付けています。

著者は、現在の研究文化が少し怠惰であると警告しています。誰もが迅速な結果を出版したがり、査読者はテストが実際に優れているかどうかを無視することが多いのです。前に進むためには、コミュニティはより厳格になり、不正を止め、実際に使用されることとなる混沌とした複雑な現実の中で、これらの強力なツールをテストする方法を学ぶ必要があります。