Abstractiveness Metrics for Evaluating Text Summarization: A Refined Formulation with Empirical Validation

あなたは、生徒の読書感想文を採点している教師になったつもりで想像してください。生徒は50ページの小説を1ページに要約しなければなりません。

長年、教師たちはこのレポートを採点するために、ROUGEと呼ばれるツールを使用してきました。ROUGEは、厳格なコピペ検知器のようなものです。もし生徒のレポートが、別の教師が作成した「完璧な解答例」と全く同じ単語や文章を使っていれば、高いスコアを与えます。しかし、ここに落とし穴があります。ROUGEは、生徒が実際に本を読んだかどうかを気にしません。もし生徒が解答例を言葉通りにそのままコピーしていれば、A判定になります。もし生徒が全く新しい内容を書いたとしても、キーワードをいくつか逃していれば、C判定になってしまうのです。

この論文の著者であるPraveenkumar、Rakesh、そしてKaliは、「ちょっと待ってくれ！私たちは、生徒がどれだけ『考えて書き直している（抽象化している）』のか、それとも単に『コピーしている（抽出している）』のかを測定する方法が必要だ」と言います。彼らはまた、本に書かれていないことをでっち上げている（ハルシネーション／幻覚を起こしている）生徒を見つけ出すことも目的としています。

これを行うために、彼らは3つの新しい「スーパー指標」を考案しました：参照抽象度 (Reference Abstraction: RA)、要約抽象度 (Summary Abstraction: SA)、そして抽象化比率 (Abstraction Ratio: AR) です。

3つの新しいツール

元の本をソース（原文）、完璧な解答例をリファレンス（参照）、生徒の成果物を**サマリー（要約）**と考えてください。

1. 参照抽象度 (RA): これは、解答例自体がどれだけ本を書き換えているかを測定します。解答例は文章をそのままコピーしているだけでしょうか、それとも創造的に要約しているのでしょうか？
2. 要約抽象度 (SA): これは、生徒の要約がどれだけ本を書き換えているかを測定します。
3. 抽象化比率 (AR): これが主役です。これは、生徒の創造性と解答例の創造性を比較します。「生徒は、教師よりも多く書き換えているのか、少なく書いているのか、それともほぼ同じ量なのか？」を問いかけます。

測定方法（秘伝のレシピ）

著者たちは単に単語を数えたのではありません。彼らは、調和平均（サイズの極端な違いに罰を与える一種の平均）と、三次非重複因子を含む特別な数式を使用しました。

ここにある魔法のトリックがあります。彼らは、元の本と重複しないテキストの部分を取り出し、それを**3乗（立方）**にします。

なぜ3乗するのでしょうか？想像してみてください。あなたが、ほとんど同一の双子の間の、ごくわずかな違いを見つけようとしているとします。普通に見れば、彼らは同じに見えます。しかし、もし顕微鏡を使って違いを1000倍に拡大したら、突然、片方の頬に小さなほくろがあることが見えるようになります。

• もし生徒がテキストの95%をコピーした場合、「新しい」部分はごくわずかです。
• もし98%をコピーした場合、「新しい」部分はさらに小さくなります。
• この差を3乗することで、数学的にその小さな隙間を膨らませます。コピーにおける3%の差は、スコアにおいて16倍も大きな差となります。これにより、この指標は、ほとんど書き換えの努力をしていない生徒に対して非常に敏感になります。

実験結果

チームは、XSUMデータセット（非常に創造的で短い要約を使用）と、CNN/Daily-Mailデータセット（よりコピペスタイルの要約を使用）から、100の記事を用いてテストを行いました。彼らは4つの異なるAIモデルをこのテストに通しました：BART-large-cnn、Pegasus-xsum、DistilBart、そしてMT5-smallです。

数字が教えてくれた内容は以下の通りです：

• コピーキャット（模倣者）: BARTとDistilBartという名前のモデルは、究極のコピーキャットでした。XSUMのテストにおいて、彼らのSA（要約抽象度）は0.12から0.26の間でした。これは、彼らがほとんど何も書き換えておらず、元のテキストの文章をつなぎ合わせているだけであることを意味します。
• クリエイティブな書き手: PegasusとMT5という名前のモデルは、ライターでした。XSUMにおいて、彼らのSAは1.15から1.99でした。彼らは実際に内容を書き換えていました。
• ハルシネーションの罠: これが最も重要な発見ですが、これは使用している「解答例（リファレンス）」の種類によります。
  • 「解答例（リファレンス）」がすでに非常に創造的である場合（XSUMのように）、モデルは一般的に、教師よりも少なく書き換えていました（AR < 1）。
  • しかし、「解答例」が主に本のコピーである場合（CNN/Daily-Mailのように）、創造的なモデル（PegasusとMT5）に奇妙なことが起こりました。彼らの抽象化比率 (AR) は1.0を大幅に超えました。
  • ARが1.0ということは、生徒が教師と同じ量だけ書き換えていることを意味します。
  • ARが3.74（PegasusがCNN/Daily-Mailのユニグラムで記録したもの）であるということは、生徒が教師よりもはるかに多く書き換えていることを意味します。
  • 決定的なことに、著者らは、リファレンスが抽出型（コピーが多い形式）であり、かつAR > 1であるとき、それはハルシネーション（幻覚）の高いリスクをフラグ立てしていることを発見しました。モデルは、創造的に見せるために、本に書かれていない事実をでっち上げ、人間によるリファレンスが必要とした範囲を超えてしまっているのです。

BARTは、テキストを忠実にコピーしたため、CNN/Daily-Mailにおいて高いROUGEスコア（0.393）を獲得しました。ROUGEにとって、それは完璧に見えました。
Pegasusは、書き換えたために、より低いROUGEスコア（0.197）を得ました。ROUGEは、それを「質が低い」と判断しました。
しかし、新しいAR指標は、抽出型のデータセットにおいて、Pegasusが（ユニグラムで）3.74という数値を出しており、実際にはハルシネーションを起こしている（＝作り話をしている）ことを示しました。

この論文は、これらの指標がなければ、私たちはコピーキャット（BART）が最高のモデルであると思い込み、一方で、創造的なモデル（Pegasus）が実は危険であること（事実を捏造していること）を見逃してしまう可能性があると主張しています。

結論として言わないこと

著者たちは、自分たちが「フェイクニュース」や「完璧な要約」の問題を「解決した」とは言っていません。

• 彼らは、自分たちの指標が深層的な意味ではなく、表面的な単語（n-gram）のみを見ていることを認めています。もし生徒が異なる言葉を使いつつも全く同じ意味を表している場合、指標はそれを「書き換え」としてカウントしますが、これは今回の特定のテストにおいて彼らが意図していることです。
• また、**3乗（立方）**の使用を選択したことは、彼らがテストを行い、うまく機能することを確認した上での設計上の選択であり、物理法則ではないとも述べています。
• 彼らは、これらの指標をスクリーニング・ツールとして提案しています。これらは、人間が嘘をチェックする必要がある要約を特定（フラグ立て）するものです。これらは自動的に嘘を直すものではなく、単に指をさして指摘するものなのです。

まとめ

この論文は、単なるコピペのチェックにとどまらない、AIの要約を採点するための新しい方法を紹介しています。それは、特別な数学的トリック（非重複部分を3乗する）を用いて、AIが「創造的になりすぎて、事実をでっち上げている」状態を検知するものです。

彼らは、100の文書において、これらの指標が、コピーするモデル（SA ≈ 0.12–0.26）と、書くモデル（SA ≈ 1.15–1.99）の違いを明確に区別できることを証明しました。また、リファレンスがコピー中心のデータセットにおいて、モデルの抽象化比率 (AR) が1.0を突き抜けたとき、それはモデルが人間のリファレンスよりも多く抽象化しており、ハルシネーションのリスクを示唆していることも示しました。

それは、古い採点システムでは完全に見逃されてしまう「作られた事実」という小さなそばかすを、明らかにするための新しい拡大鏡を教師に与えるようなものです。