A Grounded and Decomposed Framework for Relation-Level Hallucination Evaluation in Abstractive Summarization

あなたは、非常に有能だが少しいたずら好きなロボットが書いた物語を読んでいるところだと想像してください。このロボットは「抽象型要約（abstractive summarization）」のエキスパートです。これは、単に長い記事を読み、自分の言葉で短く、パンチの効いたバージョンに書き換えるという、少し凝った言い方をしたものです。このロボットは自然で流暢に聞こえることに長けており、その文章の流れは川のようにスムーズです。しかし、ここには落とし穴があります。かっこよく見せようとするあまり、このロボットは時々、作り話をすることがあるのです。例えば、名前は正しく保持したまま、「誰が誰に対して何をしたか」を入れ替えてしまうことがあります。それはまるで、ニュースキャスターが、実際には「書記官によって条約が署名された」という文書に対し、「大統領が条約に署名した」と言ってしまうようなものです。言葉はそこにありますが、真実は歪められています。これは「ハルシネーション（幻覚）」と呼ばれ、人工知能の世界では大きな問題となっています。なぜなら、私たちは要約に対して、単に見た目が美しいだけでなく、真実であることを求めているからです。

長い間、こうした「嘘をつくロボット」を捕まえようとしてきた科学者たちは、まるで買い物リストをチェックするようなツールを使用してきました。彼らは、ロボットが使った単語が元の記事の中にいくつ含まれているかを数えていました。もしロボットが「リンゴ」という言葉を使い、元の記事にも「リンゴ」があれば、それは加点対象となりました。しかし、これは料理の味を見ずに、シェフがどれだけの材料を使ったかだけで判断するようなものです。リストと完璧に一致する生の、調理されていない材料がボウルの中に詰まっていたとしても、それは依然としてひどい食事である可能性があります。従来のツールは、ロボットが「名前」を覚えているかどうかを確認することには優れていましたが、「名前の間の関係性」を覚えているかどうかを確認することには全く向いていませんでした。それらのツールは、真実を語るロボットと、非常に説得力のある嘘をつくロボットの違いを見分けることができなかったのです。

ここで、IIIT ブバネシュワールの研究チームと一部の業界パートナーが、より鋭い眼鏡を持って登場します。彼らは、嘘つきを見破るには単に単語を数えるのではなく、物語の構造を理解しなければならないことに気づきました。彼らは、要約を評価するための新しいフレームワークを構築しました。それは、いわば「関係レベルのハルシネーション」を探し出す探偵のように機能します。単に「正しい言葉を使っているか？」と問うのではなく、「正しい点を結んでいるか？」と問うのです。

研究者たちは、**関係ハルシネーション指数（Relation Hallucination Index: RHI）**と呼ばれる新しいスコアリングシステムを作成しました。元のテキストを、異なる登場人物や出来事を結びつける複雑な紐のウェブ（網）だと考えてください。優れた要約は、これらの紐を損なうことなく維持する必要があります。ハルシネーションを起こしている要約は、一本の紐を切り、それを間違った人物に結びつけてしまうかもしれません。古いツールでは、登場人物（単語）自体はまだ存在しているため、これを見逃してしまいます。しかし、新しいRHIは、あらゆる一本一本の紐を辿るように設計されています。それは、テキストを「トリプル（三つ組み）」と呼ばれる小さな構成要素に分解する高度なプロセスを使用します。基本的には、「主語（誰が）」、「動詞（何をした）」、「目的語（誰に対して）」という構成です。

これらのトリプルが正確であることを確実にするために、チームは単なる基本的なスキャナーを使用しませんでした。彼らは「依存関係を考慮した（dependency-aware）」抽出エンジンを構築しました。このエンジンを、単に言葉を読むだけでなく、その奥底にある文法を理解する非常に注意深い編集者だと想像してください。このエンジンは、主語が隠れているトリッキーな文章（例：「ボールが投げられた」という受動態は、「誰かがボールを投げた」となる）を扱う方法を知っています。また、単なる発言報告（例：「彼は……と言った」）の言葉を無視し、実際の事実に集中する方法も知っています。さらに、混乱を避けるために、単語を基本形に変換（例：「running」を「run」に変更）して整理します。これにより、要約と元のテキストを比較する際に、リンゴとリンゴを比較するのではなく、リンゴとアップルパイを比較してしまうような間違いを防ぎます。

チームはこの新しいシステムを、膨大なデータを用いた遊び場でテストしました。彼らは3種類の異なるニュースデータセットを使用しました。非常に短く、極めて独創的な要約を持つXSUM、多くの国や言語のニュースを含むXLSUM、そしてより長く詳細なストーリーを含むCNN/DailyMailデータセットです。彼らは4つの有名なAIモデル――BART-large-CNN、PEGASUS、T5-large、GPT-3.5――に、800種類の異なるニュース記事の要約を書かせました。また、ロボットがどれほど完璧な人間のスコアに近づけるかを確認するために、「人間による参照用」の要約も含めました。

結果は目を見張るものでした。従来の単語カウント型のツールを使用した際、PEGASUSは元の記事と同じ単語を多く使用していたため、しばしば勝者として扱われました。しかし、研究者が新しいRHIスコアを適用すると、景色は一変しました。BARTは、必ずしも全く同じ単語を使用していなくても、出来事の真の関係性を保持するという点において、最も高いスコアを獲得しました。GPT-3.5は、得意なこともありましたが、「関係挿入の変動性（relation insertion variability）」、つまり、そこに存在しない新しいつながりを捏造してしまう傾向が見られました。この研究は、新しいRHIスコアが、古い手法よりもこれらの微妙な嘘を見抜く上ではるかに優れていることを明らかにしました。

この新しいスコアの興味深い点の一つは、「正規化されている」ことです。これは、短くて簡潔な要約を見ているのか、あるいは長く詳細な要約を見ているのかに関わらず、公平に機能することを意味します。彼らはエラーを、モデルが正解したもの、モデルが捏造したもの、モデルが見落としたもの、そしてモデルが間違えたもの、という異なるカテゴリーに分類しました。これらの断片を見ることで、モデルがどのように失敗しているのかを正確に把握することができました。例えば、いくつかのモデルは主要な事実は保持できているものの、否定文（例：「その会社は倒産しなかった」）の扱いには非常に脆いということが分かりました。

研究者たちは、自分たちの発見が単なる偶然ではないことを確認するために、統計的テストを実施しました。彼らは、モデル間のスコアの差が有意であることを発見しました。これは、新しいRヒ（RHI）スコアが、優れた真実の要約と、質の悪いハルシネーションを含む要約を区別するための信頼できる方法であることを意味しています。また、彼らは、名前が正しいかどうかのみをチェックする従来の「エンティティ・ハルシネーション指数（Entity Hallucination Index）」よりも、新しい手法の方が優れていることを示しました。なぜなら、新しい手法は名前の間の「行動」や「つながり」までをもチェックするからです。

結局のところ、この論文は、もし私たちがAIを信頼できるものにしたいのであれば、単に単語を数えるのではなく、物語の論理をチェックする必要があることを示唆しています。新しい**関係ハルシネーション指数（RHI）**は、まさにそれを実現する方法を提供します。それは、要約がどのように聞こえるかではなく、その要約が語る物語が実際に真実であるかどうかを教えてくれるのです。著者たちは、将来的にこのようなスコアがAIモデルの訓練に使用され、AIが「流暢であるだけでは不十分であり、事実に忠実でなければならない」ということを学ぶ助けとなることを期待しています。