SKG-Eval: Stateful Evaluation of Multi-Turn Dialogue via Incremental Semantic Knowledge Graphs

SKG-Eval は、構造化された状態追跡を通じて長距離の不一致や矛盾を検出するためにセマンティック知識グラフを逐次的に構築することにより多ターン対話システムを評価する新規かつ解釈可能なフレームワークであり、既存のフラットな指標やターンを孤立させた指標よりも人間の判断との相関を高める。

要約

友人との長く複雑な会話に座っていると想像してください。まず「コーヒーは熱い」と同意することから始めます。2 回会話を重ねた後、友人は「コーヒーは冷たい」と言い、さらにその 5 回後に「コーヒーは固体の岩だ」と主張します。

もしあなたが標準的な AI 評価者であれば、各文を個別に評価するかもしれません。「コーヒーは冷たい」は普通の文に聞こえます。「コーヒーは固体の岩だ」も文法的には正しいように見えます。AI は、相手が自己矛盾し、正気を失っているという事実を完全に見逃したまま、礼儀正しく流暢であるとして高いスコアを与えるかもしれません。

これが SKG-Eval が解決する問題です。これは AI の会話を評価する新しい方法であり、スペルチェックのようではなく、巨大で進化し続けるホワイトボードを持った探偵のような役割を果たします。

その仕組みを、簡単な概念に分解して説明します。

1. 問題：「物忘れ」をする裁判官

現在の AI 裁判官（別の AI の評価をスーパースマートな AI に任せるような場合）は、通常、一度に一つの文しか見ていません。彼らは 5 分前に何があったかを忘れる裁判官のようです。

• 欠点： AI がターン 1 で「私は猫が好きだ」と言い、ターン 10 で「私は猫が嫌いだ」と言った場合、標準的な裁判官はターン 10 の文法を忙しくチェックしているため、それを見逃すかもしれません。
• 結果： AI システムは話題から逸脱したり、ルールを忘れたり、自己矛盾したりしても、罰せられずに済んでしまいます。

2. 解決策：「生きたホワイトボード」（意味知識グラフ）

SKG-Eval は単にテキストを読むだけでなく、会話が進むにつれてその地図を構築します。この地図を、教室にある巨大で生きたホワイトボードだと考えてください。

• ノード（付箋）： AI が人物、物体、事実（「コーヒー」、「代謝」、「朝食を抜く」など）に言及するたびに、それを付箋に書いてボードに貼ります。
• エッジ（紐）： これらの付箋を紐で結び、それらがどのように関連しているかを示します（例：「コーヒー」$\rightarrow$ 熱い $\rightarrow$ 「液体」）。
• 更新： 会話が続けるにつれて、AI は新しいページを開始するのではなく、同じボードに追加していきます。AI が「コーヒーは冷たい」と言おうとすると、システムは「コーヒー」と「熱い」を結ぶ紐を見て、即座に矛盾を検知します。

3. 三つの評価項目

SKG-Eval は、曖昧な一つの評価を与えるのではなく、AI が言う新しい文ごとに 3 つの具体的な項目をチェックします。

• A. 質問に答えましたか？（局所的な関連性）

  • 比喩: 今私が何を質問したか、実際に聞いていましたか？
  • 新しい文が現在のプロンプトと一致しているかを確認します。「天気はどうですか？」と尋ねたのに、AI が「私はピザが好きです」と答えれば、このスコアは下がります。

• B. 過去を覚えていますか？（歴史的整合性）

  • 比喩: 同じ話題について話し続けていますか、それとも脱線しましたか？
  • 新しい「付箋」が、ホワイトボード上の古い付箋とつながっているかを確認します。会話が「コーヒー」についてだったのに、突然橋渡しもなく AI が「宇宙ロケット」の話をはじめれば、スコアは下がります。

• C. 自己矛盾していませんか？（論理的整合性）

  • 比喩: 「見つけた！」という瞬間です。
  • これがスーパーパワーです。これは幾何学的矛盾エンジンを使用します。「コーヒーは熱い」という事実の「形」と、「コーヒーは冷たい」という事実の「形」が衝突するかどうかを測定するロボットを想像してください。衝突すれば、ロボットはそれをフラグ付けします。
  • 重要な詳細： これは過ちと修正の違いを理解しています。「コーヒーを紅茶に変えて」と言えば、システムはあなたが意図的にボードを更新したことを理解します。事実を変更するよう指示に従った AI を罰することはありません。

4. 「直近の記憶」ボーナス

このシステムは、会話時間が経過するにつれて変化するものであることを理解しています。これは直近重み付きトレンドを使用します。

• 比喩: 生徒の成績表を考えてください。月曜日に A、火曜日に B、金曜日に F を取った場合、先生は F をより重視します。それは悪化する傾向を示しているからです。
• SKG-Eval は、最も最近のターンをより重く評価して最終スコアを計算します。これにより、会話が良くなっているのか、それともゆっくりと崩壊しているのかを判断できます。

5. なぜこれが重要なのか（「証明書」）

標準的な AI 裁判官が「これは悪い」と言うとき、それはしばしばブラックボックスです。なぜそうなのかはわかりません。
SKG-Eval はあなたに矛盾証明書を与えます。

• 比喩: 「不合格だ」と言うだけでなく、「ターン 4 で『X は Y だ』と言ったが、ターン 1 にはすでに『X は Z だ』と確立していた。これがそれを証明するホワイトボード上の正確な紐だ」と書かれた紙を渡します。

まとめ

SKG-Eval は、AI 評価者が「物忘れ症」になるのを防ぐツールです。会話を事実と関係の構造化された視覚的地図に変えることで、以下のものを検知できます。

1. 矛盾（反対のことを言う）。
2. 逸脱（警告なく話題を変える）。
3. 忘却（以前設定されたルールを無視する）。

これは、答えを推測する「魔法のブラックボックス」AI を必要とせずに行われます。代わりに、信頼でき、監査可能なスコアを生み出す、明確で段階的な論理システムを使用します。宿題をただ一瞥する先生と、学期初めのノートからあなたの答案をチェックする先生の違いのようなものです。

技術概要

技術概要：SKG-Eval

問題定義

マルチターン対話システムの評価は、応答の品質が本質的に状態依存かつ時間的であるという根本的な課題に直面しています。応答は局所的には流暢で関連性があるように見えても、以前のコミットメントと矛盾したり、ユーザーの元の意図から逸脱したり、確立された制約を静かに忘却したりすることで、全体的には失敗する可能性があります。既存の自動評価パラダイム（LLM-as-a-judgeプロトコルや埋め込みベースの指標を含む）は、主に平坦なテキストまたはターン孤立型の表現に基づいて動作します。その結果、これらは特に会話が数ターンを超えて成長するにつれて、矛盾、トピックの逸脱、エンティティの一貫性の欠如といった、ターン間での失敗モードを信頼性高く検出することに苦労しています。さらに、LLM ジャッジは非決定性、長い履歴に対する信頼性の低いアテンションパターン、および言い換えられたり数値的な矛盾に対する低い再現率に悩まされています。

手法：SKG-Eval

著者らは、対話を進化させる意味知識グラフ（SKG）としてモデル化する、準決定論的かつ解釈可能な評価フレームワークSKG-Evalを提案します。SKG-Eval は、平坦なテキストプレフィックスに対して応答をスコアリングするのではなく、各ターンにおいてエンティティ、関係、対話的コミットメントの構造化グラフを逐次的に更新します。このフレームワークは、3 つの相補的な信号を計算し、これらを融合・集約してセッションレベルのスコアを生成します。

1. 逐次的意味知識グラフ（SKG）

コアとなる状態表現は、各ターン $t$ で更新される有向多重グラフ $G_t = (V_t, E_t)$ です。

• ノード: 正規化されたラベル、エンティティタイプ（例：PERSON、OBJECT）、埋め込み、重要度スコアなどの属性を持つエンティティを表します。
• エッジ: 関係、属性、意図、プロパティタイプなどのタイプ付きメタデータを持つ事実的主張を表します。
• 更新メカニズム: 新しいトリプルは、決定論的な LLM 呼び出しを通じて抽出されます。グラフは、高い埋め込み類似性を持つノードをマージするターン間重複排除を行い、埋め込みの近接性に基づいて新しいノードと既存のノード間の意味エッジを追加します。

2. 3 成分スコアリング

各ターンにおいて、3 つのスコアが計算されます。

• 局所関連性（$S^{\text{loc}}_t$）: 現在のプロンプトおよびオプションの参照との整合性を測定します。「意味三角形」アプローチを使用し、応答文とプロンプト/参照間の最大コサイン類似度を計算します。短い応答や参照の欠落に対しては適応的な処理を行います。
• 履歴一貫性（$S^{\text{cons}}_t$）: 新しい情報が以前の状態とどのように接続するかを定量化します。以下を組み合わせます。
  • グラフアンカースコア: ノードの重要度で重み付けされ、新しいノードが事実的エッジ（最も強い）、意味エッジを介して接続するか、それとも逸脱（孤立）しているかを測定します。
  • セッションアンカー: グラフの切断が構造的に予想される Q&A セッションにおいて、トピックの連続性を捉えるためのフォールバック機構です。現在の応答の埋め込みと最初のターンの埋め込みの類似度を使用します。
• *論理的整合性（$S^{\text{log}}_t$）: 主要な革新であり、幾何学的矛盾エンジンによって計算されます。このエンジンは、NLI モデルや推論のための LLM ジャッジに依存することなく矛盾を検出します。優先順位付けされた検出器の連鎖を使用して、現在のエッジを過去のエッジと比較します。
  • 記号検出器: 否定の反転、対義語関係、数値ミスマッチに対する高精度チェック。
  • 幾何学的検出器: 埋め込み類似性を使用した排他的オブジェクトの衝突と意味的逸脱のチェック。
  • 改訂認識フィルタリング: ユーザーが承認した改訂（例：「それを...に変更して」）を明示的に識別し、正当な更新を罰しないように矛盾チェックから除外します。

3. 融合と集約

• レジーム適応型融合: 3 つのスコアは、応答レジーム（短、Q&A、一般）に依存する重み付き和によって結合されます。ハードロジックゲートにより、確認された矛盾は高い関連性スコアによって隠蔽されることはありません。
• セッションレベル集約: 最終的なセッションスコア $S(D)$ は、直近重み付け回帰によって導き出されます。これは、現在の品質レベル（加重平均）と時間的傾向（傾き）の両方を捉え、セッションの長さに関係なく、会話が時間とともに劣化しているか改善しているかをスコアが反映することを保証します。

主要な貢献

1. 明示的意味メモリによる状態依存対話評価: 進化する SKG 上の推論として評価を定式化し、ターン間依存関係と長距離一貫性の構造化分析を可能にします。
2. 幾何学的矛盾エンジン: 関係とオブジェクトの構造化比較を通じて矛盾を検出する、決定論的かつ改訂認識型のフレームワーク。NLI モデルなしで解釈可能な矛盾証明書を生産します。
3. グラフアンカー履歴一貫性: 以前の状態への意味的接続性を評価する指標を導入し、トピックの連続性のためにセッションアンカー機構によって強化します。
4. 堅牢な局所関連性: プロンプトの整合性と参照のカバレッジを適応的なフォールバックと共に共同で考慮する三角測量された指標。
5. レジーム適応型融合と傾向分析: 長距離会話にわたる品質傾向を捉える動的な重み付け戦略と、直近重み付け回帰アグリゲーター。
6. 解釈性と準決定性: 矛盾証明書や意味アンカーなどの明示的な監査証跡を提供し、固定入力に対して決定論的なスコアを生成します。これは LLM ジャッジの非決定性と対照的です。

実験結果

著者らは、SKG-Eval をMT-Bench（短時間視野）とMultiChallenge（長時間視野）で評価し、ECoh、LLM-Eval、DeepEval、およびさまざまな GPT-4o ジャッジ構成を含むベースラインと比較しました。

• 人間の判断との整合性: SKG-Eval は、両方のベンチマークで人間の評価との相関が最も高くなりました。 gains はMultiChallengeで最も顕著で、SKG-Eval はセッションレベルのスコアにおいて、Spearman 相関で最良の履歴認識型 LLM ジャッジベースラインを**+0.13**上回りました。
• 矛盾検出: 特定の失敗モード（否定、対義語、数値ミスマッチ、逸脱）を対象とした制御診断ベンチマーク（SKG-PROBE）において、SKG-Eval は平均 F1 値**79.8%**を達成し、LLM ベースのジャッジ（60.4%）や他のベースラインを大幅に上回りました。数値置換と対義語的矛盾の検出において、優れた再現率を示しました。
• 長さ不変性: ベースライン評価器はセッション長の増加とともに性能が低下しましたが、SKG-Eval は過去の主張のグラフ索引付き検索により、すべての長さビンで安定した性能を維持しました。
• 計算効率: SKG-Eval は LLM-as-a-judge アプローチよりもはるかに安価です（1,000 ターンあたり約 0.71 ドル対 27.1 ドル）かつ完全に再現可能（決定論的）です。一方、LLM ジャッジはデコーディングシードによって変動を示します。

意義と主張

本論文は、長時間視野の対話システムにおける LLM ベースの評価者が使用する暗黙的推論に対する原則的な代替案として、構造化表現による外部化された状態追跡を主張しています。

• ギャップの解消: SKG-Eval は、事実的コミットメントの明示的かつタイムスタンプ付きの状態を維持し、ターン間矛盾を決定論的かつ解釈可能に検出し、長さ不変な方法で品質を集約する評価者のギャップを埋めます。
• 解釈性: 「ブラックボックス」ジャッジとは異なり、SKG-Eval は矛盾するエッジ、検出器タイプ、信頼度を明示的に特定する矛盾証明書を生成し、監査可能な評価とデータセットのキュレーションを可能にします。
• スケーラビリティ: 状態追跡をスコアリングメカニズムから分離することで、このフレームワークは、反復的な LLM プロンプティングが計算上禁止的となり、コンテキストウィンドウの制限に陥りやすい長い会話にスケーリングします。
• 限界: 著者らは、このフレームワークが上流の意味トリプル抽出の品質に依存しており、外部の世界知識を必要とする深い語用論的矛盾よりも、明示的な意味的不整合に対して主に最適化されていることを認めています。

結論として、著者らは、SKG-Eval が、特に長距離論理的一貫性が重要なシナリオにおいて、マルチターン対話システムの一貫性と整合性を評価するためのスケーラブルで再現可能かつ解釈可能な手法を提供すると提唱しています。