MultiwayPAM: Multiway Partitioning Around Medoids for LLM-as-a-Judge Score Analysis

LLM による評価スコアにおける計算コストとバイアスの課題を解決し、評価スコアテンソルの構造を解明するため、質問・回答者・評価者の各モードに対してクラスタ所属と代表点（メドイド）を同時に推定する新しいテンソルクラスタリング手法「MultiwayPAM」を提案し、その有効性を実データで実証した。

要約

🍽️ 巨大な料理コンテストの物語

想像してみてください。世界中から**「質問（レシピ）」、「回答者（シェフ）」、そして「審査員（グルメ評論家）」**が集まった、とてつもなく大きな料理コンテストがあるとします。

• 質問（レシピ）: 「カレーを作ってください」「宇宙の謎を説明してください」など、50 種類。
• 回答者（シェフ）: 「元軍人」「料理研究家」「AI」など、50 種類のキャラクター設定。
• 審査員（グルメ）: 「厳しいおばあちゃん」「陽気な学生」「冷静な弁護士」など、50 種類のキャラクター設定。

このコンテストでは、すべてのシェフがすべてのレシピで料理を作り、すべてのグルメがそれらを評価します。
つまり、50 × 50 × 50 = 125,000 回もの料理と評価が発生します。

🚨 2 つの大きな問題

このコンテストには、2 つの大きなトラブルがありました。

1. コストがかかりすぎる: 125,000 回も料理を作って、125,000 回も評価してもらうのは、時間もお金もかかりすぎです（計算コストの問題）。
2. 審査員の偏り（バイアス）: 審査員はみんな公平ではありません。
   • 「元軍人シェフ」が作った料理は、同じ「元軍人」の審査員に高評価されやすい。
   • 「料理研究家」の審査員は、特定のレシピにだけ甘い。
   • 自分と似た性格のシェフの料理を無意識に高く評価する**「自己愛バイアス」**も存在します。

「なぜ、この料理は低評価だったの？」「なぜ、あの料理は高評価だったの？」という理由が、単なる「運」や「偏見」なのか、それとも「構造」があるのか、誰にもわかりませんでした。

💡 解決策：「MultiwayPAM（マルチウェイ・パム）」という新しい魔法の鏡

そこで著者たちは、**「MultiwayPAM」という新しい分析ツールを開発しました。これは、「料理コンテストの結果を、グループごとに整理して、代表者（メドイド）を見つける」**という魔法のような方法です。

このツールがどう働くか、3 つのステップで説明します。

1. グループ分け（クラスタリング）:
   125,000 個の評価データを眺めて、「あ、この 5 つの質問は似ている」「この 5 つのシェフは似た傾向がある」「この 5 つの審査員は似た基準で採点している」というグループを見つけ出します。

   • 例：「物理的な移動能力を問う質問」は、すべて「軍事系シェフ」に高評価されるグループに属する、など。

2. 代表者の選出（メドイド）:
   ここがこの研究のすごいところです。単に「平均点」を出すだけでなく、**「そのグループを最もよく表す『代表選手』」**を選びます。

   • 例えば、「軍事系シェフ」グループの代表として、「A44 号（ヴィンテージ・レコード店の店主）」が選ばれたとします。
   • これにより、「軍事系シェフのグループ」全体を、たった一人の「レコード店主」の回答を見るだけで理解できるようになります。

3. 偏りの構造を暴く:
   代表者たちの評価を見ると、**「なぜ偏りが起きたのか」**が見えてきます。

   • 「あ、軍事系の質問（Q6）を、看護婦さんの審査員（E14）が見たら、低評価だったな。でも、サッカーファンの審査員（E22）が見たら、水に関する質問（Q11）に高評価だったな」
   • このように、「誰が」「誰の」「何を」評価した時に、どんな傾向が出るかが、パッと見てわかるようになります。

🌟 この研究のすごいところ

• コスト削減: 全部のデータを見る必要がなくなります。「代表選手」の傾向さえわかれば、他の似たケースも予測できるからです。
• 偏りの可視化: 「審査員が偏っている」という漠然とした不満ではなく、「A さんの審査員は、B さんの回答を C さんの質問に対してだけ甘く採点している」という具体的な構造を浮き彫りにします。
• わかりやすさ: 平均値（ centroid ）を使うと「全体像」はわかりますが、「代表選手（メドイド）」を使うと、「具体的に誰が、どんな回答をしたか」がイメージしやすくなります。

📊 実験結果

実際に 2 つのデータセット（Truthy と Emerton）で試したところ、この方法は従来の方法よりも、データの構造をより正確に、かつわかりやすく捉えることができました。

• Truthy データ: 「軍事関係の質問」に対して「軍事経験のある審査員」が低評価を出すなど、意外な組み合わせの偏りが発見されました。
• Emerton データ: 質問の種類によって、評価の傾向が劇的に変わることもわかりました。

🎯 まとめ

この論文は、**「AI が AI を評価する際、膨大なデータの中から『誰が・何を・どう評価したか』というパターンを見つけ出し、その代表例を提示することで、評価の偏りを理解しやすくし、計算コストも下げる」**という画期的な方法を紹介しています。

まるで、**「125,000 人もの審査員とシェフの複雑な関係性を、たった数人の『代表選手』の物語に要約して、コンテストの真実を暴き出した」**ようなものです。

これにより、今後の AI 評価システムは、より公平で、かつ効率的なものになっていくでしょう。

技術概要

以下は、提出された論文「MultiwayPAM: Multiway Partitioning Around Medoids for LLM-as-a-Judge Score Analysis」の技術的な要約です。

1. 研究の背景と課題 (Problem)

大規模言語モデル（LLM）を用いた評価（LLM-as-a-Judge）は、プロンプトテンプレートの変更によって多角的な視点からテキストの品質をスコアリングできる柔軟なフレームワークとして注目されています。しかし、この手法の実用化には以下の 2 つの主要な課題が存在します。

1. 計算コストの高さ: 質問、回答者（生成モデル）、評価者（LLM）のすべての組み合わせに対してスコアを算出する場合、$d_1 \times d_2 \times d_3$ 回の推論が必要となり、大規模なデータセットでは膨大な計算リソースと時間がかかります。
2. 評価者のバイアス: LLM 評価者には「自己増強バイアス（自分自身が生み出した回答を好む）」など、様々な種類のバイアスが内在しています。これらのバイアスを軽減するだけでなく、スコアにどのような構造的な偏り（例：似た性質の質問・回答者・評価者の組み合わせが類似したスコアを生むか）が存在するかを解明する必要があります。

既存のテンソルクラスタリング手法はブロック構造を特定できますが、クラスタ内の構成要素が多くなると解釈が困難になるという限界があります。特に、各クラスタを代表する「代表例（Medoid）」を同時に推定する手法が不足していました。

2. 提案手法：MultiwayPAM (Methodology)

著者らは、LLM-as-a-Judge によって得られるスコアを 3 次元（質問、回答者、評価者）のテンソルとして扱い、その構造を解析するための新しいテンソルクラスタリング手法**「MultiwayPAM」**を提案しました。

• 基本概念:

  • 入力データ: $K$ 次元のデータテンソル $Y$（本研究では質問、回答者、評価者の 3 モード）。
  • 目的: 各モードのクラスタ所属（Membership）と、各クラスタを代表するインデックス（Medoid）を同時に推定すること。
  • 手法の基盤: 従来のベクトルデータ向けクラスタリング手法「Partitioning Around Medoids (PAM)」をテンソルデータに拡張したもの。

• アルゴリズムの流れ:

  1. BUILD アルゴリズム（初期化）:
     • 各モードに対して貪欲法を用いて初期 Medoid を選択します。
     • 各スライス（部分テンソル）間の非類似度（L2 ノルム）を最小化する Medoid を順次選択し、初期のメンバーシップリストを構築します。
  2. SWAP アルゴリズム（反復更新）:
     • 現在の Medoid と非 Medoid のペアを交換し、テンソル全体の非類似度（元のテンソルと Medoid テンソルの差）が減少するかを評価します。
     • 各モードに対して、最適な交換ペアを探索し、メンバーシップと Medoid を更新します。
     • どのモードでも改善が見られなくなるまで反復し、局所最適解を出力します。

• 出力の解釈性:

  • 得られた Medoid は、各クラスタを代表する具体的な「質問」「回答者」「評価者」のインデックスとなります。これにより、単なる数値的なクラスタリング結果だけでなく、「どのような特徴を持つグループが形成されているか」を直感的に理解できます。

3. 実験と結果 (Results)

提案手法は、2 つの実用的なデータセット（Truthy-DPO-v0.1 と Emerton-DPO-Pairs-Judge）を用いて評価されました。

• 実験設定:

  • 質問数、回答者数、評価者数をそれぞれ 50 ずつ選び、GPT-4o mini を用いてスコアテンソル（50x50x50）を生成。
  • クラスタ数は各モードとも 5 に設定。
  • 比較対象として、既存のテンソルブロックモデル（TBM）と比較。

• 主要な発見:

  • 構造の可視化: MultiwayPAM は、質問・回答者・評価者の組み合わせによるスコアの偏りを明確なブロック構造として抽出しました。
    • Truthy データセット: 特定の質問（例：物理的な移動能力に関する質問）に対して、特定の評価者（例：軍事的な危険性を懸念する看護師）が低いスコアを与える傾向などが Medoid を通じて可視化されました。
    • Emerton データセット: スコアの変動は主に「質問」の違いに起因しており、特定の質問（例：論理的推論を要する問題）に対しては、回答者・評価者の組み合わせに関わらず高いスコアが得られる傾向が確認されました。
  • 精度の比較:
    • RMSE-M（元のテンソルと Medoid テンソルの誤差）: MultiwayPAM は TBM よりも低い誤差（より良い近似）を達成しました。これは Medoid を代表値として利用する手法の有効性を示しています。
    • RMSE-C（元のテンソルとクラスタ平均値の誤差）: TBM の方がわずかに優れていましたが、MultiwayPAM も同程度の性能を示しました。
  • 解釈性: TBM はクラスタの「平均」を代表値とするため、具体的なインデックス（どの質問や評価者が代表か）の特定が困難でしたが、MultiwayPAM は Medoid として具体的なインデックスを出力し、バイアスの原因を特定しやすくしました。

4. 主要な貢献 (Key Contributions)

1. MultiwayPAM の提案: テンソルデータに対して、クラスタ所属と Medoid（代表インデックス）を同時に推定できる新しいクラスタリングアルゴリズムを提案した。
2. LLM-as-a-Judge 評価の構造化: 計算コスト削減（一部スコアからの予測可能性の示唆）と評価バイアスの構造的解明を可能にするアプローチを提供した。
3. 解釈性の向上: 従来のテンソルクラスタリング手法の弱点であった「クラスタ構成の解釈難」を、Medoid を通じた具体的な代表例の提示によって解決した。

5. 意義と将来展望 (Significance & Future Work)

本論文は、LLM 評価における「ブラックボックス化」されがちなバイアスやスコア分布を、数学的かつ解釈可能な形で可視化する重要なステップです。

• 実用性: 評価コストを削減しつつ、評価基準の偏りを特定し、より公平な評価システムの設計に寄与します。
• 今後の課題:
  • クラスタ数（ブロック数）を事前に指定する必要があるため、適切なクラスタ数を自動決定する手法の開発。
  • 近似誤差の最小化だけでなく、同一クラスタ内での「意味的類似性」も考慮した Medoid 選択手法の検討。

総じて、MultiwayPAM は、LLM 評価データの複雑な構造を解きほぐし、人間が理解可能な形でバイアスを分析するための強力なツールとして位置づけられます。