技術要約：「LLMはランキングが可能か？ 三者関係とトリアージの物語」

問題提起

大規模言語モデル（LLM）は、緊急住宅の優先順位決定や救急部門での患者のトリアージなど、高リスクなリソース配分タスクにおける「判定員」として、ますます活用されるようになっている。LLMは高度な推論能力を示す一方で、その出力は提示順序やプロンプトのフレーミングに敏感であり、多数のグループを同時にランキングする際には脆弱性を示す。社会選択理論に基づいた一般的な緩和策は、ペア比較（二者間比較）を抽出し、それらを集計して全順序を導き出すことである。

しかし、重大なギャップが残されている。実務家には、展開前にLLMのペア判定が、結果としてのランキングを信頼するのに十分な一貫性を備えているかどうかを評価するための信頼できる手法が欠けている。既存の文献では、一貫性の指標とランキングの正確性を別個の問題として扱うことが多く、「単一実行内の一貫性（Intra-Run Consistency: IC）」（単一の判定セットにおける内部的な論理的一貫性）と**「複数実行間の分散（Inter-Run Variance: IV）」**（複数の実行にわたるランキング結果の安定性）の関係性を探求できていない。本論文は、これら二つの信頼性の軸が独立しているのか、また、合成データおよび現実世界のLLMアプリケーションにおいてそれらがどのように振る舞うのかを調査する。

手法

理論的枠組み

著者らは、二つの独立した軸によって定義される、ランキングの信頼性に関する $2 \times 2$ のタクソノミー（分類学）を提案している。

1. 単一実行内の一貫性 (IC): 一貫性係数 ($\zeta$) によって測定される。元々ケンドールとスミスによって開発された $\zeta$ は、トーナメントグラフにおける循環的な三者関係（$\{a, b, c\}$ であり、$a \succ b \succ c \succ a$ となるもの）をカウントすることで、判定員の信頼性を定量化する。$\zeta = 1$ は完全な推移律を示し、$\zeta = 0$ は最大の循環性を示す。本論文では、候補数 $n$ が増加する際の $\zeta$ の漸近的挙動を導出し、それが不整合率 $r$ とスケーリング因子に依存することを示している。
2. 複数実行間の分散 (IV): 同一のパイプラインから生成されたランキング間の ケンドールの $\tau$ 距離によって測定される。これは、最終的なランキングの安定性を捉えるものである。

著者らは、既知の正解を持つペア比較の標準的な生成モデルである ブラッドリー・テリー・ルーシー (BTL) モデル の下で、$n$、$\zeta$、および $\tau$ の関係を理論的に特徴付けている。

実験設計

本研究は、二つのドメインにおいてこれらの指標を評価する：

• ホームレス状態の住宅割り当て: セントルイスのコーディネート・エントリー記録（単身者、家族、移行期青少年向けの VI-SPDAT, VIF-SPDAT, TAY-VISPDAT）を使用。
• 救急部門のトリアージ: ESIラベルが付与された MIMIC-IV データを使用。

モデル: 以下の3つの主要なLLMをローカル環境でテストした：Meta-Llama-3-8B-Instruct、DeepSeek-R1-Distill-Llama-8B、および Qwen2.5-7B-Instruct。

手順:

1. 部分トーナメントによる評価: 各データセットに対して、$m=30$ のアイテムからなる完全な部分トーナメントを生成した（各モデルにつき435回のペア比較）。$\zeta$ は厳密に計算され、自己一貫性（$\tau_{cons}$）はブートストラップ・サブサンプリングを通じて測定された。
2. フル・スパース・パイプライン: 現実世界の制約をシミュレートするため、エッジ・サンプリング確率 $p=0.4$ を用いて、より大きな集合（$n$ は最大698）に対してパイプラインを実行した。著者らは、$\hat{\zeta}$（疎なデータから推定された値）と $\tau_{cons}$ が $n$ とともにどのようにスケールするかを測定した。

主な貢献

1. $\zeta$ の理論的特性付け: 本論文は、固定された識別能を持つBTLモデルの下では、不整合率 $r$ が $\Theta(1/n^2)$ として減少するため、$\zeta$ は $n$ の増加に伴い1に収束することを証明している。これにより、規模に応じて一貫性が向上するという理論的ベースラインが確立される。
2. 一貫性の軸の分離: 合成実験を通じて、著者らは $\zeta$ と $\tau_{cons}$ が相関しているものの、冗長ではないことを示している。具体的には、$\zeta$ は比較信号の「質」（非推移性）を測定し、$\tau_{cons}$ は信号の質と、各アイテムあたりの比較の「量」の両方に依存する。
3. 実データにおける乖離: BTLモデルとは対照的に、現実世界のLLMデータは、$n$ が増加しても一定の不整合率 ($r$) を示す。その結果、$\zeta$ は増加するのではなく漸近的なフロア付近で安定する一方、$\tau_{cons}$ はデータポイントの蓄積により $n$ とともに増加し続ける。
4. モデル固有のパフォーマンス・プロファイル: 本研究は、両方の軸において支配的な単一のモデルは存在しないことを明らかにしている。
   • LLaMA: 一貫して最も高い単一実行内の一貫性 ($\zeta$) を達成するが、複数実行間の安定性は低い。
   • Qwen: 最も高い複数実行間の安定性 ($\tau_{cons}$) を達成するが、単一実行内の一貫性は最も低い。
   • DeepSeek: 通常、両方の次元において中間的な位置を占める。

結果

• 合成データ vs. 実データ: 合成BTLデータでは、$n$ とともに $\zeta$ が増加する。一方、現実のLLM生成データでは、$n$ の異なる値に対して $\zeta$ はほぼ一定であり、理想化されたモデルで予測されるような不整合率 $r$ の減少は見られない。
• 診断的有用性: 疎な推定値 $\hat{\zeta}$ は、異なる観測確率 ($p$) において偏りがない（unbiased）ことが示されており、実務家は不完全なデータからでも比較の質を推定できる。
• トレードオフ: 本論文は、高い $\zeta$ を持つモデル（LLaMA）は内部的には論理的だが実行間で不安定なランキングを生む可能性があり、高い $\tau_{cons}$ を持つモデル（Qwen）は内部的には非推移的だが安定したランキングを生む可能性があるという、重要なトレードオフを浮き彫りにしている。

意義と主張

本論文は、LLMの信頼性を評価する際に、単一の指標（$\zeta$ または $\tau_{cons}$ のいずれか）に頼ることは不十分であり、誤解を招く可能性があると主張している。

• 独立した軸: 著者らは、単一実行内の一貫性と複数実行間の分散は、真に独立した信頼性の軸であると断言している。システムは、内部的には一貫しているが不安定（低IV、高IC）であることもあれば、安定しているが内部的には非推移的（高IV、低IC）であることもある。
• 実用的な診断プロトコル: 著者らは、実務家のための二段階の診断プロセスを提案している：
  1. 小規模な完全トーナメントを実行して $\zeta$ を計算する。もし $\zeta$ が低い場合、比較プロセス自体が根本的に非推移的であり、どれほどデータを追加してもランキングは改善されない。
  2. もし $\zeta$ が高く $\tau_{cons}$ が低い場合、問題は信号の質ではなく、データの量の不足である。その場合の解決策は、モデルを変更することではなく、サンプリング割合を増やすことである。
• モデル選択: 結果は、モデル選択がドメイン固有である必要があることを示唆している。ステークホルダーが個々の判断の論理的一貫性を優先する場合、LLaMAが好ましい可能性がある。一方、実行間での最終出力の安定性を優先する場合、Qwenが好ましい可能性がある。

本論文は、提案されたタクソノミーが、単純な正確性指標を超えて、重大な意思決定におけるAIの信頼性をより微細に理解するための、不可欠な枠組みを提供すると結論づけている。