技術的概要：信頼のパラドックス——CS 研究者が LLM リーダーボードとどう関わるか

問題定義

大規模言語モデル（LLM）のリーダーボードは、標準化されたタスクにおけるモデルのスコアを集約して順位付けを行うことで、現代の AI 研究における中心的な人工物となっています。これらのプラットフォームは一般的に 2 つの形態を取ります。静的ベンチマークリーダーボード（例：MMLU、Open LLM Leaderboard）は固定テストセットに基づいてモデルを順位付けし、アリーナ型リーダーボード（例：Chatbot Arena）は人間の選好投票を集約します。

その可視性にもかかわらず、技術文献はそれらの信頼性と堅牢性に関して重大な限界を確立しています。研究によれば、リーダーボードの順位付けは、評価プロンプトの微調整やデータのごく一部を削除するなどのわずかな摂動に対して敏感であり、戦略的な操作（例：投票の不正やターゲットを絞ったテスト）の影響を受けやすく、異なる順位付けアルゴリズム（例：Elo と Glicko）は同一のデータから矛盾する順序を生成することがあります。

しかし、重要なギャップが残されています。リーダーボードの技術的脆弱性は文書化されているものの、これらのプラットフォームが実際に研究者の日常的な実践、意思決定プロセス、および信頼の判断をどのように形成するかは、実証的に未開拓の領域です。研究者がリーダーボードの位置を進展の決定的な代理指標として扱うのか、それともこれらのシグナルを不信視し、選択的に利用するのかは不明です。本研究は、計算機科学の異なるサブ分野にわたるリーダーボードの社会技術的役割を検証することで、このギャップに対処します。

方法論

本研究は、**反射的テーマ分析（RTA）**に基づいた質的解釈主義アプローチを採用しています。

• 参加者: 自然言語処理（NLP、$n=3$）、人間とコンピュータの相互作用（HCI、$n=2$）、システム/プライバシー（$n=2$）、および学際的な「その他」カテゴリ（$n=1$）の 4 つのサブ分野にわたって、8 人の計算機科学研究者が募集されました。サンプルには、博士課程学生、修士課程学生、およびポスドク研究者が含まれていました。
• データ収集: データは、背景質問票に先行し、インタビューの要約を事実の正確性について参加者がレビューするメンバーチェックプロセスに続く、半構造化インタビュー（30〜45 分）を通じて収集されました。
• 手順: 参加者は、議論の基礎となるリーダーボード設計の視覚的類型化を示されました。インタビューでは、モデル選択戦略、リーダーボードの信頼性に対する態度、および研究の枠組みへの順位付けの影響が探られました。
• 分析: 転写テキストは、Braun と Clarke の 6 段階の RTA プロセスを用いて分析されました。主要な研究者は、71 の一意のコードにわたる 210 のコード化セグメントを生成し、7 つの分析次元と 6 つのテーマに整理しました。研究者間信頼性（Inter-coder reliability）は追求されず、代わりに分析メモの作成と参加者によるメンバーチェックを通じて反射性が維持されました。

主要な貢献

本論文は 3 つの主要な貢献を行います：

1. 「実用的懐疑主義」のパラドックスの実証的証拠: 本研究は、研究者がリーダーボードの順位付けに対して深い不信感を表明しながらも、それらを粗い意思決定の補助として使い続けるという、ほぼ普遍的な立場を特定しました。
2. 影響のサブ分野間比較: 本研究は、リーダーボードの影響が個人の態度ではなく、分野文化によって媒介されることを実証しました。例えば、NLP 研究者は出版規範により最先端（SoTA）モデルとの比較に大きな圧力に直面しますが、HCI やシステム/プライバシーの研究者は、そのような期待はほとんど、あるいは全くないと報告しています。
3. 実行可能な設計提案: 本研究は、研究者のニーズを具体的なインフラ改善に翻訳し、評価に関する仮定を超えて実際の使用パターンに対処します。

主要な結果

1. 信頼のパラドックスと使用パターン

熱心な採用から完全な拒絶までのスペクトルとは対照的に、8 人の参加者全員が実用的懐疑主義を示しました。

• 不信感: 参加者は、静的ベンチマークは「学習」されたり、ゲーム化されたりし、アリーナ型順位付けは操作され得ることを認識していました。また、順位付けは品質の決定的な尺度ではないと認識していました。
• 使用: この不信感にもかかわらず、参加者はリーダーボードを探索範囲を絞り込むための「弱い事前確率」として使用しました。彼らは順位付けを真実（ground truth）として扱うのではなく、さらなる調査の出発点として扱いました。
• 主要な選択メカニズム: リーダーボードではなく、ピアネットワークがモデル選択の支配的なメカニズムとして浮上しました。8 人中 7 人が主にピアの推奨（研究室での会話、ソーシャルメディア、信頼できる専門家）に依存していました。ある NLP 研究者は、「私の使用の 90% は推奨に基づいています」と述べています。
• 証拠よりも経験: 定量的な順位付けよりも、個人的な実践的な試行錯誤テストが優先されました。参加者はしばしば「満足化（satisficing）」を行い、最上位のオプションを求めるのではなく、「十分良い」モデルを受け入れました。

2. 関与における分野の違い

リーダーボードの影響は、サブ分野によって劇的に異なりました：

• NLP: 研究者は出版規範により、最先端（SoTA）モデルとの比較に高い圧力に直面していました。彼らはリーダーボードに深く関与していましたが、その安定性については懐疑的でした。
• HCI とシステム/プライバシー: これらの分野の研究者は、リーダーボードに駆動された出版圧力を報告していませんでした。彼らの評価基準（例：レイテンシ、ユーザーエクスペリエンス、形式的なプライバシー保証）は、しばしば標準的なベンチマーク指標の範囲外にありました。特に、8 人中 5 人（HCI とシステム/プライバシーの研究者を含む）は、特定のリーダーボードプラットフォームについてほとんど、あるいは全く事前の認識を持っていませんでした。これは、NLP 以外の聴衆に対する発見性の失敗を浮き彫りにしています。

3. 信頼性と欠落している指標

• アリーナ対静的: すべてのサブ分野において、アリーナ型（人間投票）リーダーボードが静的ベンチマークリーダーボードよりも好まれるという**普遍的な合意（8/8）**がありました。参加者は、アリーナの結果の方が解釈しやすく、実際のユーザーエクスペリエンスと整合していると感じました。
• コストの透明性: 8 人中 7 人が提起した、最も求められている欠落機能はコストの透明性でした。研究者は、価格設定や効率性データの欠如を批判し、クエリあたりのコストが学術研究者にとってしばしば拘束条件となっていると指摘しました。
• 粒度: 参加者は、単一の集計数値ではなく、タスク固有のスコアの内訳（例：数学、コーディング、多言語ごとの別々のスコア）を求めました。
• 透明性: 投票者の人口統計の開示によるバイアスの評価、およびモデルの由来と組織的な利害関係に関する情報が求められました。

意義と主張

本論文は、LLM リーダーボードは単なる技術的インフラではなく、研究文化に埋め込まれた社会技術的人工物として理解されるべきであると主張します。

• 社会的埋め込み: 本研究は、より良い指標だけが採用を改善するという見方を挑战します。モデル選択は、リーダーボードのシグナルをフィルタリングし、解釈（あるいは無視）するピア信頼ネットワークによって駆動される、深く社会的なものであると提唱します。
• 有用性のパラドックス: 広範な不信感にもかかわらずリーダーボードの使用が持続することは、その価値が正確性にあるのではなく、圧倒的な探索空間を削減する調整装置としての機能にあることを示唆しています。
• 倫理的および構造的懸念: 著者は、現在のリーダーボード文化が資源の不平等を符号化しており、SoTA ベンチマークで競争できない産業規模の計算予算を持たない研究者を罰していると指摘します。さらに、ガバナンスの透明性の欠如とベンチマークのゲーム化の可能性は、特にベンチマーク手法を批判的に評価する専門知識が不足している可能性のある NLP 以外の実務家にとって、倫理的リスクを伴います。

本研究は、評価インフラは、研究者が実際にそれをどのように使用するかと整合するように再設計されるべきであり、単一スコアの順位付けに依存するのではなく、コストデータ、タスク固有の粒度、投票人口統計およびガバナンスに関する透明性を組み込むべきであると結論付けています。単一スコアの順位付けは、研究者が要求する多様な有用性を捉えることに失敗しているからです。