LLMbench: 大規模言語モデル（LLM）出力の比較的細読ワークベンチに関する技術的概要

本論文は、David M. Berry 氏によって提案された「LLMbench」という新しいブラウザベースのワークベンチツールについて記述したものである。既存の LLM 評価ツールが定量的な指標やユーザー評価に依存するのに対し、LLMbench はデジタル・ヒューマニティーズ（人文科学）の「細読（close reading）」と解釈学的アプローチに基づき、生成されたテキストの確率的構造そのものを分析対象とする。

以下に、問題提起、方法論、主要な貢献、結果、および意義について詳細をまとめる。

1. 問題提起 (Problem)

既存の LLM 比較ツール（例：Google PAIR の LLM Comparator や LMSYS Chatbot Arena）は、主にモデル開発者向けに設計されており、勝率、安全性違反、ユーザー評価などの定量的評価やベンチマークスコアに焦点を当てている。
しかし、人文科学や社会科学の研究者にとって、LLM の出力を「生成されたテキスト」として批判的に読み解く（細読する）ための環境が欠如していた。

• 既存ツールの限界: 生成されたテキストを「固定された対象」として扱い、その背後にある確率分布（同じ位置に別のトークンが選ばれていた可能性）を可視化・分析する機能がない。
• 必要な視点: LLM の出力は、確率分布からのサンプリング結果であり、「ありえたかもしれない別のテキスト」の歴史（対照的歴史）を含んでいる。この確率的構造を可読化し、比較するための hermeneutic（解釈学的）なワークベンチが必要である。

2. 方法論 (Methodology)

LLMbench は、LLM の API から取得できる**トークンごとのログ確率（log-probabilities）**データを中核的な分析素材として活用する。このデータには、モデルが各トークン位置で選択した単語の確率だけでなく、考慮された上位の代替トークンとその確率も含まれる。

技術的アーキテクチャ

• スタック: Next.js 16, React 19, Vercel AI SDK, CodeMirror 6（コードエディタ基盤）、Tailwind CSS。
• データ保存: ブラウザの localStorage に保存され、ユーザーデータはモデルプロバイダー以外に送信されない。
• 対応モデル: Anthropic, OpenAI, Google, Hugging Face, OpenRouter など（ログ確率データを提供するモデルに限定）。

主要機能と分析モード

LLMbench は、2 つのモデル出力を並べて表示する「Compare モード」と、5 つの分析モードから構成される。

A. Compare モード（比較的細読）

2 つのモデル（または同一モデルの異なる出力）を並列パネルで表示し、4 つの分析オーバーレイと 5 つの分析モードを提供する。

1. 4 つの分析オーバーレイ:

   • Probabilities (確率): トークンごとのログ確率を連続的なヒートマップで可視化。高確率（自信がある）は無色、低確率（不確実）は赤色で示す。また、選択されたトークンの上位候補分布をインスペクターで確認可能。
   • Differences (差異): 2 つのテキスト間の単語レベルの差分（diff）をハイライト表示。
   • Tone (トーン): Ken Hyland のメタディスコース分析モデルに基づき、Hedges（緩め）、Boosters（強調）、Attitude markers（態度）などの 7 種類の言語的スタンスを色分けして可視化。
   • Structure (構造): 文レベルの構文解析と、接続詞（discourse connectives）のハイライトにより、論理構成を可視化。

2. 5 つの分析モード（実証的プローブ）:

   • Stochastic Variation: 同じプロンプトを同一モデルで複数回実行し、出力のばらつき（単語数、語彙多様性、重なり率）を統計的に分析。
   • Temperature Gradient: 温度パラメータ（0.0〜2.0）を変化させて出力のランダム性と多様性の関係を追跡。
   • Prompt Sensitivity: プロンプトの微細な変更（句読点、語順など）が出力に与える影響を測定。
   • Token Probabilities: 単一の出力に対して、エントロピー分布や不確実性のホットスポットを詳細に分析するモード。
   • Cross-Model Divergence: 2 つのモデル間の Jaccard 類似度、語彙の共有・独自性を定量的に比較。

可視化手法

• ヒートマップ: テキスト内への連続的な確率の重ね合わせ。
• Sparklines: エントロピーの推移を示す折れ線グラフ。
• Pixel Maps: 全トークンをピクセル化し、不確実性の分布を俯瞰的に表示。
• 3D Probability Terrains: エントロピーを高さとした 3 次元地形図として表現。

3. 主要な貢献 (Key Contributions)

1. 人文科学的アプローチの導入: LLM 評価を「定量的スコア」から「テキストの確率的構造の解釈」へと転換させる初のワークベンチ。
2. ログ確率データの可視化: 商業 API で提供されるログ確率データを、人間が解釈可能な視覚的メタファー（ヒートマップ、地形図など）に変換し、モデルの「不確実性」や「分岐点」を可読化。
3. 比較的 AI 解釈学（Comparative AI Hermeneutics）の確立: 2 つのモデルの出力を単なるテキスト比較ではなく、「2 つの確率分布の比較」として扱う新しい読解実践を提案。
4. Critical Code Studies の応用: ソースコードの分析手法（Observation, Question, Metaphor など）を LLM の生成テキストに応用し、生成プロセスそのものを文化的テキストとして扱う方法論を提供。
5. Variorum 原則の拡張: 10 PRINT などの変種版（variorum）の概念を LLM の出力（温度変化、モデル変更によるバリエーション）に適用し、決定論的要素と偶発的要素を区別する分析フレームワークを提供。

4. 結果と実証例 (Results & Examples)

論文では、Italo Calvino の『サイバネティクスと幽霊』に関するプロンプトに対して、Gemini 2.0 FlashとGPT-4oを比較する実証例が示されている。

• 不確実性の可視化: 特定のトークン位置（例：26 番目）において、Gemini はエントロピー 2.315 bits（選択確率 11.76%）で高い不確実性を示していたのに対し、GPT-4o はエントロピー 1.567 bits（選択確率 49.27%）で比較的高い自信を示していた。この違いは、両モデルが同じ概念領域を処理する際の「分岐の仕方」が異なることを示唆。
• 構造的差異: 同じプロンプトでも、モデルによって文脈の展開（トピックの導入順序や文の構造）が異なり、それが確率分布の違いとして現れることが確認された。
• 温度の影響: 温度パラメータを操作することで、低温度では決定論的な出力が、高温度では語彙多様性が高く、よりランダムな出力が得られることが定量的に確認された。

5. 意義と限界 (Significance & Limitations)

意義

• 批判的 AI 研究の新たな道具: 生成 AI の出力を「黒箱」ではなく、その背後にある確率的な意思決定プロセス（「選ばれなかった道」）を含めて批判的に分析するための重要なリソースとなる。
• 定量的評価の補完: ベンチマークスコアだけでは見えない、モデルの「思考の揺らぎ」や「修辞的スタンス」を定性的に探求することを可能にする。
• 意味の再定義: ポール・リクール（Paul Ricoeur）の引用にあるように、テキストの意味は背後に隠されたものではなく、モデルが通過した「ほぼ同等の代替案の雲（cloud of near-equivalent alternatives）」の中に露呈しているという視点を支持する。

限界

• データアクセスの制約: 全てのモデルプロバイダーがトークンレベルの確率データを API で公開しているわけではない（例：Anthropic の Claude は現時点で非公開）。
• トークン化の非対称性: 異なるモデル間ではトークン化の単位が異なるため、厳密なトークン位置の比較には注意が必要。
• 解釈の主体: ツールは分布を可視化するが、その意味解釈（不確実性が論理的な分岐なのか、単なる同義語の選択なのか）は依然として人間の読者に委ねられる。
• フレームワークの適用性: Hyland のメタディスコース分析は学術論文向けに開発されたものであり、LLM の特有の文体（例：「AI モデルとして」などの自己言及）を完全に捉えきれていない可能性がある。

結論として、LLMbench は、生成 AI の出力を単なる「答え」としてではなく、確率的プロセスの結果として読み解くための革新的なツールであり、人文科学と計算科学の架け橋となる重要な貢献である。