論文「Scaling In, Not Up? Testing Thick Citation Context Analysis with GPT-5 and Fragile Prompts」の技術的サマリー

本論文は、科学技術論（STS）および計量科学における「引用文脈分析（Citation Context Analysis: CCA）」の手法を、大規模言語モデル（LLM）を用いて「スケーリングアップ（大規模分類の自動化）」ではなく、「スケーリングイン（単一の複雑な事例に対する厚い記述の生成）」へと転換する可能性を検証した研究である。

以下に、問題設定、方法論、主要な貢献、結果、および意義について詳細にまとめる。

1. 問題設定と背景

• 従来の課題（スケーリングアップ）: 従来の CCA は、引用の機能を分類するタイポロジー（類型論）を構築し、それを大規模コーパスに適用して自動化する「スケーリングアップ」の文脈で発展してきた。しかし、Gilbert (1977) による批判が示すように、引用の意味は文脈や読者、著者の意図によって多義的であり、単一の安定したラベルに収束させることは本質的に困難である。特に、批判や否定が直接的な言葉ではなく、間接的・婉曲的に表現される場合、表面的な分類では捉えきれない。
• LLM の役割への問い: 近年の LLM は文脈理解能力が高いが、これらを「分類器」として使うのではなく、解釈的な作業そのものを「内側（in）」にスケーリングし、単一の困難な事例（ハードケース）に対して多様な解釈的仮説を生成・整理する「ガイド付き共同分析者」として機能させられるかどうかが問われている。
• 研究目的: 単一のラベルへの収束を目指すのではなく、LLM を用いて「解釈的な多様性（interpretative plurality）」を構造化された形で生成し、提示できるかどうかを検証する。

2. 方法論

本研究は、Chubin and Moitra (1975) の論文にある脚注 6（Gilbert (1977) によって「ハードケース」として分析されたもの）を対象とした。

2.1 実験デザイン

• モデル: OpenAI の GPT-5（高推論モード）を使用。
• パイプライン: 2 段階のプロンプト設計。
  1. ステージ 1（表面分類）: 引用文脈のみを入力とし、Chubin and Moitra の 6 段階の階層的カテゴリーに基づき、引用の表面レベルの分類と、引用文献の期待される内容に関する仮説を立てさせる。
  2. ステージ 2（解釈的再構築）: ステージ 1 の出力と、引用元・被引用元の全文（PDF）を入力とし、表面分類を補完・複雑化する 5 つの異なる解釈的仮説を生成させる。
• プロンプト変数（2×3 設計）:
  • スキャフォールディング（足場）:
    • 4 ステップ・ベース：期待値チェック、キュー分析、拡張文脈分析、仮説生成という 4 つの中間ステップを明示的に要求。
    • 1 ステップ・ベース：中間ステップを省略し、直接 5 つの仮説を生成させる。
  • ナッジ（誘導）:
    • 特定の事例へのナッジ（Toward）：脚注 6 の文脈に即した解釈（系譜の書き換え、沈黙された批判など）を促す例示を追加。
    • 事例から離れるナッジ（Away）：この事例には不適切な解釈（過度な称賛、教育的な指針など）を促す例示を追加。
    • ナッジなし（No-nudge）：追加例示なし。
• データ収集: 合計 90 回の実行（15 回のステージ 1 出力×6 設定）により、450 個の仮説 - 正当化ペアを生成。

2.2 分析手法

• 質的分析: 生成された 450 個の仮説を詳細に読み込み、帰納的に 21 の二値コード（解釈的動き）を抽出（例：「先取り（Preempt）」「権威の借用（UseGW）」「沈黙（MuteGW）」など）。
• 量的分析: 線形確率モデル（LPM）を用いて、プロンプトの構造（4 ステップ vs 1 ステップ）とナッジ条件が、各コードの出現頻度と語彙選択にどのように影響するかを統計的に推定。

3. 主要な結果

3.1 表面分類の安定性（RQ1）

• ステージ 1 において、GPT-5 は脚注 6 を一貫して「補足的（Supplementary）」と分類した。引用文脈のみでの判断では、Gilbert が指摘したような「批判」や「否定」のニュアンスは表面化せず、従来の計量科学の分類傾向と一致する安定した出力を示した。

3.2 解釈的仮説の多様性と根拠（RQ2）

• 全文を参照したステージ 2 では、モデルは単一のラベルではなく、文脈に根ざした多様な解釈的仮説を生成した。
• 生成された 21 のコードは、引用を「批判の管理」「概念の柔軟化の正当化」「権威のシグナリング」「実証的テストの演出」「系譜の再構築」などとして解釈する多様なパターンを示した。
• 多くの仮説は、引用文の具体的な言葉（"relax", "reiterated"）や、引用元・被引用元の全文の矛盾点に基づいて構築されており、単なる連想ではなく、テキストに根ざした推論が行われていた。

3.3 プロンプトの感度と解釈空間の再分配（RQ3）

• スキャフォールディングの影響: 4 ステップ構造（詳細な手順）は、モデルに「系譜の構築（Canon）」や「権威の借用（UseGW）」といった解釈を促し、実用的・柔軟な扱い（Agile, Pragma）を減らす傾向があった。
• ナッジの影響:
  • Toward ナッジ: 「優先権（PrioP）」「沈黙された批判（MuteGW）」「架け橋（Bridge）」といった、Gilbert の分析に近い解釈の頻度を増加させた。
  • Away ナッジ: 「教育的な指針（Teach）」や「学術誌への迎合（SSS）」といった、この事例には不自然な解釈を生成させる傾向があった。
• 結論: プロンプトの設計（足場と例示）は、解釈のレパートリーそのものを変えるのではなく、どの解釈が前面に出るか、どの語彙が使用されるかを体系的に「傾ける（tilt）」効果を持つ。

3.4 Gilbert の「戒告（admonishment）」解釈との比較（RQ4）

• Gilbert は脚注 6 を「Price への敬意を欠いたことに対する婉曲的な戒告」として解釈したが、GPT-5 はこの解釈を完全には再現しなかった。
• モデルは Gilbert と同じ「キュー（"introduced... then reiterated" と Price の引用欠如）」を検知していたが、それを「戒告」ではなく、「系譜の管理」や「権力の再配置（Price を優先し、Gilbert & Woolgar を下位に置く）」として解決する傾向が強かった。
• モデルは対立的な解釈よりも、協調的・構造的な解釈を好む傾向（アライメントの影響）が見られた。

4. 主要な貢献と意義

4.1 方法的な革新：「スケーリングイン」の枠組み

• 本研究は、LLM を「分類の自動化」ではなく、「解釈的作業の拡張」として位置づけた。LLM は、人間の分析者が見落としがちな多様な解釈的仮説を生成し、それらを構造化して提示する「ガイド付き共同分析者」として機能し得ることを示した。
• これにより、解釈的な多様性を「ノイズ」として排除するのではなく、分析対象そのものとして扱うことが可能になった。

4.2 プロンプト設計の可視化と実験的対象化

• プロンプトの構造（スキャフォールディング）や例示（ナッジ）が、モデルの出力に体系的なバイアスをかけることを実証した。
• これにより、プロンプト設計自体を「解釈的レパートリーを操作するレバー」として意識的に設計・評価するメタ手法が可能になった。

4.3 解釈的プロセスの明示化

• Gilbert の暗黙的な解釈プロセスを、プロンプトチェーンを通じて明示的な手順（期待値チェック、キュー分析など）に変換した。これにより、解釈の根拠が「黒箱」から「検査可能で、議論可能なワークフロー」へと変化した。

4.4 限界と今後の展望

• 本研究は単一の事例（脚注 6）に焦点を当てた概念実証（Proof of Concept）である。
• 分析者は人間のみであり、モデルのトレーニングデータや内部プロセスは不透明である。
• 将来的には、複数のモデルや事例での検証、および人間と AI の対話的な「スパリング（議論）」による解釈の深化が期待される。

5. 結論

本論文は、LLM が「文脈の解釈」や「暗黙の意義の回復」を原理的に不可能にするという従来の懐疑（White, 2004）に対して、少なくとも「スケーリングイン」の枠組みにおいては、LLM が専門家の一部を代替し、解釈の可能性空間を広げるツールとなり得ることを示した。重要なのは、AI に「正解」を求めさせることではなく、人間が AI を活用して多様な仮説を生成・吟味し、最終的な解釈的責任と判断を人間が担うという「協調的構成」を確立することである。