技術的サマリー：大規模言語モデルを用いたテキスト注釈のためのプロンプト安定性スコア

1. 問題定義

研究者は、データを分類するようモデルに指示する「プロンプト」を用いるゼロショットまたはフューショットアプローチをしばしば採用し、テキスト注釈に大規模言語モデル（LM）をますます活用しています。これらの手法はスケーラビリティを提供しますが、重要な信頼性のギャップをもたらします。LM の出力は、プロンプトの文言における意味的に同等なわずかな変化や、確率的なデコードパラメータに対して敏感であることがよくあります。

現在の文献には、これらのパイプラインに対する日常的な自動化された信頼性チェックが存在しません。高い精度を示す単一のプロンプトは、わずかに言い換えられたプロンプトが同じラベルを生成することを保証するものではありません。出力が意味的に類似したプロンプト間や、反復実行間で変動する場合、分類パイプラインは「脆弱」であり、再現性を損ない、下流の推定を信頼できないものにします。著者らは、安定性が精度と再現性にとって必要な前提条件であると主張します。わずかな摂動に対して不安定なパイプラインは、手動コーディングのような高コストな検証段階に進むべきではありません。

2. 手法

本論文は、制御された摂動下における注釈パイプラインの合意を定量化する自動化された診断フレームワークである**プロンプト安定性スコア（PSS）**を導入します。このフレームワークは、反復的なモデル実行と意味的に同等なプロンプト変種を、インターおよびイントラ・コーダー信頼性研究における人間の評価者とのアナロジーとして扱います。

中核的構成要素

• イントラ・プロンプト安定性（Intra-PSS）： 同じプロンプトを同じ項目に対して反復実行した際のモデルの一貫性を測定します。これは、デコードの確率性（例：温度サンプリング）や非決定論的なハードウェア実行によって引き起こされる実行間の変動を捉えます。
• インター・プロンプト安定性（Inter-PSS）： 意味的に同等なプロンプト変種が使用された際のモデルの一貫性を測定します。このフレームワークは、外部の言い換えモデル（PEGASUS）を様々なデコード温度で用いて、これらの変種を生成します。低い温度は保守的な言い換えを生み出し、高い温度はパイプラインがどこで破綻するかを明らかにするストレステストとして機能します。

統計的運用化

• 指標： 著者らは、主要な合意統計量として**クリッペンドルフの$\alpha$（$K\alpha$）**を使用します。この選択により、名義、順序、間隔尺度のデータを処理でき、偶然の合意を補正できます。
• 不確実性の推定： 安定性推定値に対する信頼区間を生成するために、ノンパラメトリックなブートストラップ法が採用されています。
• 実装： 著者らは、プロンプト変種の生成、反復実行の実行、安定性スコアの計算を自動化するオープンソースの Python パッケージ promptstability を提供しています。

実験設計

このフレームワークは6 つのデータセットと12 の異なる結果で検証され、約310 万件の注釈（およそ 3 億入力トークン）が生成されました。データセットは多様な社会科学の文脈（例：米国上院議員のツイート、英国政党のマニフェスト、NYT の記事、調査回答）にまたがり、以下の点で異なります：

1. 結果の複雑性： 二値対多クラス対連続スケール；詳細対粗いカテゴリ。
2. データの複雑性： 情報豊富対情報貧弱な入力（例：短い対長いテキスト）。
3. モデル能力： 異なる LM（例：GPT-3.5、GPT-4o、DeepSeek-R1）間の比較。

3. 主要な結果

実証分析は、不安定性を 4 つの主要な源泉（基準の曖昧さ、結果の複雑性、データの複雑性、モデル能力）にマッピングします。

• 一般的な安定性パターン： ほとんどのベンチマークタスクは高いイントラ-PSS（固定プロンプト下での再現性）を示し、急速に高い合意レベルに収束します。しかし、インター-PSS はより変動します。安定性は、プロンプトの言い換えが多様になるにつれて低下する傾向があります。
• 基準の曖昧さ： いくつかのタスク（例：スタンス検出、「最も重要な課題」の分類）は、低い言い換えモデルの温度であっても、インター-PSS が急速に低下しました。これは、コーディング基準が文言のわずかな変化に対して脆弱であることを示しており、曖昧なプロンプト設計または未定義の構成概念を暗示しています。
• データと結果の複雑性：
  • データの複雑性： 低い信号対雑音比を持つタスク（例：限られたプロフィールデータからの投票者選択の予測）は、固定プロンプトであっても安定性が低かったです。
  • 結果の複雑性： 入力データが一定であっても、ラベルセットをより詳細で重複するカテゴリに拡大すること（例：6 つの課題カテゴリから 12 つへ）は、安定性を低下させました。
• モデル能力： GPT-4o と DeepSeek-R1:8b の比較は、モデルの選択が安定性に大きく影響することを明らかにしました。より小さなモデルは低いイントラ-PSS と、より急速なインター-PSS の劣化を示し、不安定性はプロンプト設計だけでなくモデルの限界に起因し得ることを実証しました。
• 診断的有用性： 著者らは、正しい出力形式（例、不正な整数の除去）でフィルタリングすることで、フォーマットエラーと真の分類不安定性を区別できることを実証しました。いくつかのデータセット（例、「最も重要な課題」）では、フィルタリングによって不安定性が解消されましたが、他のもの（例、「合成短文」）では解消されず、根本的なタスクの難しさを示しました。
• コストの実現可能性： 著者らは、典型的なサンプルサイズでこれらの安定性診断を実行するコストは（GPT-3.5 を使用して）3 ドルから 150 ドルの間であると推定しており、このアプローチは禁止的な検証段階ではなく、実現可能な初期段階の診断であることを示唆しています。

4. 主要な貢献

1. 概念的フレームワーク： 本論文は、インターおよびイントラ・コーダー信頼性のレンズを通じて LM 注釈の信頼性を再構成し、「プロンプト安定性」を再現性に必要な、独立した測定可能な特性として定義します。
2. 自動化診断ツール： **プロンプト安定性スコア（PSS）**とそれに付随する promptstability パッケージの導入は、研究者に、真実の検証に投資する前に注釈パイプラインをストレステストするための標準化された自動化された方法を提供します。
3. 実証的特徴付け： 12 の結果と 6 つのデータセットでテストすることにより、本論文はプロンプトベースのパイプラインが安定している場合と脆弱である場合の大規模な特徴付けを提供し、データ信号、ラベルの詳細さ、モデル選択に関連する特定の失敗モードを特定します。
4. 実践的プレイブック： 著者らは結果を解釈するための「PSS プレイブック」を提供し、安定性スコアに基づいて、いつプロンプトを洗練し、構成概念を明確化し、モデルを切り替え、デコード設定を調整すべきかについて研究者に助言します。

5. 意義と主張

本論文は、単一のプロンプトからの高い精度だけでは再現性にとって不十分であると主張します。注釈パイプラインがわずかな摂動（言い換えや反復実行）に対して脆弱である場合、モデルの平均的なパフォーマンスに関わらず、あらゆる下流の推定はこの脆弱性を継承します。

著者らは、PSS を真実や精度の尺度としてではなく、妥当性の前提条件として位置づけます。彼らは、研究者が安定性診断を研究ワークフローの不可欠な初期段階として扱うべきであると主張します。低い PSS は、高価な検証手続きにリソースをコミットする前に、プロンプトの文言、構成概念の定義、データの質、またはモデルの選択を見直すよう警告する役割を果たします。本論文は、安定性が正しさを保証するものではありませんが、再現性のある LM ベースの社会科学研究が構築されなければならない必要な基盤であると結論づけています。