QSTN: 大規模言語モデルを用いた堅牢な質問紙推論のためのモジュール化フレームワーク

本論文は、大規模言語モデル（LLM）を用いたシミュレーション調査（in-silico surveys）やデータ注釈タスクを支援するためのオープンソース Python フレームワーク「QSTN（Question）」の導入と評価について報告しています。以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 問題定義

近年、LLM を評価・利用する手段として、質問紙形式のプロンプトが広く用いられています（知識理解、価値観の評価、合成データ生成など）。しかし、LLM の回答は以下の点で堅牢性（Robustness）に欠けることが懸念されています。

• プロンプトへの感度: 質問の順序、回答オプションの並び順、表記の微小な変化（タイポや言い換え）によって、LLM の回答が劇的に変動する（バイアスが生じる）。
• 回答生成方法の依存性: 自由記述型か選択肢制限型か、あるいは確率抽出を使うかによって、人間との整合性が大きく異なる。
• 再現性の欠如: 実験設定のわずかな違いが結果に与える影響が不明確で、研究の再現性が脅かされている。

これらの課題に対処し、LLM による調査研究の信頼性と再現性を高めるための体系的なフレームワークが必要とされていました。

2. 手法とフレームワーク（QSTN）

QSTN は、質問紙推論実験をモジュール化し、制御された変異（controlled variations）を容易に行えるように設計された Python フレームワークです。主な機能は以下の通りです。

2.1 質問紙提示モード（Questionnaire Presentation）

LLM に質問を提示する 3 つの異なるモードをサポートしています。

• Sequential（逐次）: 各質問を別々の会話コンテキストで順次提示する。
• Battery（バッテリー）: 全ての質問を 1 つのプロンプトにまとめ、一度に回答させる。
• Single-item（単一項目）: 各質問を新しいコンテキストで提示し、前の質問を認識させない。

2.2 プロンプト摂動（Prompt Perturbation）

バイアスの特定と軽減のために、自動的に以下の変異を適用できます。

• 回答オプションの摂動: 順序の逆転、拒否オプション（「わからない」等）の削除、尺度の偶数/奇数変換。
• 質問文の摂動: 表記ミス（キータイポ、文字入れ替え）、同義語置換、言い換え（Paraphrasing）。

2.3 回答生成方法（Response Generation Methods）

LLM から閉じた回答（選択肢）を引き出すための 3 つのアプローチをサポートします。

• トークン確率ベース: 出力トークンの確率分布から回答を抽出。
• 制限付き生成（Restricted Generation）: プロンプト指示や構造化出力（JSON など）を用いて、特定の選択肢のみを生成させる。
• 自由記述生成（Open Generation）: 自由記述を生成させた後、2 段階で分類する。

2.4 実装とユーザビリティ

• ローカル/リモート推論: vLLM（ローカル）および OpenAI API（リモート）の両方をサポート。
• コードレス UI: 非エンジニアでも実験設定を行える GUI を提供。
• モジュール性: 提示モード、摂動、生成方法などをコード変更なし、または最小限の変更で差し替え可能。

3. 主要な評価結果

著者らは、4000 万件以上の合成調査データ（16 種類の質問、10 種類のモデル、3 種類の提示モードなど）を用いて大規模な評価を行いました。

3.1 質問紙提示モードの影響

• 整合性の向上: 「Battery（一括提示）」モードは、多くの大規模モデルにおいて、サブ集団レベルでの人間との分布整合性（Wasserstein 距離）を「Single-item」モードに比べて約 8% 改善しました。
• 計算コスト: Battery モードは API 呼び出し回数が少なく、トークン数も削減されるため、推論時間を大幅に短縮できます（例：Llama-3.3-70B において、Sequential が約 9 時間半に対し、Battery は約 1 時間半）。
• モデル依存性: 小規模モデル（Phi-4-mini など）では Sequential が優れる場合もあり、モデルに応じた最適化が必要です。

3.2 プロンプト摂動の影響

• バイアスの検出: 全てのモデルで「最近性バイアス（リストの末尾にある選択肢が選ばれる傾向）」や「A 選択バイアス」が確認されました。
• 摂動の影響度: 回答順序の逆転や質問の言い換えは、LLM の回答の堅牢性に大きな影響を与えます。一方、文字の入れ替えや拒否オプションの削除は比較的影響が小さい傾向にあります。
• モデルの堅牢性: 大規模モデル（Llama-3.3-70B, Gemini-1.5-Pro）は摂動に対してより堅牢ですが、小規模モデルは敏感です。

3.3 回答生成方法の影響

• Verbalized Distribution Method（言語化された分布）: 確率分布を言語化して出力させる方法は、多くのデータセットでサブ集団レベルの整合性を有意に改善しました。
• 制限付き生成の推奨: 計算効率と整合性のバランスから、選択肢を制限して生成する方法（JSON 出力など）が推奨されます。
• トークン確率ベースの非推奨: 指示微調整済みモデルでは、トークン確率を直接回答として使うと、実際のテキスト回答と整合しない（ミスマッチする）ことが示されました。

4. 主要な貢献

1. QSTN フレームワークの公開: 質問紙推論の堅牢性を高めるための、モジュール化されたオープンソース Python パッケージと GUI の提供。
2. 大規模実証評価: 4000 万件以上のデータを用いた、提示モード、摂動、生成方法の影響に関する包括的な分析。
3. 実用的な知見の提示:
   • 大規模モデルでは「Battery モード」がコストと精度の面で優れている。
   • 堅牢な実験を行うためには、摂動（順序入れ替えなど）による感度チェックが不可欠である。
   • 回答生成には「制限付き生成」または「Verbalized Distribution」が適している。
4. 再現性の向上: 実験設定の標準化と自動化により、LLM 研究の再現性と信頼性を向上させる基盤を提供。

5. 意義と将来展望

QSTN は、LLM を用いた社会科学調査やデータ注釈において、「どのように質問を提示し、回答を生成するか」が結果に決定的な影響を与えることを実証しました。

• 学術的意義: LLM のバイアスや感度を体系的に評価する標準的な手法を提供し、合成データ生成の質を担保します。
• 実用的意義: 研究者は少ないコード変更で多様な実験条件を試すことができ、計算コストを削減しながら高精度な結果を得られます。
• 今後の展開: 現在、指示微調整済みモデル（Instruct models）に焦点が当たっていますが、非指示モデルへの対応や、より複雑な構造化出力（正規表現や文脈自由文法による制御）への拡張が今後の課題として挙げられています。

総じて、QSTN は LLM を活用した調査研究における「ブラックボックス化」を防ぎ、透明性と堅牢性を高めるための重要なツールとして位置づけられています。