Beyond the Mean: Three-Axis Fidelity for Aligning LLM-Based Survey Simulators from Small Pilot Data

技術要約：平均を超えて：小規模なパイロットデータからLLMベースの調査シミュレータを整合させるための三軸の忠実度

1. 問題提起

大規模言語モデル（LLM）は、有権者の「シリコン・サンプル」から実験結果を予測するために微調整されたモデルに至るまで、社会科学調査における人間の回答者のプロキシ（代理）としてますます活用されている。しかし、既存の監査は、LLMが生成する調査回答における系統的な病理を明らかにしている：

• 周辺分布の歪み（Marginal Distortion）： 出力は周辺分布を近似する傾向があるが、分散を平坦化させてしまう。
• 構造的減衰（Structural Attenuation）： 予測因子と結果の関係性がしばしば弱まり、効果量の符号が約3分の1のケースで反転する。
• 均質化（Homogenization）： 少数派グループが構造的に歪められたり、均質化されたりすることが多い。
• 感受性（Sensitivity）： 出力はプロンプトの摂動に対して非常に敏感であり、高い分析的柔軟性を示す。

中心となる研究課題は、**「小規模なパイロット・サンプル（$D_p$）が与えられたとき、LLMはより広範な保持された母集団（$D \setminus D_p$）の統計的特性を復元できるか？」**である。著者らは、LLMを単なるドロップイン・リプレイスメント（そのまま置き換え可能なもの）としてではなく、厳格な真のデータに対する評価を必要とする条件付き生成モデルとして扱うべきだと主張している。

2. 手法

データとセットアップ
本研究では、韓国で行われたCOVID-19に関する誤情報調査（$N=1,466$）を利用している。各回答者は、デモグラフィック属性と心理尺度を含むプロフィール（$X_i$）と、36個の信念項目（偽の主張18個、真の主張18個、4件法のリッカート尺度）への回答を提供する。

• パイロット： キャリブレーションのために、固定された5%のサンプル（$n=74$）を使用する。
• 評価： 残りの1,392人の回答者が、保持されたグラウンドトゥルース（正解データ）として機能する。
• 指標： 各回答者につき3つのスカラー要約を導出する：誤情報平均（$m_i$）、真の情報平均（$t_i$）、および識別スコア（$d_i = t_i - m_i$）。

キャリブレーション・パイプライン
著者らは、4つのアプローチのファミリーをベンチマークしている：

1. ゼロショット（ZS）： 回答者のプロフィール（$X_i$）をプロンプトとしてLLMに提示し、回答（$Y_i$）を予測する。バッチ・プロンプティング（全36項目を一度に）と、項目ごとのプロンプティングのバリエーションがある。
2. フューショット（FS）： パイロットデータ $D_p$ から5行の例をインコンテキスト学習の例としてプロンプトに注入する。
3. パラメータ効率の高い微調整（PEFT）： パイロット $D_p$ を用いてQwen3-8Bを以下の2つの構成で微調整する：
   • LoRA： 自己回帰的なトークン生成。
   • LoRA + MLP： LoRAアダプターと、訓練された5クラスMLP分類ヘッド（4つのリッカートクラス ＋ 「未確認」）の組み合わせ。
4. PPIによる補正： プロンプトベースのシミュレータによる項目ごとの母集団平均を修正するために、予測型推論（Prediction-Powered Inference: PPI）を適用する。

三軸の忠実度評価
復元性は、それぞれ特定の指標を持つ3つの異なる軸に分解される：

• 構造的忠実度（Structural Fidelity）： 予測因子と結果の関係性は一致しているか？
  • 指標： 12の予測因子と識別スコア（$d_i$）の間の二変量相関および標準化OLS係数における、リンの一致相関係数（CCC）。
  • 分解： 方向の一致率（Sign-agreement rate）と大きさの比（$|x_{sim}|/|x_{GT}|$）。
• 周辺的忠実度（Marginal Fidelity）： シミュレートされた周辺分布は人間の分布と一致しているか？
  • 指標： $d_i$、$m_i$、$t_i$ の分布における、回答者間のアースムーバー距離（EMD）。
• 個別的忠実度（Individual Fidelity）： 各シミュレートされた回答者は、対応する人間の回答者を追跡できているか？
  • 指標： 相対的一致度（シミュレートされた識別度とグラウンドトゥルースの間のピアソン $r_d$）および絶対的一致度（平均絶対誤差、$MAE_d$）。

3. 主な結果

構造的忠実度

• LoRA + MLP が最も高い構造的忠実度（二変量相関でCCC = 0.85、OLS係数でCCC = 0.78）を達成した。
• ZS-perItem（ゼロショット、項目ごと）は、プロンプトのみの手法の中で最強の競合であり、標準的なフューショット・プロンプティングを上回った（CCC = 0.80）。
• 分解： 高いCCCには、方向の一致と大きさの一致の両方が必要である。LoRA 単体では傾きが著しく圧縮（減衰）されるが、LoRA + MLP と FS-perItem は高い符号一致を示し、LoRA + MLP は大きさをわずかに膨張させた。

周辺的忠実度

• LoRA + MLP は、3つのスカラー要約すべてにおいて最も低いEMDを達成し、グラウンドトゥルースの母集団分布に最も近い一致を示した。
• PPIによる補正： PPIは、最も偏ったシミュレータ（例：ゼロショット）を効果的に修正したが、微調整されたモデルに対しては代数的に退化（degenerate）した。モデルがパイロットを完全に記憶している場合（訓練誤差 $\to$ 0）、PPIの補正項は崩壊し、手法はシミュレータの生の保持された平均へと還元される。

個別的忠実度

• LoRA + MLP は相対的一致度（$r_d = 0.37$）においてリードしており、これは回答者を識別度によって最も正確にランク付けできることを意味する。
• ZS-perItem および FS-perItem は、最も低い絶対誤差（$MAE_d = 0.58$）を達成した。これは、彼らの予測値が平均的にグラウンドトゥルースに最も近かったことを意味するが、回答者のランク付けの精度は低かった。
• 限界： 最良の手法であっても、識別度における回答者間の分散の約14%しか説明できておらず、これはLLMが現在、個人レベルの参加者測定の直接的な代替品としては不適切であることを示唆している。

サブグループの忠実度（複数主義的整合性）

• 忠実度はデモグラフィック・サブグループ間で一様ではなかった。最良のモデル（LoRA + MLP）において、構造的忠実度（CCC）は特定のサブグループ（例：保守層）で大幅に低下した（全体で0.85から0.40へ）。これは、集計的な高忠実度が、特定のアイデンティティ・グループの深刻な誤表現を隠蔽する可能性があることを示している。

4. 主な貢献

1. 再定義： LLMによる調査シミュレーションを、構造的、周辺的、および個別的忠実度の3つの軸に分解された**「復元可能性タスク」**として定義した。
2. 評価プロトコル： 各軸を特定の指標（リンのCCC、EMD、ペアリングされた $r_d$/MAE）にマッピングする、較正されたプロトコルを導入した。
3. 実証的ベンチマーク： 実世界の誤情報調査を用いた、プロンプティング、PPI補正、および微調整の直接比較を行い、小規模なパイロットに基づく微調整が、複数の形態の忠実度を達成するためのバランスの取れたアプローチであることを示した。
4. サブグループ監査： 集計的な高忠実度が、特定のアイデンティティ・グループにおける系統的な失敗を隠す可能性があることを指摘し、複数主義的な整合性に関する懸念を浮き彫りにした。

5. 意義と主張

本論文は、LLMベースの調査シミュレーションを、人間の回答者の「ドロップイン・リプレイスメント」として扱うべきではないと主張している。代わりに、それらは条件付き生成モデルとして評価される必要がある。

• 方法論的洞察： 出力ヘッドの選択（自己回帰的 vs 分類）が忠実度に大きな影響を与えること、そして単純なアーキテクチャの変更（MLPヘッドの追加）が標準的なLoRAよりも性能を劇的に向上させたことを示した。
• 補正の限界： PPIはバイアスのあるシミュレータには恩恵をもたらすが、訓練セットの記憶により、微調整されたモデルには適さない条件付きツールである。
• 複数主義のリスク： 高い集計的忠実度は、特定のマイノリティ・サブグループにおける系統的な失敗を隠す可能性があり、サブグループ固有の監査が必要である。
• 個別的忠実度のギャップ： 個人レベルの予測精度には依然として大きな隔たりがあり、LLMは現在、個人の心理学的プロファイルよりも、母集団の統計量を推定することに適していることを示唆している。

著者らは、小規模なパイロットに基づく微調整は有望であるが、合成データが既存のバイアスを増幅したり、政策や介入設計におけるマイノリティの視点を歪めたりしないようにするためには、分野全体が厳格な多軸評価へと移行しなければならないと結論付けている。