Using Zero-Shot LLM-Generated Survey Data for Geographically Explicit Population Synthesis

技術的概要：地理的明示的人口合成のためのゼロショット LLM 生成調査データ

問題提起
地理的明示的人口合成は、調査データと空間的に集約された周辺制約（例えば、国勢調査区人口統計）を統合することで、合成個人人口を生成する重要な手法である。これらの合成人口は、感染症の伝播や慢性疾患の動態など、公衆衛生におけるエージェントベースモデルの入力として機能する。しかし、これらの合成人口の品質は、入力調査データの入手可能性と品質に大きく依存している。多くの応用は、特定の人口を代表し、かつシミュレーションに必要な変数を含む調査データが限られているという制約に直面している。大規模言語モデル（LLM）は、実の回答者を模倣する合成人間データを生成する可能性を示しているが、ゼロショット LLM 生成調査データが、反復比例適合（IPF）に代表される確立された地理的明示的合成ワークフローの viable な入力として機能するかどうかは依然として不明である。核心的な課題は、単に個々の LLM 応答の妥当性ではなく、それらが下流の合成手順に必要な複雑な多変量関係を保持しているかどうかである。

方法論
本研究は、IPF ベースの人口合成パイプラインにおいて、ゼロショット LLM 生成データを実調査データの代替として使用できるかどうかの妥当性を評価する。

• データ生成: 著者は、GPT-4.1 と Gemini-2.5-Pro という 2 つの最先端 LLM を利用し、米国 2 州（コロラド州（CO）とミシシッピ州（MS））の合成調査レコードを生成した。ゼロショット・プロンプティング戦略（例レコードや目標分布の提供なし）を用い、行動リスク因子サーベイランスシステム（BRFSS）の 14 のカテゴリ変数に基づき、これらの州の 2023 年成人人口を代表する応答を生成するようモデルに指示した。これらの変数は、人口統計、健康保険、慢性疾患、健康行動、および BMI を網羅していた。
• 生成パイプライン: 再現性と構造的完全性を確保するため、著者は公式 API を使用し、バッチ生成アプローチ（1 回の呼び出しあたり 75 レコード）を採用するとともに、厳格な JSON スキーマを強制した。検証ステップにより、範囲外値を持つレコードをフィルタリングし、バイアスの導入を防いだ。
• 人口合成: 6 つの合成人口が構築された（州あたり 3 つ：1 つは「真の基準」として実 BRFSS データを使用、2 つは LLM 生成データを使用）。これらは、2019 年から 2023 年のアメリカン・コミュニティ・サーベイ（ACS）の国勢調査区レベルの人口統計制約（年齢、人種/民族、性別、所得、教育）に IPF を用いて適合させた。
• 評価: 本研究は多段階評価を採用した：
  1. 分布の類似性: LLM 生成分布と BRFSS 真の基準との差異を測定するため、ジェンセン・シャノン（JS）ダイバージェンスを計算した。
  2. 合成への影響: IPF 工程後に JS ダイバージェンスを再計算し、合成プロセスが生成された生データに存在する誤差をどのように変容させたかを評価した。
  3. 空間的検証: 得られた合成人口を国勢調査区レベルで集約し、外部ベンチマーク（健康保険適用率の ACS 推計値、および一般健康状態の CDC PLACES 推計値）と比較した。指標にはピアソンの相関係数（$r$）と空間残差分析が含まれた。

主要な貢献

1. 地理的特定性の評価: 主に国家レベルで LLM データを評価した先行研究とは異なり、本研究はゼロショット LLM が州固有の健康調査データを近似し、有意義な地理的対比（例えば、より健康で裕福なコロラド州と、健康状態が劣り所得が低いミシシッピ州の間）を捉える能力を評価する。
2. 下流ワークフロー分析: 本論文は、データ生成段階から IPF 合成プロセスへの誤差の伝播を検証する。特に、IPF が LLM 生成データに内在するバイアスを増幅させるか、あるいは緩和させるかを調査しており、これは文献において以前は扱われていなかった問いである。
3. 変数依存のパフォーマンス: 本研究は、LLM 生成データの有用性が変数に強く依存することを強調しており、再現が容易な人口統計（性別、年齢など）と、正確に捉えることが困難な複雑な健康・経済指標を区別する。

結果

• 調査データ生成: 両 LLM は、より健康なコロラド州のプロファイルと、より健康状態が劣るミシシッピ州のプロファイルを再現することで、主要な州レベルの対比を成功裡に捉えた。しかし、パフォーマンスは変数によって大きく異なった。性別、年齢、運動などの人口統計変数は、ほぼ完璧な精度（低い JS ダイバージェンス）で再現された。一方、健康保険、所得、心疾患、喫煙状態などの変数は、より高いダイバージェンスを示した。特に、両モデルとも健康保険において苦戦し、雇用主による保険を過大評価し、無保険者を過小評価する傾向があった。
• IPF の影響: IPF ステップはデータ品質に対して混合した効果をもたらした。いくつかのケースでは、合成により LLM データと真の基準とのダイバージェンスが減少した（例えば、ミシシッピ州における GPT による所得と保険の大幅な改善）。これは、IPF が上流の誤差を部分的に正規化できることを示唆している。他のケースでは、ダイバージェンスが増加した（例えば、ミシシッピ州 GPT における BMI）。これは、適合プロセスが既存のバイアスを増幅させたり、関係を歪めたりする可能性があることを示している。
• 空間的検証:
  • 一般健康状態: LLM ベースの人口は、特にミシシッピ州において、一般健康状態の空間パターンを相当程度よく再現した。外部ベンチマークとの空間相関は高く（Gemini の場合 $r \approx 0.87$）、高い値を示した。
  • 健康保険: LLM ベースの人口は、保険適用率の空間パターンを捉える上で性能が低かった。適用率を体系的に過大評価したため、ACS ベンチマークとの空間相関は弱かった（$r < 0.3$）。
  • 真の基準との比較: BRFSS ベースの合成人口は一般的に国勢調査区レベルの推計値において最も正確であったが、LLM ベースの人口は特定の変数（例えば、ミシシッピ州における教育とインフルエンザワクチン接種）において、BRFSS ベースのアプローチを上回る場合があった。これは、おそらくノイズの多い実世界の調査分布の平滑化によるものと考えられる。

意義と主張
本論文は、ゼロショット LLM 生成調査データが、地理的明示的人口合成のための補完的または暫定的な入力として有望であることを結論づけているが、高品質な実調査データの** viable な代替手段としてはまだ機能していない**としている。

• 文脈的能力: モデルは、一般的な国家平均ではなく、有意義な地理的文脈を反映する州条件付きレコードを生成する能力を示した。
• 限界: 生成データの精度は変数に強く依存する。政策に関わる、稀な、または構造的に複雑な変数（保険適用率など）は、ゼロショット条件下では依然として信頼性が低い。
• 実用的有用性: 本研究は、従来の調査データが限られている、あるいは利用できない場合に、LLM が有用な出発点を提供し得ることを示唆しているが、その使用には慎重な検証が必要である。入力の実現性と下流の適合度との関係は複雑であり、調査生成段階での良好なパフォーマンスが正確な合成人口を保証するものではなく、その逆もまた然りである。著者は、将来の研究において、生成時のより強力なガイダンスの探求と、より一般的でない調査に対する検証を通じて、このアプローチの可能性を十分に評価すべきであると強調している。