Using Zero-Shot LLM-Generated Survey Data for Geographically Explicit Population Synthesis

技术摘要：用于地理明确人口合成的零样本大语言模型生成调查数据

问题陈述
地理明确的人口合成是一项关键技术，它通过将调查数据与空间聚合的边缘约束（例如人口普查区人口统计数据）相结合，来生成合成个体人口。这些合成人口作为公共健康领域基于智能体模型的输入，用于模拟传染病传播和慢性病动态。然而，这些合成人口的质量高度依赖于输入调查数据的可用性和质量。许多应用因缺乏既具有特定人口代表性又包含模拟所需必要变量的调查数据而受到限制。虽然大语言模型（LLM）在生成模仿真实受访者的合成人类数据方面已显示出潜力，但零样本 LLM 生成的调查数据能否作为既定地理明确合成工作流（特别是迭代比例拟合，IPF）的可行输入，目前尚不清楚。核心挑战不仅在于单个 LLM 响应的合理性，更在于它们是否保留了下游合成程序所需的复杂多变量关系。

方法论
本研究评估了将零样本 LLM 生成数据作为 IPF 为基础的人口合成流程中真实调查数据替代品的可行性。

• 数据生成：作者利用两个最先进的 LLM（GPT-4.1 和 Gemini-2.5-Pro）为美国两个不同的州（科罗拉多州 CO 和密西西比州 MS）生成合成调查记录。采用零样本提示策略（不提供示例记录或目标分布），指示模型基于行为风险因素监测系统（BRFSS）的 14 个分类变量，生成代表 2023 年这些州成年人口的响应。这些变量涵盖人口统计学、健康保险、慢性病、健康行为和体重指数（BMI）。
• 生成流程：为确保可重复性和结构完整性，作者使用官方 API 采用批量生成方法（每次调用 75 条记录）并强制执行严格的 JSON 模式。验证步骤过滤掉超出范围值的记录，以防止引入偏差。
• 人口合成：构建了六个合成人口（每州三个：一个使用真实 BRFSS 数据作为“基准真值”参考，另外两个使用 LLM 生成数据）。使用 IPF 将这些人口拟合到 2019–2023 年美国社区调查（ACS）的人口普查区级人口统计约束（年龄、种族/民族、性别、收入、教育）。
• 评估：本研究采用多阶段评估：
  1. 分布相似性：计算 Jensen–Shannon (JS) 散度，以衡量 LLM 生成分布与 BRFSS 基准真值之间的差异。
  2. 合成影响：在 IPF 步骤后重新计算 JS 散度，以评估合成过程如何改变原始生成数据中存在的误差。
  3. 空间验证：将生成的合成人口聚合到人口普查区级，并与外部基准进行比较：健康保险覆盖率的 ACS 估计值和一般健康状况的 CDC PLACES 估计值。指标包括皮尔逊相关系数（$r$）和空间残差分析。

主要贡献

1. 地理特异性评估：与主要在国家级层面评估 LLM 数据的先前工作不同，本研究评估了零样本 LLM 近似特定州健康调查数据并捕捉有意义地理对比（例如，更健康、更富裕的科罗拉多州与较不健康、收入较低的密西西比州之间）的能力。
2. 下游工作流分析：本文考察了从数据生成阶段到 IPF 合成过程中的误差传播。它具体调查了 IPF 是放大还是减轻了 LLM 生成数据中固有的偏差，这是文献中此前未解决的问题。
3. 变量依赖性表现：研究强调，LLM 生成数据的效用高度依赖于变量，区分了易于复现的人口统计特征（如性别、年龄）与难以准确捕捉的复杂健康/经济指标。

结果

• 调查数据生成：两个 LLM 都成功捕捉了主要的州级对比，重现了科罗拉多州更健康的特征和密西西比州较不健康的特征。然而，表现因变量而异。性别、年龄和锻炼等人口统计变量以近乎完美的准确性被复现（JS 散度低）。相反，健康保险、收入、心脏病和吸烟状况等变量显示出更高的散度。值得注意的是，两个模型在健康保险方面都遇到困难，往往高估雇主计划并低估无保险人群。
• IPF 的影响：IPF 步骤对数据质量的影响好坏参半。在某些情况下，合成减少了 LLM 数据与基准真值之间的散度（例如，密西西比州 GPT 在收入和保险方面有显著改善），表明 IPF 可以部分规范化上游误差。在其他情况下，散度增加（例如，密西西比州 GPT 的 BMI），表明拟合过程有时会放大现有偏差或扭曲关系。
• 空间验证：
  • 一般健康状况：基于 LLM 的人口 reasonably 好地复现了一般健康状况的空间模式，特别是在密西西比州，其与外部基准的空间相关性很高（Gemini 的 $r \approx 0.87$）。
  • 健康保险：基于 LLM 的人口在捕捉保险覆盖率的空間模式方面表现不佳。它们系统地高估了覆盖率，导致与 ACS 基准的空间相关性较弱（$r < 0.3$）。
  • 与基准真值的比较：虽然基于 BRFSS 的合成人口通常提供了最准确的人口普查区级估计，但基于 LLM 的人口在某些变量上偶尔优于基于 BRFSS 的方法（例如密西西比州的教育和流感疫苗接种），这可能是由于平滑了嘈杂的真实世界调查分布。

意义与主张
本文结论认为，零样本 LLM 生成的调查数据显示出作为地理明确人口合成的补充或临时输入的潜力，但尚未成为高质量真实调查数据的可行替代品。

• 情境能力：模型展示了生成反映有意义地理背景而非通用全国平均值的州条件记录的能力。
• 局限性：生成数据的准确性高度依赖于变量。政策敏感型、罕见或结构复杂的变量（如保险覆盖率）在零样本条件下仍然不可靠。
• 实际效用：研究表明，虽然当传统调查数据有限或不可用时，LLM 可以提供有用的起点，但其使用需要仔细验证。输入真实性与下游拟合之间的关系很复杂；调查生成阶段的良好表现并不能保证合成人口的准确性，反之亦然。作者强调，未来的工作应探索在生成过程中提供更强的指导，并针对较少见的调查进行验证，以充分评估该方法的潜力。