技术摘要：PAK —— 一个基于调查研究的韩国文化艺术从业人员合成人格数据集

1. 问题陈述

现有的针对韩语语言模型的合成人格数据集主要集中在通用领域，且缺乏与人口统计数据的可追溯联系。此外，目前尚无专门针对韩国文化艺术从业人员的公开资源。虽然像 KoBEST 和 KorNLI 这样的基准测试可以测试语言理解能力，而像 Nemotron-Personas-Korea 这样的资源提供了通用的韩国人格数据，但没有任何一个数据集能确保每一个定量属性都植根于有据可查的统计基础之上。

创建此类资源的主要技术挑战在于源数据的性质：《2024年韩国艺术家调查》（由韩国文化旅游研究院开展）仅发布边际表和条件表（例如：领域 $\times$ 年龄、领域 $\times$ 收入）。它并未发布合成个体采样所需的完整联合分布。在不假设未报告的高阶结构的情况下，重建这些联合分布并确保所有报告的边际值保持不变，需要一种不同于简单表格查询或无根据的 LLM 生成的严谨统计方法。

2. 方法论

2.1 数据源与提取

PAK 的基础是 《2024年韩国艺术家调查》，该调查涵盖了 15 个不同领域（14 个特定艺术领域及 1 个“其他”类别）、7 个年龄段和 17 个省份中的 334,036 名注册艺术家。该调查对 5,059 名受访者的分层样本进行了统计。

• 提取策略： 作者开发了一个经过修正的提取流水线，使用正则表达式解析原始文本，验证百分比行之和是否为 100%，并将计数与源 PDF 进行交叉核对。这解决了自动化工具（如 Camelot、pdfplumber）在处理收入表中的多行表头时出错的问题。
• 锚定表： 提取了 15 张锚定表（T1–T15），捕捉了人口数量、受访者数量以及年龄条件的子块数据。

2.2 统计重建：逐领域 IPF

为了从已发布的边际数据中重建必要的联合分布，PAK 采用了**逐领域的二维迭代比例拟合（IPF）**程序。

• 方法： 该方法并非在（领域、年龄组、变量）上运行单一的三维 IPF——因为由于人口权重与受访者权重之间的规模不一致，三维 IPF 会导致边际不匹配——而是在每个的 15 个领域内分别运行独立的 IPF 程序。
• 过程： 对于每个领域 $f$，算法通过缩放种子表（源自年龄组 $\times$ 变量的交叉表）来匹配两个目标边际：人口年龄组条件 $P(\text{age group} | f)$ 和响应变量条件 $P(\text{variable} | f)$。
• 收敛： IPF 进行迭代，直到边际误差在 $10^{-8}$ 以内。这确保了生成的联合分布与所有报告的源统计数据保持一致。

2.3 采样与叙事生成

数据集生成流水线由一个 13 节点的采样链和一个叙事生成模块组成：

1. 采样链：
   • 根据人口权重抽取艺术领域。
   • 在给定领域的条件下抽取（性别、年龄段）。
   • 将七级年龄段衍生为四级年龄组。
   • 从逐领域的 IPF 分布中抽取 8 个条件变量（职业阶段、就业情况、收入等）。
   • 仅以领域为条件抽取省份、教育程度和家庭收入（因为不存在年龄交叉表）。
2. 叙事生成：
   • 生成 17 个韩国叙事字段（如：职业生活、文化背景、爱好）并配以 16 个定量锚点。
   • 提示词工程： 一个关键的创新是出道年龄条件化提示词。对于出道较晚（年龄 $\ge$ 40 岁）的人格，提示词会明确指示模型描述出道前的职业生活及转型事件，从而防止模型错误地将晚出道艺术家描绘成从小就从事该艺术形式。
   • 模型： 叙事通过 Ollama 使用 qwen3:30b-a3b（一个 30B 稀疏 MoE 模型）生成。

2.4 验证套件

PAK 包含一个三层自动化验证系统：

• 模式层（Schema Layer）： 强制执行 JSON 结构和字段类型。
• 一致性层（Consistency Layer）： 使用正则表达式检测时间线矛盾（例如：晚出道人格声称童年时期即参与艺术活动）和语调不匹配。
• 生成后层（Post-Generation Layer）： 将生成的批次经验分布与源统计数据进行比较，要求报告级率值在 5 个百分点以内，且单元格交叉表符合 IPF 预期。

3. 核心贡献

1. PAK 数据集： 首个关于韩国文化艺术从业人员的合成人格数据集，包含 30,000 个人格。每个人格将 16 个定量锚点链接到 17 个韩国叙事字段。
2. 锚定方法论： 一种利用逐领域 IPF 从仅含边际数据的调查中重建联合分布的新颖应用，确保每个定量分布都能追溯到 2024 年调查的已发布单元格。
3. 验证框架： 一个全面的验证层，包括分布事实检查、叙事一致性审计（专门针对时间线矛盾）以及下游效用探测。
4. 人机一致性研究 (PAK-1K-eval)： 一项质量审计，涉及单个专家参考值和跨家族的语言模型评审团（Claude Opus 4.7, Gemini 2.5 Pro 等），用于评估其可靠性、连贯性、合理性和流畅度。
5. 开放发布： 数据集、锚定表、生成代码和评估层均以 CC-BY-4.0 协议发布，提供了一个无需依赖私人响应记录的可复现资源。

4. 结果

4.1 分布保真度

• 事实检查： 发布的数据集高度还原了源统计数据。报告级率值（全职、合同经验、版权等）与发布的调查数据偏差在 1 个百分点以内。
• 边际对齐： 15 个领域的边际值与人口权重之间的偏差在 0.25 个百分点以内。
• 交叉表一致性： 对 104 个年龄 $\times$ 变量交叉表单元格进行了检查；每个单元格都在 IPF 目标的 5 个百分点以内，平均绝对偏差为 0.0115。

4.2 叙事质量与多样性

• 时间线一致性： 出道年龄条件化提示词将晚出道人格的时间线矛盾失败率从 26.7%（对照组）降低到了 0%（实验组）。
• 多样性： 词汇显著性（distinct-n）较低（distinct-1 为 0.0009–0.0019），Self-BLEU 分数在 0.83 到 0.95 之间，表明文本遵循固定模式而非自由生成。然而，语义多样性分析显示，艺术领域标签在嵌入空间中具有弱可分性（轮廓系数 0.22），证实了叙事保留了领域特定的信号。
• 人机一致性： 在 PAK-1K-eval 研究中，跨家族评审团追踪人类参考值时表现出中度到强度的相关性。
  • 合理性显示出最高的一致性（QWK 0.765, Pearson 0.814）。
  • 可靠性显示出较低的一致性（QWK 0.613），反映了检测跨多个领域的定量矛盾的难度。
  • 生成器家族评审员（qwen3）表现出自我偏好，夸大了风格得分并严厉评分可靠性，这验证了使用不相干模型评审团的必要性。

4.3 下游效用

• 锚点恢复： 一个轻量级的 TF-IDF 模型在通过掩码叙事恢复非领域锚点时，实现了 0.819 的宏 F1（直接掩码）和 0.738 的宏 F1（激进掩码），显著优于基准模型。
• 匹配与检索： 更强的韩国编码器（BGE-m3-ko）在硬对一致性方面实现了 0.856 的宏 F1，并在 10 路检索中实现了 0.754 的 MRR，证明了叙事携带了除表面标签之外的可恢复的人格信号。
• 反事实实验： 叙事成功编码了对某些锚点（如就业类型）的编辑，但在反事实设置下无法编码其他锚点（如个人收入、职业中断），这为研究叙事实际捕捉的内容提供了诊断依据。

5. 意义与主张

本文将 PAK 定位为一种受控、有据可查且可重复使用的语言资源，而非一种新的建模技术。其意义在于：

• 可追溯性： 与通用领域的人格数据集不同，PAK 提供了一个“受控的人格词汇表”，其中每个定量属性都可以通过公开来源进行验证。
• 领域针对性： 它填补了韩国文化艺术领域的关键空白，提供了一个反映注册韩国艺术家特定人口统计特征和职业结构的资源。
• 方法论严谨性： 它展示了如何通过严格的统计锚定（通过 IPF）生成合成数据，并通过多层审计进行验证，其中包括将 AI 评审员视为筛选工具而非人类判断替代品的“人机一致性”研究。
• 透明度： 发布内容包含了完整的锚定流程，允许用户重新生成数据集或审计统计重建过程。

作者明确指出其局限性：PAK 代表的是合成人格，而非真实个体；它排除了未注册/非正式从业人员；且叙事字段在语义上是锚定的，但并非精炼的人类散文。该数据集旨在用于锚点控制评估、少样本示例和方法论研究，而非作为实证调查或个人画像工具的替代品。