技術要約：PAK – 韓国文化芸術従事者の調査に基づく合成ペルソナ・データセット

1. 問題提起

既存の韓国語モデル用合成ペルソナ・データセットは、主に汎用ドメインに偏っており、人口統計との追跡可能な関連性が欠如している。さらに、韓国の文化芸術従事者を特化した公開リソースは存在しない。KoBESTやKorNLIのようなベンチマークは言語理解をテストし、Nemotron-Personas-Koreaのようなリソースは一般的な韓国語のペルソナを提供するが、すべての定量的属性が文書化された統計ベースに基づいているデータセットは存在しない。

このようなリソースを作成する上での主要な技術的課題は、ソースデータの性質にある。2024年韓国芸術家調査（韓国文化観光研究院による実施）は、周辺分布および条件付き分布（例：分野 × 年齢、分野 × 所得）のみを公表している。合成個人のサンプリングに必要な完全な結合分布は公開されていない。報告された周辺分布をすべて維持しながら、報告されていない高次構造を仮定せずにこれらの結合分布を再構成するには、単純なテーブル参照や根拠のないLLM生成とは異なる、厳密な統計的手法が必要となる。

2. メソドロジー

2.1 データソースと抽出

PAKの基礎は、15の異なる分野（14の特定の芸術分野と「その他」のカテゴリー）、7つの年齢層、17の地域にわたる334,036人の登録芸術家を対象とした2024年韓国芸術家調査である。この調査は、5,059人の回答者の層化サンプルにおける分布を報告している。

• 抽出戦略: 著者は、正規表現を用いて生のテキストを解析する修正済み抽出パイプラインを開発した。これにより、パーセンテージの行が100%になることを検証し、所得テーブルにおけるマルチラインヘッダーを誤処理する自動ツール（Camelotやpdfplumberなど）の問題に対処した。
• グラウンディング・テーブル: 15個のグラウンディング・テーブル（T1–T15）が抽出され、人口数、回答者数、および年齢条件付きのサブブロックが取得された。

2.2 統計的再構成：分野別IPF

公開された周辺分布から必要な結合分布を再構成するために、PAKは**分野別の二次元反復比例適合法（IPF）**を採用している。

• アプローチ: （分野、年齢層、変数）の三次元IPFを実行する代わりに、人口ウェイトと回答者ウェイト間のスケールの不一致による周辺分布の不一致を防ぐため、各15分野内で独立したIPF手順を実行する。
• プロセス: 各分野 $f$ について、アルゴリズムはシードテーブル（年齢層 $\times$ 変数のクロス集計から派生）を、2つのターゲット周辺分布（人口の年齢層条件付き $P(\text{age group} | f)$ および回答変数の条件付き $P(\text{variable} | f)$）に一致するようにスケーリングする。
• 収束: IPFは、相対誤差が $10^{-8}$ 以内になるまで反復される。これにより、生成された結合分布が報告されたすべてのソース統計と一致することが保証される。

2.3 サンプリングとナラティブ生成

データセット生成パイプラインは、13ノードのサンプラーチェーンとナラティブ生成モジュールで構成される：

1. サンプラーチェーン:
   • 人口ウェイトから芸術分野を抽出する。
   • 分野を条件として（性別、年齢層）を抽出する。
   • 7段階の年齢層から4段階の年齢グループを派生させる。
   • 分野別のIPF分布から8つの条件付き変数（キャリア層、雇用形態、所得など）をサンプリングする。
   • 分野のみを条件として、地域、教育、世帯所得をサンプリングする（年齢を交差させたテーブルが存在しないため）。
2. ナラティブ生成:
   • 16の定量的アンカーとペアになった17の韓国語ナラティブ・フィールド（例：職業生活、文化的背景、趣味）を生成する。
   • プロンプトエンジニアリング: 重要な革新は、デビュー年齢条件付きプロンプトである。デビューが遅い（年齢 $\ge$ 40）ペルソナに対しては、モデルに対し、デビュー前の職業生活と移行イベントを明示的に記述するよう指示し、モデルが「遅れてデビューした芸術家は子供の頃からその芸術形式に従事していた」と誤って描写する一般的な失敗モードを防ぐ。
   • モデル: ナラティブは、Ollama経由で qwen3:30b-a3b（30BのスパースMoEモデル）を使用して生成される。

2.4 バリデーション・スイート

PAKには、3層の自動バリデーション・システムが含まれている：

• スキーマ層: JSON構造とフィールド型を強制する。
• 一貫性層: 正規表現を使用して、タイムラインの矛盾（例：遅れてデビューしたペルソナが子供時代からの関わりを主張する）やトーンの不一致を検出する。
• ポスト生成層: 生成されたバッチの経験的分布をソース統計と比較し、レポートレベルの割合が5パーセントポイント以内であり、セルレベルのクロス集計がIPFの期待値と一致することを要求する。

3. 主な貢献

1. PAKデータセット: 韓国の文化芸術従事者を対象とした初の合成ペルソナ・データセットであり、30,000人のペルソナを含む。各ペルソナは、16の定量的アンカーを17の韓国語ナラティブ・フィールドに紐付けている。
2. グラウンディングされた手法: 公開されている周辺分布のみの調査データから結合分布を再構成するための、分野別IPFの新しい応用。これにより、すべての定量的属性が2024年の調査の公開セルに遡れることが保証される。
3. バリデーション・フレームワーク: 分布の事実チェック、ナラティブの一貫性監査（特にタイムラインの矛盾を対象とする）、およびダウンストリームの有用性プローブを含む包括的なバリデーション層。
4. 人間とモデルの一致性研究（PAK-1K-eval）: グラウンディング、一貫性、妥当性、および流暢さを評価するために、単一の人間専門家のリファレンスと、複数の言語モデル・ジャッジ（Claude Opus 4.7, Gemini 2.5 Pro等）によるクロスファミリー・パネルを用いた品質監査。
5. オープンリリース: データセット、グラウンディング・テーブル、生成コード、および評価層を CC-BY-4.0 の下でリリースしており、プライベートな回答レコードに依存しない再現可能なリソースを提供している。

4. 結果

4.1 分布の忠実度

• ファクトチェック: リリースされたデータセットは、高い忠実度でソース統計を再現している。レポートレベルの割合（フルタイム、契約経験、著作権など）は、公開調査の1パーセントポイント以内である。
• 周辺分布の一致: 15分野の周辺分布は、人口ウェイトと0.25パーセントポイント以内で一致している。
• クロス集計の一致: 年齢 $\times$ 変数のクロス集計における104個のセルをチェックした結果、すべてのセルがIPFのターゲットから5パーセントポイント以内にあり、平均絶対偏差は0.0115であった。

4.2 ナラティブの品質と多様性

• タイムラインの一貫性: デビュー年齢条件付きプロンプトにより、遅れてデビューしたペルソナにおけるタイムライン矛盾の失敗率が、26.7%（コントロール群）から0%（トリートメント群）に減少した。
• 多様性: 語彙の識別性（distinct-n）は低く（distinct-1で0.0009–0.0019）、Self-BLEUスコアは0.83から0.95の範囲であり、テキストが自由な生成ではなく固定されたスキーマに従っていることを示している。しかし、埋め込み空間における意味的多様性分析（シルエット係数 0.22）は、芸術分野のラベルが弱く分離可能であることを示しており、ナラティブが分野固有の信号を保持していることを裏付けている。
• 人間とモデルの一致: PAK-1K-eval研究において、クロスファミリー・パネルのジャッジは、人間によるリファレンスと中程度から強い一致を示した。
  • **妥当性（Plausibility）**は最も高い一致を示した（QWK 0.765, Pearson 0.814）。
  • **グラウンディング（Groundedness）**は低い一致を示した（QWK 0.613）。これは、多くの分野にわたる定量的矛盾を検出することの難しさを反映している。
  • ジェネレーター・ファミリーのジャッジ（qwen3）は自己選好を示し、スタイル・スコアを膨らませ、グラウンディングを厳しく判定した。これは、分離されたモデル・パネルの必要性を検証している。

4.3 ダウンストリームの有用性

• アンカーの回収: 軽量なTF-IDFモデルは、マスクされたナラティブから非分野アンカーを回収する際、直接マスキングで macro-F1 0.819、積極的マスキングで 0.738 を達成し、ベースラインを大幅に上回った。
• マッチングと検索: より強力な韓国語エンコーダ（BGE-m3-ko）は、ハード・ペアの一貫性で macro-F1 0.856、10ウェイ検索で MRR 0.754 を達成し、ナラティブが表面的なラベルを超えて回収可能なペルソナ信号を保持していることを示した。
• 反事実的検証: ナラティブは特定のアンカー（例：雇用形態）への編集を正常にエンコードしているが、他のアンカー（例：個人の所得、キャリアブレイク）については反事実的な設定においてエンコードに失敗しており、ナラティブが実際に何を捉えているかの診断材料となっている。

5. 意義と主張

本論文は、PAKを新しいモデリング技術としてではなく、制御され、グラウンディングされ、再利用可能な言語リソースとして位置づけている。その意義は以下の点にある：

• 追跡可能性: 一般的なドメインのペルソナ・データセットとは異なり、PAKはすべての定量的属性が公開ソースに対して検証可能な「制御されたペルソナ語彙」を提供している。
• ドメイン特異性: 韓国の文化芸術ドメインにおける決定的な空白を埋めるものであり、登録された韓国人芸術家の特定の人口統計および職業構造を反映したリソースを提供する。
• 方法論的厳密さ: 合成データが厳格な統計的グラウンディング（IPFによる）によって生成可能であり、AIジャッジを人間の判断の代替ではなく、トリアージのための手段として扱う人間-モデル一致性研究を含む多層的な監査を通じて検証可能であることを示している。
• 透明性: グラウンディング・パイプライン全体を公開しており、ユーザーがデータセットを再生成したり、統計的再構成プロセスを監査したりすることを可能にしている。

著者は明示的に制限事項を述べている。PAKは合成ペルソナであり、実在の個人ではない。また、未登録またはインフォーマルな実践者は含まれていない。さらに、ナラティブ・フィールドは意味的にアンカーされているが、洗練された人間の散文ではない。本データセットは、アンカー制御の評価、数発の例示（few-shot exemplars）、および方法論的研究を目的としており、実証的な調査や実在の人物のプロファイリングツールの代わりとして使用されるものではない。