Measuring Social Integration Through Participation: Categorizing Organizations and Leisure Activities in the Displaced Karelians Interview Archive using LLMs

この論文「Measuring Social Integration Through Participation: Categorizing Organizations and Leisure Activities in the Displaced Karelians Interview Archive using LLMs」は、第二次世界大戦中にカレリア地方からフィンランド国内へ移住した難民（移住カレリア人）に関する大規模なインタビューアーカイブを対象に、大規模言語モデル（LLM）を用いて社会的統合を定量化する新しい手法を提案・検証した研究です。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細な技術的サマリーを記述します。

1. 問題定義 (Problem)

• 背景: 歴史的アーカイブのデジタル化により、大規模な社会生活の分析が可能になりました。しかし、テキストから直接抽出された情報（エンティティ）だけでは、歴史学者や社会学者が定量的に研究を行うための構造化データにはなりません。
• 具体的な課題:
  • 著者らの先行研究により、約 89,000 件のインタビューから 35 万を超える「余暇活動」や「組織への所属」が抽出されましたが、これらは 7 万 1 千もの固有の名称（ユニークエンティティ）に分散しており、そのまま分析できません。
  • 同じ組織や活動が、地域や方言、表記の揺れ（例：「Marthas」対「Martha Club」）により多様な名称で記述されています。
  • 単なる名称の抽出では、その活動が「社会的統合」のどの側面（社会的性、頻度、身体的負荷など）を反映しているかを評価するメタデータが欠落しています。
• 目的: 抽出された 35 万のエンティティを、社会学的研究（特に健康・長寿との関連）に適した、一貫性のある多面的な分類枠組みに分類・構造化すること。

2. 手法 (Methodology)

データセット

• 対象: 「Siirtokarjalaisten tie（移住カレリア人の道）」という 4 巻の書籍シリーズ。1968-1970 年に実施された約 89,000 件の家族インタビュー（約 16 万人の成人）を収録。
• 前処理: 先行研究で抽出された 354,302 件のエンティティ（192,388 件の趣味、161,914 件の組織）を使用。組織名の階層構造（例：「～会の会長」）を LLM で分離し、組織名自体を抽出する前処理を行いました。

分類枠組みの設計 (Classification Framework)

社会学者と共同で、社会的統合の多面的な性質を捉える 4 つの質問（ラベル）からなるアノテーションスキーマを設計しました。

1. Q1 (Categories): 組織/活動の一般的タイプ（例：文化的、宗教的、スポーツ、行政的など）。多ラベル分類可能。
2. Q2 (Group Size): 典型的な参加人数（一人、少人数、大人数）。
3. Q3 (Regularity): 活動の頻度（定期的、偶発的、継続的、イベントベース）。
4. Q4 (Physical Intensity): 身体的活動の強度（激しい、継続的、軽度、静止）。

アノテーションと評価

• ゴールドスタンダード作成: 2 名のドメイン専門家と 2 名の ML 専門家の計 4 名によるアノテーションを実施。5 回の反復ラウンドを経てガイドラインを洗練させ、最終的に 150 件のテストセットと 50 件の評価セットを作成。
• アノテータ間一致性: クーパの Kappa 係数で測定。全体平均は 0.704（評価セット）および 0.690（テストセット）で、中程度から substantial な一致性を達成。
• LLM の評価: 6 つの最先端オープンウェイトモデル（Qwen2.5/3, DeepSeek-R1, Llama-3.3/4, Mistral-Large）を評価。
  • プロンプト戦略: 4 つの質問を一度に聞くか、個別に聞くかを比較。
  • 最適化: 自動プロンプトエンジニアリング（o3, Claude 4 Opus を使用）によるプロンプト改善を試みました。
  • アンサンブル: 複数のモデル実行または異なるプロンプトからの投票（Voting）による精度向上を検証。

3. 主要な貢献 (Key Contributions)

1. 文化的文脈に特化した分類スキーマの提案:
   既存の一般的な分類ではなく、フィンランドの戦後社会や健康研究の文脈に即した、4 次元（カテゴリ、人数、頻度、身体強度）の分類枠組みを構築しました。
2. LLM による大規模な歴史的エンティティの構造化:
   7 万 1 千のユニークなエンティティ（35 万の言及）を、人間の専門家の判断に極めて近い精度で分類するパイプラインを実証しました。
3. LLM の性能と限界の定量的評価:
   • 単一プロンプトでは人間の性能（F スコア 78.6%）に及ばないものの、7 つのプロンプトによるアンサンブル投票を用いることで、F スコア 76.8%（粗粒度ラベルの場合）を達成し、人間のベースラインの約 94% に到達しました。
   • 自動プロンプト最適化は、人間が作成した明確なガイドラインがある場合、追加的な大幅な改善をもたらさないことを示しました。
4. 公開リソースの提供:
   分類された全データセットをオープンライセンスで公開し、社会的統合と健康転帰（死亡率など）の関連性を研究するための基盤を提供しました。

4. 結果 (Results)

• モデル性能:
  • 最も性能が高かったのは Mistral-Large-Instruct-2407 でした。
  • 単一プロンプトの平均 F スコアは約 72.7% でしたが、7 回の実行による投票（アンサンブル）により 73.7% まで向上しました。
  • ラベルの粗粒度化（Coarse Schema）: 「少人数/大人数」を「社会的/非社会的」に統合するなどラベルを単純化すると、アンサンブルの F スコアは 76.8% まで向上し、人間のベースライン（81.8%）の 93.9% に達しました。
• カテゴリごとの信頼性:
  • Q1（カテゴリ分類）は最も精度が高く、Q4（身体強度）が最も難易度が高い傾向がありました。
  • 特定のエンティティカテゴリ（例：「スポーツ/身体活動」）に対しては、他の次元（人数、頻度）の予測精度も高かった一方、「芸術/創造的」カテゴリでは身体強度の判断が難しかったなど、カテゴリ依存の性能差が確認されました。
• 誤差分析:
  • モデルと人間の不一致は、文化的な略語（例：軍の連隊略号）、文脈のない省略形、OCR エラー、あるいは人間自身も合意できなかった曖昧なケース（例：「モータースポーツ」の頻度）に集中していました。
  • モデルは「判断できない（Cannot be determined）」という選択肢を避け、推測して回答する傾向（不確実性の回避）が見られました。

5. 意義 (Significance)

• 学術的意義:
  大規模な歴史的テキストから、単なる抽出を超えて「意味のある構造化データ」を生成する手法を実証しました。これにより、戦後フィンランドの移住者集団における社会的統合のレベルを定量的に測定し、それが健康や長寿に与える影響を研究する道が開かれました。
• 技術的意義:
  専門家のガイドラインと LLM の組み合わせが、大規模な非構造化テキストの分類タスクにおいて、人手によるアノテーションの代替として実用的な精度（94% 相当）を達成できることを示しました。特に、多ラベル分類と文化的文脈の理解が必要なタスクにおいて、LLM の有効性と限界（文化的知識の欠如、不確実性の回避）を明確にしました。
• 社会的応用:
  生成された構造化データセットは、公衆衛生、社会学、歴史学など、多分野での二次分析（Downstream studies）に利用可能であり、デジタル人文科学と計算社会科学の融合を促進します。

総じて、この論文は LLM を活用して歴史的アーカイブを「分析可能なデータセット」へと変換するための実用的なフレームワークを提供し、その精度と限界を厳密に評価した重要な研究です。