Measuring Social Integration Through Participation: Categorizing Organizations and Leisure Activities in the Displaced Karelians Interview Archive using LLMs

이 논문은 제 2 차 세계대전 중 카렐리아 지역에서 핀란드로 이주한 난민들의 구술 인터뷰 아카이브를 분석하여, 대규모 역사적 텍스트 데이터에서 사회적 통합을 정량화하는 새로운 방법론을 제시합니다. 특히 대규모 언어 모델 (LLM) 을 활용하여 비정형 텍스트에서 추출된 수만 개의 조직 및 여가 활동 명칭을 사회학적 연구에 적합한 체계적인 범주로 분류하는 과정을 다룹니다.

다음은 논문의 기술적 요약입니다.

1. 문제 정의 (Problem)

• 데이터의 규모와 복잡성: 핀란드 카렐리아 난민 인터뷰 아카이브 ('Siirtokarjalaisten tie') 에는 약 16 만 명의 개인에 대한 89,339 개의 인터뷰가 포함되어 있습니다. 이전 연구 (Laato et al., 2024) 를 통해 이 텍스트에서 35 만 개 이상의 조직 및 여가 활동 언급 (entity mentions) 이 추출되었으나, 이는 7 만 1 천 개의 고유한 이름 (unique entities) 으로 이어졌습니다.
• 정량적 분석의 한계: 추출된 엔티티들은 자유 형식 (free-form) 의 다양한 변형 (예: 'Martha Club', 'Marthas', 'Marttayhdistys' 등 동일한 조직의 다양한 표기) 을 포함하고 있으며, 단순한 언급만으로는 해당 활동이 사회적 통합에 얼마나 기여하는지 (사회성, 빈도, 신체 활동 강도 등) 를 파악할 수 없습니다.
• 기존 방법의 부족: 단순한 엔티티 추출만으로는 사회학자들이 요구하는 '사회적 통합의 정도'를 측정하는 지표로 사용할 수 없으며, 수작업으로 수만 개의 항목을 분류하는 것은 비현실적입니다.

2. 방법론 (Methodology)

2.1 분류 체계 (Classification Framework) 개발

사회학 전문가와 협력하여 사회적 참여의 다차원적 특성을 포착하는 4 가지 핵심 질문 (Q1-Q4) 으로 구성된 주석 (annotation) 체계를 개발했습니다.

• Q1 (Categories): 조직/활동의 유형 (예: 종교, 스포츠, 행정, 문화 등). 다중 레이블 (Multi-label) 이 가능함.
• Q2 (Group Size): 참여 규모 (혼자, 소그룹, 대규모).
• Q3 (Regularity): 활동 빈도 (정기적, 간헐적, 지속적, 이벤트 기반).
• Q4 (Physical Intensity): 신체 활동 강도 (강렬함, 지속적, 경미함, 정적).

2.2 데이터 전처리 및 주석 (Annotation)

• 계층 구조 분리: LLM 을 사용하여 조직명에서 역할 (예: '의장') 과 계층 구조를 분리하여 실제 조직명만 추출했습니다.
• 골드 스탠다드 생성: 4 명의 주석자 (2 명의 도메인 전문가, 2 명의 ML 전문가) 가 5 번의 반복 주석을 통해 가이드라인을 정제했습니다. 최종적으로 150 개의 테스트 세트를 구축하고, 주석자 간 일치도 (Cohen's Kappa) 를 측정하여 신뢰성을 확보했습니다 (평균 Kappa 약 0.69~0.70).

2.3 LLM 평가 및 최적화

• 모델 평가: Qwen2.5, Qwen3, DeepSeek-R1, Llama-3.3, Llama-4, Mistral-Large 등 6 가지 최신 오픈 가중치 (open-weight) 모델을 평가했습니다.
• 프롬프트 전략:
  • 단일 프롬프트 vs. 질문별 분리 프롬프트.
  • 자동 프롬프트 엔지니어링 (APE, OPRO 등) 을 통한 최적화 시도.
  • 앙상블 (Ensemble) 방식: 여러 모델 실행 (또는 여러 최적화된 프롬프트) 에 대한 다수결 투표 (Majority Voting) 를 적용하여 LLM 의 확률적 변동성을 보정했습니다.
• 세부 조정: 분류의 정밀도를 높이기 위해 'Coarse Label Schema'(세부 범주를 통합한 간소화된 레이블) 를 실험하여 성능을 검증했습니다.

3. 주요 결과 (Key Results)

3.1 모델 성능

• 인간 vs. LLM: 인간 주석자의 평균 F-score 는 78.6% (테스트 세트 기준) 였으며, 최상위 LLM(Mistral-Large) 은 단일 프롬프트 기준 74.6% 를 기록했습니다.
• 앙상블 효과: 7 개의 최적화된 프롬프트에 대한 다수결 투표 방식을 적용한 앙상블 모델은 76.8% (F-score) 를 달성하여 인간 기준의 93.9% 성능을 보였습니다.
• 세부 항목별 성능:
  • Q1(카테고리) 분류에서 가장 높은 성능을 보였으며, 다중 레이블 분류가 효과적이었습니다.
  • Q4(신체 활동 강도) 는 상대적으로 성능이 낮았으나, 'Coarse Label'을 적용하면 성능이 크게 향상되었습니다.
  • 자동 프롬프트 최적화는 기존 인간이 설계한 프롬프트보다 미세한 개선 (0.2%p) 만 가져왔으며, 반복적인 인간 주석 과정이 이미 명확한 지침을 제공했음을 시사합니다.

3.2 전체 데이터셋 처리

• 60,647 개의 고유 엔티티에 대해 7 프롬프트 앙상블 방식을 적용하여 전체 데이터를 라벨링했습니다.
• 분포 분석:
  • 조직 (Organizations): 대부분 대규모 그룹 (96.1%) 이며, 간헐적 (Occasional) 활동과 정적 (Stationary) 인 활동이 주를 이룹니다.
  • 여가 활동 (Hobbies): 혼자 (43.4%) 또는 소그룹 (40.7%) 으로 이루어지며, 지속적 (Continuous) 이고 경미한 신체 활동 (Light) 이 많습니다.
  • 이러한 차이는 역사적 데이터의 특성을 잘 반영하며, 하류 연구 (downstream studies) 에 유용한 통찰을 제공합니다.

4. 주요 기여 (Key Contributions)

1. 대규모 역사적 아카이브의 구조화: 35 만 개 이상의 비정형 언급을 사회학적 연구에 활용 가능한 정형화된 데이터셋으로 변환하는 파이프라인을 제시했습니다.
2. LLM 기반 다차원 분류 프레임워크: 단순한 분류를 넘어 사회적 통합의 핵심 차원 (사회성, 빈도, 신체성) 을 포착하는 맞춤형 주석 체계를 개발하고, LLM 이 이를 인간 수준으로 근사할 수 있음을 입증했습니다.
3. 신뢰성 있는 데이터 자원: 불확실성을 고려한 라벨링과 오류 분석을 통해, 건강 및 사망률 연구 등 하류 연구에서 사용할 수 있는 고품질 데이터를 공개했습니다.
4. 방법론적 통찰: LLM 의 확률적 특성을 앙상블과 다수결 투표로 보정하는 것이 소규모 언어 (핀란드어) 와 문화적 맥락이 포함된 복잡한 분류 작업에서 효과적임을 보여줍니다.

5. 의의 및 결론 (Significance)

이 연구는 디지털 인문학과 계산 사회과학의 교차점에서 중요한 사례를 제공합니다. LLM 을 활용하면 수작업으로는 불가능한 규모의 역사적 데이터를 정량화하여, 이주, 사회적 통합, 그리고 건강 결과 (수명 등) 간의 인과관계를 규명하는 대규모 연구가 가능해졌습니다. 특히, LLM 이 인간 전문가의 판단을 94% 수준으로 모방할 수 있음을 입증함으로써, 향후 유사한 역사적 아카이브 분석이나 문화적 맥락이 중요한 분류 작업에서 LLM 의 실용성을 높였습니다.

요약: 이 논문은 LLM 과 인간 전문가의 협업을 통해 대규모 역사적 인터뷰 데이터에서 사회적 참여 패턴을 정량화하는 새로운 표준을 제시하며, 이를 통해 사회적 통합과 건강 간의 관계를 연구할 수 있는 강력한 데이터 자원을 창출했습니다.