기술 요약: PAK – 한국 문화예술 종사자를 위한 설문 기반 합성 페르소나 데이터셋

1. 문제 정의

기존의 한국어 모델용 합성 페르소나 데이터셋은 주로 일반 도메인에 치중되어 있으며, 인구 통계적 통계와의 추적 가능한 연결 고리가 부족하다. 또한, 한국의 문화예술 종사자를 구체적으로 포착하는 공개 리소스는 존재하지 않는다. KoBEST나 KorNLI와 같은 벤치마크는 언어적 이해를 테스트하고, Nemotron-Personas-Korea와 같은 리소스는 일반적인 한국인 페르소나를 제공하지만, 모든 정량적 속성이 문서화된 통계적 근거에 기반한 데이터셋은 없다.

이러한 리소스를 생성하는 데 있어 주요한 기술적 과제는 소스 데이터의 성격에 있다. 2024년 한국 예술인 실태조사(한국문화관광연구원 수행)는 주변부 표(marginal tables)와 조건부 표(예: 분야 $\times$ 연령, 분야 $\times$ 소득)만을 공개한다. 합성 개인을 샘플링하는 데 필요한 전체 결합 분포(joint distributions)는 공개하지 않는다. 보고되지 않은 고차 구조를 가정하지 않으면서도 보고된 모든 주변부 수치를 유지하며 이러한 결합 분포를 재구성하는 것은, 단순한 테이블 조회나 근거 없는 LLM 생성과는 구별되는 엄격한 통계적 접근 방식을 요구한다.

2. 방법론

2.1 데이터 소스 및 추출

PAK의 기초는 2024년 한국 예술인 실태조사이며, 이는 15개 distinct 분야(14개 특정 예술 분야 및 기타 1개 분야), 7개의 연령대, 17개 시·도를 포함하여 334,036명의 등록 예술인을 대상으로 한다. 조사는 5,059명의 응답자를 대상으로 한 층화 표본을 바탕으로 한다.

• 추출 전략: 저자는 정규 표현식을 사용하여 원문 텍스트를 파싱하는 교정된 추출 파이프라인을 개발하였으며, 백분율 행의 합이 100%인지 확인하고 사례 수가 소스 PDF와 일치하는지 교차 검증하였다. 이는 소득 표의 다중 행 헤더를 잘못 처리하는 자동화 도구(예: Camelot, pdfplumber)의 실패 문제를 해결했다.
• 근거 테이블(Grounding Tables): 인구수, 응답자 수, 연령 조건부 하위 블록을 포착하는 15개의 근거 테이블(T1–T15)이 추출되었다.

2.2 통계적 재구성: 분야별 IPF

공개된 주변부 데이터를 통해 필요한 결합 분포를 재구성하기 위해, PAK는 분야별 2차원 반복 비례 적합법(Iterative Proportional Fitting, IPF) 절차를 채택한다.

• 접근 방식: (분야, 연령 그룹, 변수)에 대한 단일 3차원 IPF를 사용하는 대신, 인구 가중치와 응답자 가중치 사이의 규모 불일치로 인한 주변부 불일치를 방지하기 위해 각 15개 분야 내에서 독립적인 IPF 절차를 실행한다.
• 과정: 각 분야 $f$에 대해, 알고리즘은 시드 테이블(연령 그룹 $\times$ 변수 교차표에서 유도됨)을 두 가지 목표 주변부인 인구 연령 그룹 조건부 $P(\text{age group} | f)$와 응답 변수 조건부 $P(\text{variable} | f)$에 맞게 스케일링한다.
• 수렴: IPF는 상대 오차가 $10^{-8}$ 이내가 될 때까지 반복된다. 이를 통해 생성된 결합 분포가 모든 보고된 소스 통계와 일치하도록 보장한다.

2.3 샘플링 및 내러티브 생성

데이터셋 생성 파이프라인은 13개 노드의 샘플러 체인과 내러티브 생성 모듈로 구성된다.

1. 샘플러 체인:
   • 인구 가중치로부터 예술 분야를 추출한다.
   • 분야를 조건으로 성별, 연령대를 추출한다.
   • 7단계 연령대를 4단계 연령 그룹으로 파생시킨다.
   • 분야별 IPF 분포로부터 8개의 조건부 변수(경력 단계, 고용 형태, 소득 등)를 샘플링한다.
   • 분야만을 조건으로 지역, 교육, 가구 소득을 샘플링한다(연령 교차 테이블이 존재하지 않기 때문).
2. 내러티브 생성:
   • 17개의 한국어 내러티브 필드(예: 직업적 삶, 문화적 배경, 취미 등)를 16개의 정량적 앵커와 쌍을 이루어 생성한다.
   • 프롬프트 엔지니어링: 핵심적인 혁신은 데뷔 연령 조건부 프롬프트이다. 데뷔 연령이 늦은(연령 $\ge$ 40) 페르소나의 경우, 프롬프트는 모델에게 데뷔 전 직업 생활과 전환 사건을 명시적으로 설명하도록 지시하여, 모델이 늦게 데뷔한 예술인이 어린 시절부터 예술 활동을 해온 것으로 잘못 묘사하는 흔한 오류를 방지한다.
   • 모델: 내러티브는 Ollama를 통해 qwen3:30b-a3b(30B 희소 MoE 모델)를 사용하여 생성된다.

2.4 검증 스위트

PAK는 3단계 자동 검증 시스템을 포함한다.

• 스키마 레이어: JSON 구조와 필드 타입을 강제한다.
• 일관성 레이어: 타임라인 모순(예: 데뷔가 늦은 페르소나가 어린 시절 예술 활동을 했다고 주장하는 경우)과 톤 불일치를 탐지하기 위해 정규 표현식을 사용한다.
• 생성 후 레이어: 생성된 배치(batch)의 경험적 분포를 소스 통계와 비교하며, 보고 수준의 비율이 5% 이내여야 하고 셀 단위 교차표가 IPF 기대치와 일치해야 한다.

3. 주요 기여

1. PAK 데이터셋: 한국 문화예술 종사자를 대상으로 한 최초의 합성 페르소나 데이터셋으로, 30,000개의 페르소나를 포함한다. 각 페르소나는 16개의 정량적 앵커를 17개의 한국어 내러티브 필드와 연결한다.
2. 근거 기반 방법론: 주변부 데이터만 있는 설문 데이터로부터 결합 분포를 재구성하기 위해 분야별 IPF를 적용한 새로운 방법론을 제시하며, 모든 정량적 분포가 2024년 조사의 공개된 셀을 추적할 수 있도록 보장한다.
3. 검증 프레임십: 분포적 사실 확인, 내러티브 일관성 감사(특히 타임라인 모순을 타겟팅함), 그리고 다운스트림 유틸리티 프로브를 포함하는 포괄적인 검증 레이어를 제공한다.
4. 인간-모델 일치 연구(PAK-1K-eval): 근거성(groundedness), 일관성, 개연성, 유창성을 평가하기 위해 단일 인간 전문가 참조값과 다양한 모델 패널(Claude Opus 4.7, Gemini 2.5 Pro 등)을 활용한 품질 감사 연구를 수행한다.
5. 오픈 릴리스: 데이터셋, 근거 테이블, 생성 코드 및 평가 레이어를 CC-BY-4.0 하에 공개하여, 개인의 응답 기록에 의존하지 않고도 재현 가능한 리소스를 제공한다.

4. 결과

4.1 분포적 충실도

• 사실 확인: 공개된 데이터셋은 높은 충실도로 소스 통계를 재현한다. 보고 수준의 비율(전업 여부, 계약 경험, 저작권 등)은 발표된 조사 결과와 1% 포인트 이내의 차이를 보인다.
• 주변부 정렬: 15개 분야의 주변부 분포는 인구 가중치와 0.25% 포인트 이내로 일치한다.
• 교차표 일치성: 연령-변수 교차 탭에 걸친 104개 셀을 점검한 결과, 모든 셀이 IPF 목표치와 5% 포인트 이내에 있었으며, 평균 절대 편차는 0.0115였다.

4.2 내러티브 품질 및 다양성

• 타임라인 일관성: 데뷔 연령 조건부 프롬프트는 데뷔가 늦은 페르소나의 타임라인 모순 실패율을 26.7%(대조군)에서 0%(실험군)로 감소시켰다.
• 다양성: 어휘적 독특성(distinct-n)은 낮으며(distinct-1 기준 0.0009–0.0019), Self-BLEU 점수는 0.83에서 0.95 사이로 나타나 텍스트가 자유로운 생성이 아닌 고정된 스키마를 따르고 있음을 보여준다. 그러나 의미론적 다양성 분석 결과, 임베딩 공간에서 예술 분야 라벨 간의 분리도가 낮아(Silhouette score 0.22), 내러티브가 분야 특이적 신호를 유지하고 있음을 확인했다.
• 인간-모델 일치: PAK-1K-eval 연구에서, 다양한 모델 패널은 인간 참조값과 중간에서 강한 수준의 일치도를 보였다.
  • **개연성(Plausibility)**은 가장 높은 일치도(QWK 0.765, Pearson 0.814)를 보였다.
  • **근거성(Groundedness)**은 상대적으로 낮은 일치도(QWK 0.613)를 보였는데, 이는 많은 필드에 걸쳐 정량적 모순을 탐지하는 것의 어려움을 반영한다.
  • 생성 모델 계열의 판정자(qwen3)는 스타일 점수를 부풀리고 근거성을 엄격하게 평가하는 자기 선호 경향을 보였으며, 이는 별도의 모델 패널을 사용하는 필요성을 입증한다.

4.3 다운스트림 유틸리티

• 앵커 복구: 경량 TF-IDF 모델은 마스킹된 내러티브로부터 비필드 앵커를 복구하는 데 있어 매크로-F1 0.819(직접 마스킹) 및 0.738(공격적 마스킹)을 달성하여 베이스라인을 크게 상회했다.
• 매칭 및 검색: 더 강력한 한국어 인코더(BGE-m3-ko)는 하드 페어 일관성에 대해 매크로-F1 0.856, 10-way 검색에 대해 MRR 0.754를 달성하여, 내러티브가 표면적 라벨 이상의 복구 가능한 페르소나 신호를 담고 있음을 증명했다.
• 역사실적(Counterfactual) 실험: 내러티브는 특정 앵커(예: 고용 형태)의 편집을 성공적으로 인코딩하지만, 다른 앵커(예: 개인 소득, 경력 단절)는 역사실적 설정에서 인코딩하는 데 실패했다. 이는 내러티브가 실제로 무엇을 포착하고 있는지에 대한 진단적 정보를 제공한다.

5. 의의 및 주장

본 논문은 PAK를 새로운 모델링 기법이 아니라, 통제되고 근거가 확실하며 재사용 가능한 언어 리소스로 규정한다. 그 의의는 다음과 같다:

• 추적 가능성: 일반 도메인 페르소나 데이터셋과 달리, PAK는 모든 정량적 속성이 공공 소스와 대조 검증 가능한 "통제된 페르소나 어휘"를 제공한다.
• 도메인 특수성: 한국 문화예술 분야의 중요한 공백을 메우며, 등록된 한국 예술인의 특정 인구 통계 및 직업 구조를 반영하는 리소스를 제공한다.
• 방법론적 엄밀성: 합성 데이터가 엄격한 통계적 근거(IPF를 통해)를 가지고 생성될 수 있으며, AI 판정자를 인간의 판단을 대체하는 것이 아닌 선별 도구로 취급하는 인간-모델 일치 연구를 포함한 다층적 감사를 통해 검증될 수 있음을 보여준다.
• 투명성: 전체 근거 생성 파이프라인을 함께 공개하여, 사용자가 데이터셋을 재생성하거나 통계적 재구성 과정을 감사할 수 있도록 한다.

저자는 다음과 같은 한계를 명시한다: PAK는 실제 개인이 아닌 합성 페르소나를 나타내며, 미등록/비공식 종사자를 제외하고, 내러티브 필드는 의미적으로 고정되어 있으나 세련된 인간의 산문은 아니다. 본 데이터셋은 실제 인물을 프로파일링하는 도구가 아니라, 앵커 제어 평가, 퓨샷 예시(few-shot exemplars) 및 방법론적 연구를 위한 용도로 설계되었다.