ICE-ID: A Novel Historical Census Dataset for Longitudinal Identity Resolution

1. 연구 배경 및 문제 정의 (Problem)

• 핵심 문제: 사회 이동성, 인구 통계 변화, 이주, 역학 연구 등을 위해 역사적 인구조사 기록을 연결 (Linkage) 하는 것은 필수적이지만 매우 어렵습니다.
  • 이유: 시간이 지남에 따라 이름이 변형되고, 필드가 누락되며, 행정 구역 경계가 변경되기 때문입니다.
• 기존 벤치마크의 한계:
  • 단순화: 기존 인구조사 특화 벤치마크는 짧은 시간 범위 (보통 10 년 이내) 만 다루거나, 친족 관계를 생략하며, 지리 정보를 계층 구조가 아닌 평탄한 텍스트로만 처리합니다.
  • 정적 데이터: 대부분의 엔티티 해결 (Entity Resolution, ER) 벤치마크 (Abt-Buy, DBLP-ACM 등) 는 정적 스냅샷이며, 시간적 이동 (Temporal Drift), 인구 통계적 특성, 관계적 맥락이 부족합니다.
  • 데이터 접근성: IPUMS 와 같은 대규모 프로젝트는 재분배 (Redistribution) 제약으로 인해 오픈 벤치마크로 사용하기 어렵습니다.
• 목표: 장기적인 시간적 이동 (Long-term temporal drift) 하에서 개인 수준의 신원 해결을 위한 대규모 오픈 벤치마크를 구축하여, 현실적인 복잡성을 반영한 재현 가능한 연구를 가능하게 하는 것.

2. 제안된 방법론 및 데이터셋 (Methodology & Dataset)

논문의 핵심은 ICE-ID라는 새로운 데이터셋과 이를 평가하기 위한 프로토콜입니다.

A. ICE-ID 데이터셋 개요

• 규모: 1703 년부터 1920 년까지 220 년에 걸친 16 개의 아이슬란드 인구조사 파동 (Waves) 에서 추출된 984,028 개의 기록.
• 레이블: 전문가가 큐레이션한 226,864 개의 고유한 개인 식별자 (Person Identifiers).
  • 46.8% (106,168 명) 의 개인이 여러 번의 인구조사에 걸쳐 반복적으로 나타남.
• 주요 특징 (기존 데이터셋과의 차별점):
  1. 이름 체계: 아이슬란드의 부계명 (Patronymic) 관습으로 인해 'Jón Jónsson'과 같은 이름의 체계적인 충돌 (Name Collision) 이 발생함.
  2. 계층적 지리 정보: 농장 (Farm) → 교구 (Parish) → 지구 (District) → 주 (County) 의 계층 구조를 포함하며, 행정 구역 변경을 반영함.
  3. 희소한 친족 관계: 파트너, 아버지, 어머니와의 연결 정보가 존재하지만 역사적 기록 관행에 따라 매우 희소함 (약 7% 만 존재).
  4. 시간적 불일치: 출생 연도, 결혼 상태 등 인구 통계 속성의 자연스러운 보고 노이즈와 시간적 불일치 포함.

B. 데이터 스키마

• 지리 테이블: 주, 지구, 교구의 진화하는 영토 계층 구조를 인코딩 (유효 기간, 좌표 포함).
• People 테이블: 각 인구조사 파동별 개인 등장 기록 (이름 구성 요소, 인구 통계, 클러스터 레이블, 친족 링크, 지리 정보).

C. 평가 프로토콜 (Temporal OOD)

• 시간적 분할 (Temporal Split): 배포 환경을 반영하여 훈련/검증/테스트를 시간 순서대로 분리.
  • Train: 1870 년 이전 (560,334 건)
  • Validation: 1871–1890 년 (147,450 건)
  • Test: 1891–1920 년 (276,244 건)
  • 특징: 모델이 초기 인구조사에서 학습하여 후기 인구조사 (시간적 분포 이동, OOD) 로 일반화하는 능력을 평가.
• 작업 정의:
  1. 동일 파동 내 (Within-wave): 같은 인구조사 내 두 기록이 동일 개인인지 판별.
  2. 교차 파동 (Across-wave): 다른 인구조사 (수십 년 간격) 의 기록이 동일 개인인지 판별 (이름 철자, 주소, 출생 연도 변경 등 고려).
• 평가 지표: 쌍별 (Pairwise) 정밀도/재현율/F1 점수 및 클러스터링 (Adjusted Rand Index 등) 지표.

3. 주요 결과 및 분석 (Key Results & Analysis)

논문은 데이터셋의 통계적 특성과 기존 벤치마크 대비 분석을 제시합니다.

• 결측치 패턴 (Missingness):
  • 지리 정보는 거의 완전함 (0.5% 결측).
  • 인구 통계는 낮음 (1.4% 결측).
  • 친족 관계는 매우 높음 (92.9% 결측): 가계도 기반 방법론이 희소한 관계 증거에 강건해야 함을 시사.
• 클러스터 크기 분포:
  • 중앙값은 1 (단일 등장), 95 백분위수는 6, 최대 22 회 등장.
  • 긴 꼬리 (Long tail) 를 가진 큰 클러스터는 장기적 추적에 가치 있지만, 클러스터링 알고리즘의 전이성 (Transitivity) 유지에 도전을 줌.
• 이름 모호성 (Identifier Ambiguity):
  • 부계명 시스템으로 인해 'Jón Jónsson'이 15,599 회 등장. 토큰 엔트로피는 기존 상품 매칭 데이터셋과 유사하지만, 체계적인 이름 충돌이 발생하여 출생 연도, 지리, 친족 정보의 추가 신호가 필수적임.
• 블로킹 효율성 (Candidate Generation):
  • 순수 지리 기반 블로킹 (교구만) 은 인구 이동과 행정 변경으로 인해 재현율 (Recall) 이 낮음 (0.59).
  • 하이브리드 전략 (이름 + 교구) 이 가장 효율적: 후보 96.5 개당 재현율 0.97 달성.
• 벤치마크 비교:
  • ICE-ID 는 시간적 범위, 계층적 지리, 친족 신호를 모두 포함하는 유일한 오픈 데이터셋임. 기존 ER 벤치마크는 정적이고 인구 통계/지리/친족 정보가 부재함.

4. 주요 기여 (Contributions)

1. 새로운 데이터셋: 장기적 신원 해결을 위한 안정적 식별자, 계층적 지리, 선택적 친족 링크를 포함한 대규모 인구조사 데이터셋 공개.
2. 평가 프로토콜: 배포 환경에 부합하는 시간적 분포 이동 (Temporal OOD) 평가 프로토콜 및 페어/클러스터링 작업 정의 제시.
3. 데이터 중심 진단 도구: 시간적 범위, 결측치, 모호성, 블로킹 효율성, 클러스터 크기 분포 등을 분석한 아티팩트 공개.
4. 재현 가능한 릴리스: 명시적 출처, 라이선스 (CC-BY-4.0), 대화형 대시보드, 모든 표와 그림을 재생성하는 스크립트 포함.

5. 의의 및 결론 (Significance)

• 연구의 전환점: 정적인 상품 매칭 데이터셋에서 벗어나, 실제 인구 데이터의 복잡성 (이름 충돌, 시간적 변화, 계층적 구조, 희소한 관계) 을 반영한 새로운 벤치마크를 제시함.
• 학문적 기여: 사회과학, 인구학, 역사학 연구뿐만 아니라 머신러닝 (엔티티 해결, 시간적 일반화) 연구에 필수적인 인프라를 제공.
• 윤리적 고려: 데이터가 1920 년까지로 제한되어 살아있는 개인 식별 위험이 없으며, 친족 링크가 희소하여 프라이버시 보호가 용이함.
• 향후 연구: ICE-ID 를 통해 제안된 프로토콜과 데이터는 장기적 신원 해결을 위한 모델 개발과 비교 평가의 표준으로 자리 잡을 것으로 기대됨. (모델 성능 비교는 동반 논문에서 다룸).

요약: ICE-ID 는 220 년간의 아이슬란드 인구조사 데이터를 기반으로, 시간적 이동과 복잡한 사회 구조를 반영한 최초의 대규모 오픈 엔티티 해결 벤치마크입니다. 이는 기존 정적 데이터셋의 한계를 극복하고, 역사적 기록 연결 및 장기적 신원 추적 연구의 새로운 표준을 제시합니다.