1. 문제 정의 (The Problem)

• 수동 코딩의 한계: 역사적 기록 (예: 인구조사, 결혼 증명서) 에 포함된 방대한 양의 비정형 텍스트 (직업 설명) 를 HISCO 와 같은 표준 직업 분류 체계로 변환하는 작업은 매우 시간 소모적이고 오류가 발생하기 쉽습니다. 숙련된 연구자라도 하나의 설명을 코딩하는 데 약 10 초가 소요되므로, 수만 건 이상의 데이터를 처리하는 것은 실용적이지 않습니다.
• 기존 방법의 부족: 기존 자동화 접근법은 주로 정규식 (Regular Expressions) 기반의 문자열 매칭과 전처리에 의존했습니다. 이는 철자 오류, 부정문, 다양한 표기법 변화 등에 취약하며, 데이터 소스마다 전처리 파이프라인을 새로 구축해야 하는 비확장적인 단점이 있었습니다.

2. 방법론 (Methodology)

2.1 모델 아키텍처: OccCANINE

• 기반 모델: CANINE (Character-level Neural Network for Information Extraction) 아키텍처를 기반으로 합니다. CANINE 은 104 개 언어로 학습된 사전 훈련된 모델로, 1 억 2,700 만 개의 파라미터를 가진 소형 트랜스포머 모델입니다.
• 특징:
  • 문자 수준 토큰화 (Character-level Tokenization): 단어 단위 토큰화를 사용하는 기존 모델과 달리, 철자 오류나 오타 (예: 'farmer'를 'frmter'로 오타) 에 대해 더 강건합니다.
  • 인코더 - 디코더 구조:
    • 인코더: CANINE 을 사용하여 직업 설명 텍스트를 고차원 벡터 표현으로 변환합니다.
    • 디코더: 두 가지 옵션을 제공합니다.
      1. Flat Decoder (Fast): 모든 HISCO 코드에 대한 확률을 한 번에 출력하는 분류 헤드로, 속도가 빠릅니다.
      2. Sequential Decoder (Good): HISCO 코드를 한 자리씩 순차적으로 예측하는 트랜스포머 디코더로, 모호성과 다중 직업 설명 처리에 강점이 있으며 임계값 (threshold) 조정이 불필요합니다.

2.2 학습 데이터 및 과정

• 데이터 규모: 13 개 언어, 29 개 출처 (인구조사, 결혼 기록, 특허 등) 에서 수집된 1,580 만 개의 직업 설명 - HISCO 코드 쌍으로 학습되었습니다.
• 데이터 증강: 다중 직업 설명을 학습시키기 위해 두 개의 직업 설명을 연결어 (and/und/og 등) 로 결합하는 기법을 적용했습니다.
• 손실 함수 (Loss Function): 직업 코드의 순서가 데이터에 따라 일관되지 않을 수 있는 문제를 해결하기 위해, 예측 순서에 무관한 Order-invariant Loss Function을 새로 개발하여 적용했습니다.
• 학습 설정: 160 만 스텝 동안 학습되었으며, 드롭아웃 (10%), 텍스트 증강, 언어 레이블 숨김 등을 통해 모델의 강건성을 높였습니다.

3. 주요 기여 (Key Contributions)

1. HISCO 장벽의 붕괴: 수동 작업으로 몇 주가 걸리던 코딩 작업을 수 분 내로 자동화하여 연구의 생산성을 극대화했습니다.
2. 다국어 및 다소스 일반화: 13 개 언어와 다양한 역사적 소스에 걸쳐 학습되어, 특정 언어나 소스에 국한되지 않는 강력한 일반화 능력을 입증했습니다.
3. 확장성: HISCO 외에도 OCC1950(미국), OCCICEM(영국), ISCO-68(국제) 등 다른 직업 분류 체계로의 전이 학습 (Transfer Learning) 이 가능함을 보여주었습니다.
4. 오픈소스 및 접근성: 코드, 가이드, 그리고 사전 훈련된 모델을 GitHub 를 통해 공개하여 연구자들의 접근성을 높였습니다.

4. 성능 결과 (Results)

• 정확도: 5 자리 HISCO 코드 수준에서 96.1% 의 정확도 (Accuracy), 96.1% 의 정밀도 (Precision), 96.7% 의 재현율 (Recall), 96.3% 의 F1 점수를 달성했습니다.
• 속도: GPU 가 탑재된 일반 노트북에서 10,000 개의 관측치를 처리하는 데 약 9 분 (Sequential Decoder 기준) 이 소요되며, 이는 수동 작업 (약 27.5 시간) 대비 압도적으로 빠릅니다.
• 외부 검증 (Out-of-Distribution): 학습 데이터에 포함되지 않은 새로운 소스 (예: 덴마크 서인도 제도, 영국 파산 기록 등) 에서도 높은 일관성을 보였으며, 특히 '근접 오류 (near misses)'를 Top-k(k=2 이상) 예측을 통해 대부분 수정할 수 있음을 확인했습니다.
• 소규모 데이터 적응: 10,000 개의 레이블된 데이터만으로도 다른 분류 체계에 대해 80% 이상의 정확도로 미세 조정 (Fine-tuning) 이 가능함을 입증했습니다.

5. 의의 및 영향 (Significance)

• 연구의 민주화: 고품질의 직업 데이터 코딩에 필요한 시간과 비용을 획기적으로 낮추어, 경제학, 경제사, 사회학, 정치학 등 다양한 분야에서 대규모 역사적 데이터 분석을 가능하게 했습니다.
• 데이터 품질 향상: 연구자들이 데이터 전처리와 코딩에 쏟는 시간을 줄이고, 데이터의 질적 분석과 해석에 집중할 수 있도록 지원합니다.
• 방법론적 확장: 이 접근법은 직업 분류뿐만 아니라 무역 기록의 상품 코딩, 교육 기록의 표준화, 의료 기록의 질병 분류 등 비정형 텍스트를 표준 체계로 매핑해야 하는 광범위한 역사적 데이터 처리 문제에 적용 가능한 일반적인 해결책을 제시합니다.

결론적으로, OccCANINE 은 역사적 직업 데이터 처리의 병목 현상을 해결하고, 디지털 인문학과 계량 경제사 연구의 새로운 지평을 여는 중요한 도구로 평가됩니다.