Curation of a Palaeohispanic Dataset for Machine Learning

제공된 논문 "Curation of a Palaeohispanic Dataset for Machine Learning"에 대한 상세한 기술적 요약은 다음과 같습니다.

1. 문제 정의 (Problem)

• 배경: 기원전 3 세기 로마 정복 이전 이베리아 반도와 남부 프랑스에서 사용되었던 고대 이베리아어 (Palaeohispanic languages, 예: 이베리아어, 켈티베리아어, 타르테시우스어 등) 는 여전히 완전히 해독되지 않았으며, 연구가 주로 언어학적 관점에서 이루어져 왔습니다.
• 한계:
  • 데이터 부재 및 형식: 기존에 디지털화된 자료 (예: Hesperia 데이터베이스) 가 존재하지만, 탐색이 어렵고 머신러닝 (ML) 모델에 직접 적용하기 불리한 문자열 (String) 형식으로 저장되어 있습니다.
  • 비정형 데이터: 고고학적 위치, 연대, 텍스트 주석 등 다양한 속성들이 비정형 텍스트로 존재하여 계산적 분석 (NLP, 분류 등) 에 즉시 활용하기 어렵습니다.
  • 해석의 불확실성: 텍스트에는 필사본의 주석, 결손된 문자, 다양한 판독 버전이 혼재되어 있어 모델 학습 시 노이즈가 될 수 있습니다.

2. 방법론 (Methodology)

이 연구는 Hesperia 데이터베이스를 기반으로 한 구조화된 데이터셋 구축을 위해 데이터 수집과 속성 변환 (Transformation) 의 두 단계로 구성되었습니다.

2.1 데이터 수집 (Collection)

• 소스: 마드리드 콤플루텐세 대학교의 Hesperia 데이터베이스 (주로 비문 Epigraphic 데이터) 를 활용했습니다.
• 필터링: 위조 (FALSA) 또는 의심스러운 (SUSPICIOUS) 비문은 제거하지 않고 유지하되, 필요 시 필터링할 수 있도록 두었습니다.
• 수집된 속성: 발굴 장소 (고고학 유적, 시정구, 주), MLH 및 Hesperia 참조 번호, 비문 텍스트, 재질, 매체, 쓰임새, 방향, 기법, 문자 체계, 이원성 시스템 유무, 단어 구분자, 연대 등 총 14 가지 원본 속성을 추출했습니다.

2.2 데이터 변환 (Transformation)

머신러닝 모델에 적합한 수치형 (Numerical) 또는 범주형 (Categorical) 데이터로 변환하는 과정을 거쳤습니다.

• 위치 (Location):
  • 시정구/주 (Municipality/Province): 단순 인코딩 대신 위도/경도 좌표로 변환하여 공간적 거리 관계를 모델이 학습할 수 있도록 했습니다. (알 수 없는 경우 Null 처리)
  • 고고학 유적: 정량화 가능한 신뢰할 수 있는 출처가 없어 문자열로 유지하거나 제외했습니다.
• 연대 (Chronology):
  • 자연어 텍스트로 된 연대 정보를 수치화했습니다.
  • 구간 변환: "세기"를 $[100c+1, 100c+100]$ 구간으로, "연도"를 $[y, y]$로 변환했습니다.
  • 수식어 적용: "초기 (Comienzos)", "후반 (Finales)" 등의 수식어에 따라 구간을 조정 (예: 세기의 첫 20% 로 제한) 했습니다.
  • 최종 표현: $[lower, upper]$구간을$[center, amplitude]$ (중심점, 폭) 형식으로 변환하여 모델 입력에 적합하게 만들었습니다. BC 는 음수, AD 는 양수로 처리했습니다.
• 텍스트 (Text):
  • 정제 (Cleaning): 고고학적 주석, 괄호/대괄호 내의 불필요한 정보, 저자 오류, 라인 분할 기호 등을 제거하거나 일반화했습니다.
  • 결손 처리: 읽을 수 없는 문자나 결손된 부분은 통일된 기호 (예: + 또는 [---]) 로 치환하여 노이즈를 줄였습니다.
  • 원본 유지: 원본 텍스트와 정제된 텍스트 (clean_text) 를 모두 포함하여 연구 목적에 따라 선택적으로 사용 가능하게 했습니다.
• 기타 속성 (Other Attributes):
  • 재질, 매체, 쓰기 방향, 기법, 문자 체계 등은 범주형 인코딩 (Integer Mapping) 을 적용했습니다.
  • 유사한 의미의 철자 변형은 통합하고, 드문 값은 '기타 (Miscellaneous)' 범주로 묶었습니다.

3. 주요 기여 (Key Contributions)

• 최초의 ML 친화적 데이터셋: 고대 이베리아어 비문 데이터를 머신러닝 모델이 직접 처리할 수 있도록 구조화한 최초의 대규모 데이터셋을 공개했습니다.
• 다양한 전처리 기법 적용: 위치 좌표화, 연대 구간 수치화, 텍스트 정제 (Cleaning) 등 도메인 특화 전처리 파이프라인을 제시했습니다.
• 데이터셋 규모 및 구조:
  • 1,751 개의 인스턴스 (Instance) 와 36 개의 특성 (Feature) 열을 포함합니다.
  • CSV 파일 형태로 제공되며, 원본 텍스트, 정제된 텍스트, 좌표, 범주형 코드 등 다양한 형태의 데이터를 포함합니다.
• 오픈 소스 도구: 데이터 생성을 위한 Python 스크립트와 처리된 CSV 파일을 GitHub 에서 공개하여 연구의 재현성과 업데이트를 가능하게 했습니다.

4. 결과 (Results)

• 데이터셋 구성: 1,751 개의 레코드로 구성된 데이터셋이 완성되었습니다.
• 특성 변환 성공:
  • Material: 13 개 값 $\rightarrow$ 12 개 범주
  • Medium: 59 개 값 $\rightarrow$ 28 개 범주
  • Separators: 80 개 값 $\rightarrow$ 12 개 범주
  • Signary: 15 개 값 $\rightarrow$ 9 개 범주
  • 연대: 텍스트 기반 $\rightarrow$ dating_min, dating_max, dating_mean, dating_width 등 4 개의 수치형 열로 변환.
• 활용 가능성: 생성된 데이터는 지도 학습 (분류, 예측), 비지도 학습 (관계 분석), 형태론/구문론 분석 등 다양한 NLP 및 머신러닝 작업에 즉시 적용 가능합니다.

5. 의의 및 향후 전망 (Significance)

• 계산 언어학의 도입: 고대 언어 연구에 전통적인 언어학적 방법론에 더해 계산적 접근 (Machine Learning, NLP) 을 가능하게 하는 토대를 마련했습니다.
• 연구 확장:
  • 형태론/구문론: scriptio continua(단어 구분 없는 텍스트) 의 분할, 어미 추출 등 분석 가능.
  • 의미론: 유사어 (Cognate) 탐지, 저자원 번역 기법 적용 가능.
  • 통계적 분석: 언어 간 관계나 비문 패턴에 대한 새로운 통찰 도출 가능.
• 지속 가능성: 언어학적 연구가 진전되고 새로운 해석이 나오면 데이터셋을 업데이트할 수 있도록 스크립트 기반의 유연한 구조를 제공합니다. 이는 고대 언어 해독과 디지털 인문학의 발전에 중요한 기여를 할 것으로 기대됩니다.