Generalizable Multiscale Segmentation of Heterogeneous Map Collections

이 논문은 역사적 지도의 다양성을 반영한 새로운 벤치마크 데이터셋 'Semap'과 절차적 데이터 합성 및 다중 스케일 통합을 결합한 분할 프레임워크를 제안하여, 다양한 스타일과 규모의 이질적인 지도 컬렉션에서도 견고하고 일반화 가능한 의미 분할 성능을 달성함을 보여줍니다.

핵심

이 논문은 **"역사 지도를 읽는 인공지능의 새로운 여정"**에 대한 이야기입니다.

과거에는 인공지능이 지도를 분석할 때, 마치 **"특정 학교의 시험지만 보고 공부한 학생"**처럼 행동했습니다. 예를 들어, 19 세기 파리의 지도만 보게 훈련하면, 그 학생은 파리의 지도는 잘 읽지만, 18 세기 스위스 시골 지도나 20 세기 미국의 보험 지도를 보면 완전히 당황하고 말았습니다.

이 연구는 **"모든 종류의 지도를 통틀어 잘 읽을 수 있는 만능 학생 (범용 모델)"**을 만들기 위해 노력했습니다. 어떻게 했는지 세 가지 핵심 비유로 설명해 드릴게요.

1. 새로운 교과서 만들기: '세마프 (Semap)' 데이터셋

기존에는 지도를 가르칠 수 있는 자료 (데이터) 가 너무 적고, 종류도 한정적이었습니다. 마치 **"파란색 사과만 100 개 보고 사과를 배운 아이"**가 빨간 사과나 노란 배를 보면 사과인지 모르고 넘어가는 것과 비슷합니다.

저자들은 이 문제를 해결하기 위해 1,439 장의 역사 지도 조각을 직접 손으로 하나하나 표시해서 새로운 교과서인 **'세마프 (Semap)'**를 만들었습니다. 이 교과서에는 유럽의 도시 지도부터 미국의 보험 도면, 전 세계 지도까지 다양한 스타일과 크기의 지도가 섞여 있습니다. 이는 아이에게 "사과는 빨강, 노랑, 초록 등 다양한 색과 모양이 있을 수 있다"는 것을 가르치는 것과 같습니다.

2. 가상의 연습장: '프로시저얼 (Procedural)' 데이터 합성

하지만 1,439 장의 지도만으로는 부족했습니다. 그래서 저자들은 **"컴퓨터가 직접 가상의 지도를 그리는 기술"**을 사용했습니다.

마치 **"가상 현실 (VR) 게임"**을 만드는 것과 같습니다. 컴퓨터가 현대의 지도 데이터를 바탕으로, 역사적인 지도처럼 보이게 색칠하고, 구름을 그리며, 심지어 산맥의 그림자까지 자연스럽게 추가합니다.

• 왜这么做까요? 실제 역사 지도는 구하기 어렵고, 손으로 표시하는 데 시간이 너무 많이 걸립니다. 하지만 컴퓨터가 만든 가짜 지도 (실제 지도처럼 보이는) 를 훈련에 섞어주면, 인공지능은 **"지도의 모양과 구조"**를 더 잘 이해하게 됩니다. 마치 비행 시뮬레이터로 비행을 연습한 조종사가 실제 비행에서도 당황하지 않는 것과 같습니다.

3. 여러 개의 안경으로 보기: '다중 스케일 (Multiscale)' 분석

역사 지도는 크기가 천차만별입니다. 어떤 지도는 도시 전체를 보여주지만, 어떤 지도는 작은 마을의 집 한 채만 보여줍니다. 인공지능이 한 번에 모든 것을 보려고 하면, 큰 것은 놓치고 작은 것은 놓치기 쉽습니다.

이 연구에서는 인공지능에게 **"두 가지 안경"**을 끼워주었습니다.

1. 멀리서 보는 안경 (저해상도): 지도의 큰 흐름과 전체적인 모양을 파악합니다.
2. 가까이서 보는 안경 (고해상도): 작은 길이나 건물의 세부 사항을 확인합니다.

이 두 가지 시선을 합쳐서 최종 판단을 내리니, 인공지능은 "큰 숲도 보고, 나무 한 그루도 놓치지 않는" 놀라운 능력을 갖게 되었습니다.

결과: 무엇이 달라졌나요?

이 새로운 방법을 통해 인공지능은 다음과 같은 성과를 거두었습니다.

• 범용성: 특정 지역이나 스타일에만 의존하지 않고, 전 세계의 다양한 역사 지도를 잘 분석합니다.
• 강건함: 지도가 낡았거나, 색이 바랬거나, 그림자가 지는 등 조건이 달라져도 잘 견딥니다.
• 새로운 가능성: 이제 연구자들은 과거의 **'꼬리 부분 (Long Tail)'**에 있는 수만 장의 소규모 지도들까지도 분석할 수 있게 되었습니다. 마치 도서관에 숨겨져 있던 수천 권의 책들을 한 번에 읽을 수 있게 된 것과 같습니다.

요약

이 논문은 "특정 지도만 보는 전문가"에서 "모든 지도를 이해하는 만능 탐정"으로 인공지능을 진화시킨 연구입니다. 다양한 데이터를 섞고, 컴퓨터가 만든 가짜 지도로 연습을 시키며, 여러 각도에서 보는 기술을 적용함으로써, 우리는 이제 과거의 지도들이 품고 있는 방대한 역사와 지리 정보를 훨씬 더 쉽고 정확하게 읽어낼 수 있게 되었습니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 현재의 한계: 역사적 지도 인식 (Map Recognition) 연구는 주로 특정 시리즈 (예: 지형도, 도시 아틀라스) 와 같이 시각적으로 균일한 데이터셋에 최적화된 전문 모델 (Specialist models) 에 집중되어 있습니다.
• 데이터의 다양성 부재: 역사적 지도 컬렉션은 스타일, 축척, 지리적 초점이 매우 다양하며, 대부분 단일 시트 문서로 구성되어 있습니다. 이러한 '롱 테일 (Long tail)' 데이터는 기존 전문 모델로 처리하기 어렵습니다.
• 데이터 부족: 지도 분할을 위한 일반화된 (Generic) 정답 레이블 (Ground-truth) 이 부족하여, 지도 인식 모델의 전이 학습 (Transfer Learning) 과 재사용성이 제한적입니다.
• 목표: 특정 지도 시리즈에 국한되지 않고, 이질적인 다양한 역사적 지도 컬렉션 전반에 적용 가능한 일반화 가능한 (Generalizable) 의미 분할 (Semantic Segmentation) 모델 및 온톨로지를 개발하는 것.

2. 방법론 (Methodology)

2.1. 새로운 데이터셋: Semap

• 구성: 1,439 개의 수동으로 주석 달린 (Manually annotated) 지도 패치로 구성된 오픈 벤치마크 데이터셋입니다.
• 다양성: HCMSSD(역사적 도시 지도), 나폴레옹 시대의 cadastral(지적) 지도, 파리스 도시 아틀라스, 그리고 ADHOC(지도 역사 aggregated database) 에서 추출된 다양한 지도를 포함합니다.
• 클래스: 기존 5 개 클래스 (건물, 도로망, 수계, 비건조지, 배경) 에 경계선 (Boundary) 클래스를 추가하여 총 6 개 클래스로 확장했습니다. 이는 개별 건물 발자국이나 토지 구획을 벡터화할 수 있게 합니다.
• 주석 작업: 약 400 시간의 수동 작업이 소요되었으며, 768x768 픽셀 크기로 표준화되었습니다.

2.2. 절차적 데이터 합성 (Procedural Data Synthesis)

• 목적: 수동 주석 데이터의 부족을 보완하고 모델의 강건성을 높이기 위해 합성 데이터를 생성합니다.
• 생성 방식:
  • 소스: MapTiler Planet 의 현대 지리 데이터를 기반으로 합니다.
  • 스케일 매핑: 역사적 지도의 시각적 렌더링을 모방하기 위해 축척을 줌 레벨 (Zoom level) 로 변환하고, WGS84 투영법을 사용하여 768x768 픽셀 크기로 샘플링합니다.
  • 스타일링: 역사적 지도의 그래픽 관습 (점선, 해치, 수선, 질감 등) 을 확률적으로 적용합니다. 색상 분포는 Semap 데이터에서 추출된 가우시안 혼합 모델을 따릅니다.
  • 다양성 확보: Relief(지형) 표현 (해치, 힐쉐이딩, 등고선), 텍스트 레이블 추가, 회색조 변환, JPEG 압축 아티팩트 추가 등을 통해 시각적 다양성을 극대화했습니다.
  • 데이터 비율: 학습 데이터의 약 90.9% 가 합성 데이터로 구성되었습니다.

2.3. 모델 아키텍처 및 학습 전략

• 모델: Mask2Former (Swin-L 백본 사용) 를 채택했습니다. Swin Transformer 의 계층적 설계가 다중 스케일 객체 처리에 유리하기 때문입니다.
• 학습 과정:
  1. Pre-training: Semap 데이터와 합성 데이터를 함께 사용하여 초기 학습.
  2. Fine-tuning: Semap 실데이터만으로 추가 학습 (Early stopping 적용).
  3. 손실 함수: Binary Cross-Entropy (마스크 예측), Cross-Entropy (클래스 할당), Dice Loss (클래스 불균형 해결) 를 결합. 경계선 클래스는 학습 난이도를 고려하여 가중치를 낮게 설정.
• 추론 전략 (Inference Strategy):
  • 다중 스케일 통합 (Multiscale Integration): 원본 해상도와 절반 해상도 (Half-resolution) 두 가지 스케일에서 추론을 수행한 후 결과를 평균화합니다. 이는 큰 객체 (여러 패치에 걸친 것) 의 인식 정확도를 높이고 계산 비용을 절감합니다.
  • 오버랩 윈도우: 패치 경계 효과 (Border effects) 를 줄이기 위해 64 픽셀 오버랩을 사용합니다.

3. 주요 결과 (Results)

3.1. 성능 벤치마크

• HCMSSD (Paris & World) 성능: Mask2Former-Swin-L 모델은 기존 최첨단 (SOTA) 모델들 (UNet-ResNet, SCGCN, HRNet-OCRNet 등) 을 크게 앞질렀습니다.
  • HCMSSD-Paris: mIoU 가 22%p 향상 (기존 UNet-ResNet 대비).
  • HCMSSD-World: mIoU 가 31%p 향상. 특히 이질적인 데이터셋 (World) 에서의 성능 향상이 두드러져 모델의 일반화 능력을 입증했습니다.
• Semap 테스트 세트 성능:
  • 평균 mIoU: 74.2% (지리적 클래스 기준).
  • 클래스별 성능: 비건조지 (81.8%), 건물 (79.8%), 수계 (72.2%), 도로망 (62.9%). 경계선 (Boundary) 은 40.7% 로 상대적으로 낮았으나, 이는 학습 가중치 조정과 선형 객체 인식의 어려움 때문입니다.

3.2. Ablation Study (성능 영향 분석)

• 다중 스케일 통합: 제거 시 mIoU 가 약 4~5%p 감소. 특히 건물과 수계 인식에 긍정적 영향.
• 합성 데이터 전학습: 제거 시 mIoU 가 약 4~5%p 감소. 주로 Recall(재현율) 향상에 기여.
• 결론: 두 전략 모두 모델의 전반적인 성능을 크게 향상시키는 핵심 요소임.

3.3. 일반화 및 편향 분석

• 메타데이터 영향: 지도의 출처 기관, 발행 국가, 축척, 연도 등 다양한 메타데이터 변수에 따른 성능 편향을 분석한 결과, OLS 회귀 분석에서 설명력 ($R^2$) 이 매우 낮음 (0.043).
• 의미: 모델은 특정 컬렉션, 지역, 시대, 축척에 의존하지 않고 일관된 성능을 보이며, 시스템적 편향이 거의 없음.

4. 주요 기여 (Key Contributions)

1. Semap 데이터셋 공개: 역사적 지도의 다양성을 반영한 1,439 개의 수동 주석 데이터셋과 12,122 개의 합성 데이터셋을 오픈 소스로 제공.
2. 일반화 가능한 프레임워크 제안: 절차적 데이터 합성과 다중 스케일 추론을 결합하여 이질적인 지도 컬렉션에서도 강력한 성능을 내는 분할 프레임워크 개발.
3. 패러다임 전환: 특정 지도 시리즈에 맞춘 전문 모델 대신, 다양성 (Diversity) 이 학습의 촉매제가 될 수 있음을 입증. 이는 지도 빅데이터의 '롱 테일' 부분을 역사적 연구에 활용 가능하게 함.

5. 의의 및 결론 (Significance)

• 역사 지리 연구의 확장: 기존에 접근하기 어려웠던 방대하고 이질적인 역사적 지도 컬렉션 (롱 테일) 을 자동으로 분할하여, 도시 확장, 토지 이용 변화, 도로망 발전 등 장기적인 공간적·시간적 역동성을 연구할 수 있는 기반을 마련했습니다.
• 데이터 효율성: 제한된 수동 주석 데이터를 합성 데이터와 결합하여 모델의 강건성을 높이는 방법을 제시했습니다.
• 미래 전망: 본 연구는 지도 유산의 대규모 디지털화 및 분석을 가능하게 하여, 디지털 인문학과 역사 지리학 연구에 새로운 가능성을 제시합니다.

요약: 이 논문은 이질적인 역사적 지도를 인식하기 위해 **다양한 데이터 (Semap)**와 절차적 합성, 다중 스케일 학습을 결합한 새로운 접근법을 제시하며, 기존 전문 모델의 한계를 넘어 범용적이고 강건한 지도 분할 모델을 성공적으로 구현했습니다.