Topology-Preserving Data Augmentation for Ring-Type Polygon Annotations

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 이미지 분할 (Segmentation) 작업에서 객체의 경계와 공간 구조를 추출하기 위해 폴리곤 (Polygon) 주석이 널리 사용됩니다. 특히 건축 평면도 (Floorplan) 분석과 같은 구조화된 도메인에서는 내부 공간 (예: 안뜰, 복도) 이 있는 '링 타입 (Ring-type)' 영역이 자주 등장합니다.
• 주석 방식: 이러한 링 타입 영역은 COCO 와 같은 표준 포맷에서는 여러 개의 독립적인 폴리곤으로 표현되기도 하지만, 건축 데이터셋에서는 외부 경계와 내부 경계를 연결하는 단일 순환 폴리곤 체인 (Single Cyclic Polygon Chain) 으로 인코딩되는 경우가 많습니다. 이때 외부와 내부 경계를 연결하는 '브리지 엣지 (Bridge Edge)'가 존재합니다.
• 문제점: 기존의 데이터 증강 (Rotation, Cropping, Scaling 등) 파이프라인은 폴리곤의 좌표를 변환할 때, 이미지 경계 밖으로 잘려 나간 정점 (Vertex) 을 단순히 제거합니다.
  • 이로 인해 링 구조를 유지하던 순환 연결성 (Cyclic Connectivity) 이 끊어집니다.
  • 결과적으로 하나의 의미 있는 링 영역이 여러 개의 분리된 조각으로 나뉘거나, 내부 구멍이 사라지는 등 위상적 불일치 (Topological Inconsistency) 가 발생합니다.
  • 픽셀 단위 (마스크) 에서는 정교해 보일 수 있으나, 주석 데이터의 구조적 무결성이 깨져 학습 데이터의 일관성을 해치고 downstream 작업 (지형 재구성, 레이아웃 분석 등) 에 악영향을 미칩니다.

2. 제안 방법 (Methodology)

저자들은 폴리곤의 순서 (Order) 를 보존하면서 연결성을 복구하는 지수 공간 기반의 복구 전략 (Index-Space Repair Strategy) 을 제안합니다. 전체 파이프라인은 다음과 같은 4 단계로 구성됩니다.

1. 마스크 공간 증강 (Mask-Based Geometric Augmentation):

   • 원본 폴리곤을 이진 마스크 (Binary Mask) 로 래스터화합니다.
   • 회전, 크기 조절, 자르기 (Cropping) 등 기하학적 변환을 마스크에 적용합니다.
   • 이 방식은 정점 좌표를 직접 조작할 때 발생할 수 있는 연결성 파괴를 초기에 방지합니다.

2. 정점 투영 및 생존 정점 추출 (Vertex Projection & Extraction):

   • 변환된 마스크의 경계에서 새로운 정점들을 추출합니다.
   • 원본 폴리곤의 각 정점은 고유한 인덱스 (Index) 를 가지며, 변환 후에도 이 인덱스 순서를 유지합니다.
   • 자르기로 인해 이미지 밖으로 사라진 정점은 제거되고, 새로운 교차점이 정점으로 추가될 수 있습니다.

3. 순서 보존 연결성 복구 (Order-Preserving Connectivity Repair):

   • 핵심 알고리즘: 생존한 정점들의 인덱스 집합 $J = \{k_1, k_2, ..., k_m\}$ 을 원본 순서대로 정렬합니다.
   • 후속자 일관성 (Successor Consistency) 확인: 인접한 두 정점 $k_t$ 와 $k_{t+1}$ 사이의 원본 인덱스 관계 ($k_{t+1} = (k_t \mod n) + 1$) 가 깨졌는지 확인합니다.
   • 연결 복구: 중간 정점이 제거되어 간격이 생겼더라도, 생존한 정점들 사이에 방향성 있는 엣지 (Directed Edge) 를 직접 연결하여 순환 구조를 재구성합니다. 이는 폴리곤의 순환 순서 (Traversal Order) 를 유지하면서 위상적 결함을 메우는 과정입니다.

4. 위상 일관성 유지:

   • 최종적으로 생성된 폴리곤 $\hat{P}$ 는 단일 닫힌 순환 체인으로 복원되며, 외부 경계와 내부 경계 간의 위상적 관계가 보존됩니다.

3. 주요 기여 (Key Contributions)

• 링 타입 폴리곤의 위상 보존 증강: 기존 증강 라이브러리 (Albumentations, imgaug 등) 가 간과했던 '단일 순환 체인' 형태의 링 영역에 대한 위상 파괴 문제를 해결했습니다.
• 경량 복구 메커니즘: 복잡한 컨투어 재추출 (Contour Re-extraction) 이나 재학습 없이, 정수 인덱스 공간 (Index Space) 에서만 연산을 수행하여 계산 오버헤드가 거의 없습니다.
• 새로운 평가 지표 (CAP): 폴리곤의 기하학적 중첩 (mIoU) 이 아닌, 순환 인접성 보존 (Cyclic Adjacency Preservation, CAP) 을 측정하는 새로운 지표를 도입했습니다. 이는 생존한 정점들이 원본의 순환 순서를 얼마나 잘 유지하는지 $[0, 1]$ 범위로 수치화합니다.
• 범용성: 건축 평면도뿐만 아니라, 정점 순서가 구조적 관계를 encoding 하는 일반적인 폴리곤 주석에도 적용 가능한 원칙을 제시합니다.

4. 실험 결과 (Results)

• CAP 점수: 제안된 방법은 다양한 기하학적 증강 (회전, 자르기, 스케일링 등) 에서 0.97 이상의 높은 CAP 점수를 기록했습니다.
  • 비교 대상 (YOLOv11 파이프라인, Roboflow): CAP 점수가 0.33~0.55 수준으로 낮아, 링 구조가 자주 파괴됨을 확인했습니다.
• 정성적 분석:
  • 기존 방법들은 자르기 (Cropping) 시 브리지 연결부가 끊겨 링이 두 개의 독립된 폴리곤으로 분리되거나, 내부 구멍이 사라지는 오류를 보였습니다.
  • 제안 방법은 브리지 연결을 복원하여 링 구조를 온전히 유지했습니다.
• 분할 성능 향상 (Segmentation Performance):
  • 위상 보존 증강을 적용하여 학습한 모델 (YOLOv11-Seg, Mask R-CNN) 은 기존 증강 방식보다 mIoU 가 향상되었습니다.
  • 예: YOLOv11-Seg 의 경우 88.4 $\rightarrow$ 90.8 로 향상.
  • 이는 구조적으로 일관된 주석 데이터가 모델이 경계를 더 정확하게 학습하도록 돕는다는 것을 시사합니다.

5. 의의 및 결론 (Significance & Conclusion)

• 데이터 증강의 새로운 관점: 데이터 증강이 단순히 픽셀이나 좌표의 변환을 넘어, 주석 데이터의 구조적 위상 (Annotation-level Topology) 을 보존해야 함을 강조합니다.
• 실용적 가치: 건축, 지도, 기술 도면 등 복잡한 공간 구조를 다루는 컴퓨터 비전 분야에서, 증강 과정에서 발생하는 데이터 오염을 방지하여 모델의 일반화 성능과 신뢰성을 높이는 데 기여합니다.
• 코드 공개: 제안된 방법은 polyaug 라는 파이썬 패키지로 공개되어 기존 파이프라인에 쉽게 통합할 수 있습니다.

요약하자면, 이 논문은 링 형태의 폴리곤 주석이 증강 과정에서 구조적으로 파괴되는 문제를 발견하고, 이를 정점 인덱스의 순서 보존을 통한 경량 복구 알고리즘으로 해결하여 분할 모델의 성능을 향상시킨 연구입니다.