Complex Layout Classification in the Wild: A Low-Resource Approach with Layout-Preserving Augmentations

기술 요약: 야생에서의 복잡한 레이아웃 분류 (Complex Layout Classification in the Wild)

문제 정의
문서 레이아웃 분석은 OCR, 자동 전사, 판독 순서 재구성 등 다운스트림 작업의 전제 조건이다. 현대적 문서(예: PDF, 인보이스)는 흔히 깔끔한 "맨해튼(Manhattan)" 격자 구조를 따르지만, 역사적 문서—특히 중세 필사본 및 초기 인쇄본—는 매우 불규칙하고 복잡한 레이아웃을 보인다. 이러한 레이아웃은 비직사각형 형태의 텍스트 영역(예: L자형, C자형, O자형, 그리고 "탈무드식" 다중 열 배치)과 이를 구분하는 뚜렷한 기하학적 경계들을 특징으로 한다.

현재의 최첨단 레이아웃 분석은 대규모 주석이 달린 벤치마크(예: PubLayNet, DocLayNet)와 표준화된 영어 문서에 학습된 딥러닝 모델에 크게 의존한다. 이러한 방식은 다음과 같은 세 가지 주요 이유로 인해 저자원 역사적 환경에서 어려움을 겪는다:

1. 데이터 부족: 역사적 컬렉션에는 대규모의 주석 처리된 데이터셋이 부족하다.
2. 구조적 복잡성: 표준적인 픽셀 기반 세그멘테이션은 복잡한 구성(예: C자형 구조에서 본문과 주변 주석을 분리하지 못하는 경우) 내에서 의미론적으로 구별되는 텍스트 블록을 구분하는 데 실패할 수 있다.
3. 과적합(Overfitting): 작은 데이터셋에 학습된 모델은 레이아웃 클래스를 정의하는 전역적 기하학적 배치보다는 부수적인 텍스트 세부 사항(폰트, 특정 내용)에 과적합되는 경향이 있다.

방법론
저자들은 텍스트 내용보다 **구분자 기하학(separator geometry)**을 우선시하는 새로운 학습 전략을 중심으로 한 저자원 접근 방식을 제안한다.

1. 데이터셋 큐레이션 (CLC):

   • 저자들은 이스라엘 국립 도서관의 155개 고해상도 히브리어 페이지와 다양한 인쇄본으로 구성된 특화된 코퍼스인 CLC 데이터셋을 큐레이션하였다.
   • 이 데이터셋은 구분자 영역을 기준으로 8개의 뚜렷한 레이아웃 클래스로 수동 주석 처리가 되었다: C (및 그 거울상), L (및 그 거울상), U (및 그 반전된 거울상), O, 그리고 Y (복잡한 다중 구성 레이아웃을 위한 포괄적 클래스).
   • 주석의 정확성을 보장하기 위해 전문 고서학자(paleographer)가 검증을 수행하였다.

2. 레이아웃 보존 증강 (Layout-Preserving Augmentations):
   레이블 노이즈를 유발하지 않으면서 데이터 부족 문제를 극복하기 위해, 저자들은 페이지의 구조적 "골격"은 유지하면서 텍스트 세부 사항을 억제하도록 설계된 태스크 특화 증강 파이프라인을 개발하였다:

   • 협폭 이방성 가우시안 마스킹 (Narrow Anisotropic Gaussian Masking): 다방향 이방성 가우시안 필터를 문서 이미지에 적용한다. $\sigma_x=1$의 좁은 표준 편차를 사용하고 수평($\theta=0$) 및 수직($\theta=\pi/2$) 방향으로 필터링함으로써, 이 방법은 구분자 영역(연속된 선 형태)을 강조하는 동시에 고주파 텍스트 노이즈를 억제하는 응답 맵을 생성한다. 결과적으로 생성된 마스크는 비구분자 픽셀을 반전시켜 모델이 폰트와 내용을 무시하도록 강제한다.
   • 반사를 통한 레이블 변환 (Reflection-Induced Label Transformations): 학습 분포를 풍부하게 하기 위해 수평 및 수직 반사가 적용된다. 결정적으로, 저자들은 비대칭 클래스를 대응되는 클래스로 매핑하거나(예: $C \leftrightarrow \bar{C}$, $L \leftrightarrow \bar{L}$) $Y$ 클래스로 매핑하는 폐쇄형 레이블 세트를 정의하여 레이블 일관성을 확보하였다. 회전과 전단(shear)은 구조적 의미를 변화시키므로 명시적으로 제외되었다.

3. 모델 아키텍처:

   • 시스템은 구분자 중심의 기하학적 구조와 잘 부합하는 귀납적 편향(locality, translation equivariance, hierarchical composition)을 가진 ConvNeXt-Tiny 백본을 채택하였다.
   • 모델은 단계별 방식으로 미세 조정된다: 먼저 분류 헤드를 학습시킨 후, 백본을 더 낮은 학습률로 언프리징(unfreezing)하여 과적합을 방지한다.
   • 입력 이미지는 $224 \times 224$ 크기로 리사이즈되며 Otsu 임계값 처리(thresholding)를 통해 이진화된다.

4. 능동 학습 프로토콜 (Active Learning Protocol):
   저자들은 얼마나 적은 수의 레이블된 샘플이 높은 성능에 도달하는 데 필요한지 결정하기 위해 세 가지 획득 함수(Random, Entropy, Margin)를 사용하는 능동 학습 루프를 통해 레이블 효율성을 평가하였다.

주요 기여

1. CLC 데이터셋: 직사각형이 아닌 역사적 레이아웃을 위한 자원 부족 문제를 해결하기 위해, 8개의 세밀한 구분자 정의 레이아웃 클래스를 가진 155개 히브리어 페이지의 새로운 컴팩트 고해고상 데이터셋을 제공한다.
2. 새로운 증강 전략: 부수적인 텍스트 세부 사항을 억제함으로써 모델이 전역적 기하학적 배치를 학습하도록 강제하는 협폭 이방성 가우시안 마스킹과, 의미론적 일관성을 유지하면서 학습 분포를 확장하는 반사 유도 레이블 변환을 도입하였다.
3. 체계적 평가: 백본 비교, 어블레이션 연구(ablation studies), 외부 블라인드 코퍼스 테스트, 능동 학습 분석을 포함한 엄격한 데이터 희소성 하에서의 종합적인 평가를 수행하였다.

결과

• 백본 비교: 31페이지의 테스트 세트에서 ConvNext-Tiny는 90%의 정확도와 0.88의 macro-F1을 달 기록하며 최상의 성능을 보였다. 이는 EfficientNet-B0, VGG16, ResNet-18, ViT-B/16(45% 이하의 정확도 기록)을 유의미하게 상회하는 결과로, 적절한 귀납적 편향을 가진 CNN이 이 저자원, 기하학 중심의 환경에서 트랜스포머보다 우월함을 입증하였다.
• 어블레이션 연구 (Ablation Study):
  • 이진화만 적용 시: 32% 정확도 (단순 이진화는 불충분함을 나타냄).
  • 이진화 + 뒤집기(Flips): 45% 정확도.
  • 이진화 + 마스킹: 68% 정확도 (이 작업이 구분자 중심임을 확인).
  • 전체 파이프라인 (마스킹 + 뒤집기): 90% 정확도.
    연구 결과, 마스킹은 구조 보존 정규화제 역할을 하고, 뒤집기는 필요한 다양성을 제공함을 확인하였다.
• 외부 블라인드 평가: 모델은 이스라엘 국립 도서관의 36,215개 북 폴더(미학습 데이터) 서브셋에서 테스트되었다. 수동 검증된 고신뢰도 서브셋(160개 샘플)에서 모델은 83.75%의 정확도를 달성하여, 실제 큐레이션되지 않은 아카이브에 대한 강력한 일반화 능력을 보여주었다.
• 능동 학습: 전체 증강 파이프라인은 레이블 효율성을 크게 향상시켰다. 엔트로피 획득 전략 하에서, 전체 파이프라인은 베이스라인 방법들의 0.30에 비해 **0.61의 macro-F1 AULC(Area Under the Learning Curve)**를 달성하였다.

의의 및 주장
본 논문은 학습의 초점을 텍스트 내용에서 전역적 기하학 구조로 전환함으로써, 심각한 주석 부족 상황에서도 견고한 역사적 레이아웃 분류가 가능하다는 점을 주장한다. 저자들은 표준적인 데이터 증강(예: 회전, 블러)이 이 도메인에는 불충분하며, 대신 구분자 토폴로지를 명시적으로 보존하는 **도메인 인식 증강(domain-aware augmentations)**이 필수적이라고 주장한다.

본 연구는 다음을 입증한다:

1. 역사적 문서의 레이아웃 분류는 텍스트 인식으로부터 분리될 수 있으며, 다운스트림 파이프라인을 위한 신뢰할 수 있는 라우팅 단계 역할을 할 수 있다.
2. 제안된 "구분자 보존" 전략을 통해 모델이 대규모 주석 없이도 미학습된 비직사각형 레이아웃에 일반화될 수 있다.
3. CLC 데이터셋과 제안된 방법론은 비라틴 문자 및 복잡한 필사본 구조를 위한 저자원 역사적 문서 분석 연구의 타겟 베이스라인을 제공한다.

저자들은 현재의 범위를 겸허히 인정하며, 이 접근 방식이 현재 인쇄된 히브리어 페이지에 국한되어 있고, 향-필사본(handwritten manuscripts)으로 이 방법을 확장하고 스크립트 유형 인식을 통합하기 위한 향후 연구가 필요하다고 언급하였다.