The COTe score: A decomposable framework for evaluating Document Layout Analysis models

논문 요약: 문서 레이아웃 분석 (DLA) 모델 평가를 위한 COTe 점수

1. 문제 제기 (Problem)

문서 레이아웃 분석 (Document Layout Analysis, DLA) 은 인쇄된 문서를 의미 있는 요소로 파싱하여 데이터 추출 및 디지털화를 가능하게 하는 핵심 과정입니다. 그러나 현재 DLA 모델의 성능을 평가하는 데 널리 사용되는 지표 (IoU, F1, mAP 등) 는 3D 공간의 2D 투영물 (예: 자연 사진) 을 대상으로 한 일반 객체 탐지 (Object Detection) 에서 유래했습니다.

• 근본적 불일치: 인쇄 매체는 3D 공간의 투영이 아니라, 본질적으로 2D 이며 가독성을 해치지 않으면서 빈 공간을 최소화하도록 설계된 불규칙한 테셀레이션 (tessellation, 타일링) 구조를 가집니다.
• 평가의 한계: 기존 객체 탐지 지표는 중첩 (overlap) 이나 상호작용을 허용하는 3D 투영물에 적합하지만, 2D 문서 레이아웃에서는 예측과 정답 (Ground Truth) 간의 그레인 (세분화) 수준 차이 (예: 줄 단위 vs 문단 단위) 로 인해 모델의 실제 성능을 왜곡하거나 오해의 소지가 있는 결과를 초래합니다.
• 실용적 문제: 데이터 라벨링의 주관성 (예: '그림'의 정의, 여백 처리 등) 으로 인해 데이터셋 간 비교가 어렵고 (incommensurability), 기존 지표는 이러한 맥락에서 모델의 실패 원인 (failure modes) 을 제대로 진단하지 못합니다.

2. 방법론 (Methodology)

저자들은 인쇄 매체의 본질적인 2D 특성을 반영한 새로운 평가 프레임워크를 제안합니다.

가. 구조적 의미 단위 (Structural Semantic Unit, SSU)

• 개념: 텍스트의 물리적 위치 (줄, 문단) 가 아닌 의미적 구조에 초점을 맞춘 라벨링 접근법입니다.
• 정의: 동일한 클래스, 동일한 구조적 단위 (예: 열, 컬럼), 동일한 의미 단위 (예: 기사, 시) 에 속하며 읽기 순서상 인접한 텍스트 영역들을 하나의 SSU 로 그룹화합니다.
• 목적: 라벨링의 세분화 수준 (그레인) 차이로 인한 평가 왜곡을 줄이고, 예측이 의미적 경계를 침해하는지 여부를 판단할 수 있는 기반을 마련합니다.

나. COTe 점수 (Coverage, Overlap, Trespass, Excess)
SSU 를 기반으로 한 분해 가능한 (decomposable) 평가 지표로, 페이지 파싱 품질을 4 가지 구성 요소로 분석합니다.

1. Coverage (C): 정답 영역 (Ground Truth) 중 예측으로 얼마나 잘 덮였는지 측정합니다. (기존 IoU 와 달리 정답 영역 내의 빈 공간은 불이익을 주지 않음).
2. Overlap (O): 정답 영역을 여러 예측이 중복하여 덮는 정도를 측정합니다. 2D 문서에서는 중첩이 불가능하므로 이를 패널티로 부여합니다.
3. Trespass (T): 예측이 할당된 SSU 의 경계를 넘어 인접한 다른 SSU 영역을 침범하는 정도를 측정합니다. 이는 의미 없는 텍스트 병합이나 OCR 오류의 원인이 됩니다.
4. Excess (e): 정답 영역 밖 (여백 등) 에 예측이 존재하는 정도를 측정하는 보조 지표입니다.

• 최종 점수 계산: $COTe = C - O - T$
  • 점수 범위: 1 (완벽) ~ 음수 (심각한 오류).
  • 특징: 예측이 정답 영역을 완전히 덮되 (C=1), 중첩이나 침범이 없으면 (O=0, T=0) 점수가 1 이 됩니다.

3. 주요 기여 (Key Contributions)

1. SSU (Structural Semantic Unit): 텍스트 라벨링의 세분화 수준 차이에 강건한 (robust) 관계형 라벨링 방법을 제안하여, 평가의 실용적 능력 (pragmatic competence) 을 향상시킵니다.
2. COTe 점수: 2D 네이티브 이미지 (인쇄 매체) 에 최적화된 분해 가능한 평가 지표를 개발했습니다. 이는 모델이 페이지의 테셀레이션 논리를 위반하는지 (침범, 중첩) 를 정량화하여 구체적인 실패 모드를 진단할 수 있게 합니다.
3. 오픈 소스 라이브러리 및 데이터셋:
   • cotescore 라는 Python 라이브러리를 공개하여 COTe 적용을 용이하게 했습니다.
   • SSU 라벨이 추가된 NCSE 데이터셋을 공개하여 연구자들이 새로운 프레임워크로 모델을 분석할 수 있도록 지원했습니다.

4. 실험 결과 (Results)

저자들은 5 개의 주요 DLA 모델 (DocLayout-YOLO, Heron, PP-DocLayout 등) 을 3 개의 데이터셋 (NCSE, HNLA2013, DocLayNet) 에서 평가했습니다.

• 기존 지표와의 비교:
  • 그레인 불일치 시: 정답이 줄 단위이고 예측이 문단 단위인 경우, 기존 F1 점수는 0.32 로 급격히 하락하여 모델이 실패한 것으로 오인하게 만들었습니다. 반면 COTe 는 1.00 (완벽) 또는 0.84 로 실제 성능을 정확히 반영했습니다.
  • 상관관계: COTe 점수와 기존 IoU/mAP 간의 상관관계는 낮았습니다 (Spearman 상관계수 0.27~0.77). 이는 COTe 가 기존 지표가 놓친 다른 차원의 성능 정보를 제공함을 의미합니다.
• 모델별 실패 모드 진단:
  • Heron: 높은 Coverage 를 보였으나 Overlap 이 높았습니다.
  • DocLayout-YOLO: Coverage 는 높았으나 Trespass(경계 침범) 와 Overlap 이 매우 커서 음수 (-0.55) 의 COTe 점수를 기록했습니다. 이는 OCR 시 심각한 텍스트 병합 오류를 유발할 것임을 시사합니다.
  • PP-DocLayout: Trespass 와 Overlap 이 낮아 깨끗한 파싱을 제공했으나 Coverage 가 다소 낮았습니다.
• SSU 라벨링의 필요성: 흥미롭게도, 명시적인 SSU 라벨링 없이도 (단순 물리적 구조만 사용해도) COTe 는 기존 지표보다 훨씬 높은 강건성을 보여주었습니다. 이는 실제 적용 시 라벨링 비용 부담을 줄일 수 있음을 의미합니다.

5. 의의 및 결론 (Significance)

• 해석 - 성능 간극 해소: COTe 는 기존 지표 (F1 대비 최대 76%) 보다 모델 성능과 해석 간의 간극을 줄여주며, 모델이 왜 실패하는지 (중첩, 경계 침범, 미파싱 등) 구체적으로 진단할 수 있게 합니다.
• 2D 네이티브 평가: 3D 투영물용 객체 탐지 지표에서 벗어나, 인쇄 매체라는 2D 테셀레이션 구조에 특화된 평가 패러다임을 제시했습니다.
• 실무적 가치: 연구자와 실무자는 COTe 의 분해된 지표를 통해 모델 선택, 후처리 전략 수립, 추가 학습 데이터 확보 등 더 효과적인 모델 개선 전략을 수립할 수 있습니다.
• 지속 가능성: SSU 와 COTe 프레임워크는 데이터 라벨링의 주관성과 세분화 차이를 극복하여, 서로 다른 데이터셋과 모델 간의 공정한 비교와 벤치마킹을 가능하게 합니다.

이 논문은 문서 이해 (Document Understanding) 분야에서 모델 평가의 새로운 표준을 제시하며, 더 견고하고 정확한 문서 파싱 시스템 개발을 위한 기초를 마련했습니다.