기술 요약: DOSA – 긴 문서 구조 분석을 위한 트리 유도형 자기 회귀 프레임워크

문제 정의

문서 구조 분석(Document Structure Analysis, DSA)은 시각적으로 풍부한 문서(PDF, 슬라이드 덱 등)에서 페이지 객체(예: 헤더, 표, 텍로 블록) 간의 논리적, 공간적, 의미적 관계를 밝혀내어 의미론적 트리를 구축하는 것을 목표로 한다. 초기 연구는 시각적 특징을 사용하여 단일 페이지 문서에 집중했으나, 현대의 애플리케이션은 긴 범위의 의존성과 이질적인 레이아웃을 가진 다중 페이지 문서를 처리할 것을 요구한다.

기존의 트랜스포머 기반 방식들은 다중 페이지 문서를 처리할 때 다음과 같은 중대한 문제에 직면한다:

1. 계산 오버헤드: 셀프 어텐션(Self-attention)의 이차 복잡도로 인해 수천 개의 페이지 객체가 포함된 문서를 처리하는 것이 매우 어렵다.
2. 어텐션 희석(Attention Dilution): 긴 시퀀스에서 어텐션 메커니즘은 관련 요소에 집중하는 데 실패하여 정확도가 저하되는 경향이 있다.
3. 페이지 간 모델링: 다양한 페이지 레이아웃 전반에 걸친 장거리 의존성을 조율하는 것은 표준 아키텍처에서 여전히 쉽지 않은 과제이다.

방법론

저자들은 **DOSA (DOcument Structure Analyzer)**를 제안한다. 이는 긴 문서 구조 분석을 증분적(incremental)이고 자기 회귀적인(self-regressive) 의미론적 트리 구축 문제로 재정의한 통합 프레임워크이다. DOSA는 전체 문서를 한 번에 처리하는 대신, 문서를 청크(chunk) 단위로 나누어 처리하며, 부분적으로 구축된 트리를 후속 예측을 위한 구조적 컨텍스트로 사용한다.

1. 자기 회귀적 의미론적 트리 구축

• 청킹(Chunking): 문서는 최대 $N$개의 페이지 객체를 포함하는 $M$개의 청크로 분할된다(트랜스포머의 입력 제한에 맞춤).
• 증분 업데이트: 첫 번째 청크부터 시작하여, 모델은 계층적(부모-자식) 관계와 순서(선행자) 관계를 예측한다. 이러한 예측은 기존의 트리 $T_{i-1}$을 업데이트하여 $T_i$를 형성한다.
• 사이클 해결(Cycle Resolution): 분류 오류로 인해 발생할 수 있는 구조적 불일치(예: 사이클)를 처리하기 위해, 신뢰도가 가장 낮은 에지를 제거하는 디사이클링(decycling) 절차를 수행한다. 부모-자식 관계와 순서 예측 간의 충돌은 바운딩 박스를 기반으로 한 공간적 순서를 사용하여 해결한다.

2. 트리 유도형 컨텍스트 선택

독립적인 청크 처리의 한계를 극려하기 위해, DOSA는 문서의 내재적인 순서를 활용한다.

• 우측 브랜치 불변성(Rightmost Branch Invariant): 이론적으로, 새로운 청크의 페이지 객체가 이전에 구축된 트리 내에 부모를 가지고 있다면, 그 부모는 반드시 (현재의 읽기 순서에 해당하는) 트리의 **우측 브в랜치(rightmost branch)**에 위치해야 한다.
• 소프트 윈도우 메커니즘: 초기 예측 오류에 대한 견고성을 높이기 위해, DOSA는 "우측 브랜치 기반 소프트 윈도우"를 채택한다. 컨텍스트 객체는 부분 트리의 우측 브랜치로부터 검색된다. 만약 컨텍스트 윈도우가 가득 차지 않으면, 두 번째 우측 브랜치, 세 번째 우측 브랜치 순으로 객체를 추가한다. 이는 여러 구조적으로 타당한 후보들을 보존함으로써 오류 전파를 완화한다.

3. 인-청크(In-Chunk) 모델 아키텍처

백본은 세 가지 구성 요소로 이루어진 경량 멀티모달 모델이다:

• 특징 추출 (Backbone): 각 페이지 객체에 대해 네 가지 유형의 특징을 추출하고 융합한다:
  • 시각적(Visual): MultiScaleROIAlign을 사용한 ResNet-50 FPN.
  • 의미적(Semantic): BERT를 통해 인코딩된 텍텍스트 내용(또는 카테고리 폴백).
  • 카테고리(Category): 정수 기반 임베딩.
  • 크기(Sizing): 정규화된 너비, 높이 및 면적 벡터.
  • 이들은 결합되어 MLP를 통해 1024차원의 융합 임베딩으로 투영된다.
• 트랜스포머 인코더: 6개 층의 인코더가 융합된 임베딩 시퀀스를 처리한다. 이는 공간적 및 페이지 간 순서를 포착하기 위해 상대적 페이지 인덱스와 정규화된 바운딩 박스 좌표를 결합한 **전역 위치 인코딩(global positional encoding)**을 활용한다.
• 관계 분류기(Relation Classifier): 후보 객체의 표현을 결합하여 각 객체의 부모와 직계 선행자를 예측하는 다중 클래스 분류기(MLP)이다. 모델은 클래스 불균형을 처리하기 위해 **포컬 로스(Focal Loss)**를 사용하여 학습된다.

주요 기여

1. 통합 프레임워크: DOSA는 DSA를 증분적이고 자기 회귀적인 과정으로 재정의하여, 부분적으로 구축된 트리를 구조적 사전 정보로 활용함으로써 긴 문서의 확장 가능한 파싱을 가능하게 한다.
2. 효율적인 모델 설계: 대규모 문서 특화 파운데이션 모델 사전 학습에 의존하지 않고도 관계를 예측할 수 있도록 시각적, 의미적, 범주적, 크기 특징을 통합한다.
3. 트리 유도형 컨텍스트: (특히 우측 브랜치의 소프트 윈도우를 통한) 트리 유도형 컨텍스트 선택 메커니즘의 도입은 전체 문서 인코딩의 계산 비용을 피하면서도 장거리 의존성을 모델링할 수 있게 한다.
4. 실증적 검증: 광범위한 실험을 통해 DOSA가 최신 기술(SOTA) 및 대규모 언어 모델(LLM) 베이스라인보다 우수한 성능을 보임을 입증하였다.

실험 결과

실험은 arXivDocs, E-Periodica (단일 페이지), 그리고 HRDS, HRDH, DocHieNet (다중 페이지)의 5개 벤치마크에서 수행되었다.

• 다중 페이지 벤치마크 성능: 까다로운 DocHieNet 벤치마크에서, DOSA는 이전의 최신 기술인 DHFormer에 비해 약 4 F1 포인트 및 19 TEDS 포인트의 향상을 달면했다.
• LLM과의 비교: DOSA는 DocHieNet에서 대규모 언어 모델 베이스라인(Gemini-2.5-Pro 및 GPT-5.2)을 크게 압도하였다. 구체적으로 F1 점수에서 GPT-5.2(69.53) 대비 81.80을 기록하였고, TEDS 점수에서도 57.82 대비 76.81을 달성하였다. 이는 계층적 재구성을 위해 명시적인 구조 모델링이 순수 생성적 추론보다 우월함을 시사한다.
• 절제 연구(Ablation Studies):
  • 컨텍스트: 컨텍스트를 제거하거나 단순 순차적 윈도우를 사용했을 때 성능이 크게 하락하여, 트리 유도형 검색의 필요성을 입증하였다.
  • 특징: 카테고리 임베딩을 제거했을 때 성능이 급격히 하락(11.67 F1 포인트)하여, 이들의 결정적인 역할을 강조하였다. 크기 임베딩은 완만하지만 일관된 이점을 제공하였다.
  • 읽기 순서: 실제 정답 순서가 아닌 추론된 읽기 순서에 의존했을 때도 DOSA는 정답 순서가 필요한 DHFormer보다 우수한 성능을 보여, 프레임워크의 견고성을 입증하였다.

의의 및 주장

본 논문은 DOSA가 "단일 패스(single-pass)" 패러다임에서 "자기 회귀적, 트리 유도형" 접근 방식으로 전환함으로써 긴 다중 페이지 문서를 처리하는 데 있어 핵심적인 병목 현상을 해결한다고 주장한다. 각 추론 단계를 (구조적으로 관련 있는) 컨텍스트의 일부(의미론적 트리의 우측 브랜치)에 조건화함으로써, 이 프레임워크는 트랜스포머의 시퀀스 길이 및 어텐션 희석 문제를 효과적으로 완화한다.

저자들은 이 접근 방식이 전체 문서 어텐션의 과도한 계산 비용이나 거대 파운데이션 모델에 대한 의존 없이도 길고 일관된 파싱을 가능하게 한다고 강조한다. 결과는 적절한 컨텍스트를 식별하기 위한 태스크 지향적 메커니즘이 암시적인 어텐션 패턴보다 더 효과적임을 보여주며, 정확한 문서 청킹, 구조화된 추출, 계층 인식 요약이 필요한 애플리케이션에 실질적인 해결책을 제시한다.

한계점

저자들은 현재 프레임워크가 인용 또는 참조 관계(트리를 넘어선 그래프 기반 구조)를 모델링하지 못하며, 소프트 윈도우 메커니즘이 견고하긴 하지만 초기 예측 오류의 영향을 완전히 제거하지는 못한다는 점을 인정한다. 향후 연구에서는 적응형 오류 수정 메커니즘을 탐구할 수 있을 것이다.