💻 computer science

RT-DocLayout: Real-Time End-to-End Document Layout Analysis with Reading Order in the Wild

이 논문은 야생의 환경에서도 견고한 문서 레이아웃 분석을 위해 탐지, 세그멘테이션, 분류 및 읽기 순서 예측을 단일 RT-DETR 기반 아키텍처 내에서 통합하여 최첨단 성능과 실시간 추론(132.1 FPS)을 달성하는, 매우 효율적인 3,300만 파라미터 규모의 엔드 투 엔드 프레임워크인 RT-DocLayout을 소개한다.

원저자: Cheng Cui, Tingquan Gao, Xueqing Wang, Changda Zhou, Hongen Liu, Ting Sun, Yubo Zhang, Zelun Zhang, Jiaxuan Liu, Manhui Lin, Yue Zhang, Suyin Liang, Yiqing Xiang, Yi Liu

게시일 2026-06-23

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Cheng Cui, Tingquan Gao, Xueqing Wang, Changda Zhou, Hongen Liu, Ting Sun, Yubo Zhang, Zelun Zhang, Jiaxuan Liu, Manhui Lin, Yue Zhang, Suyin Liang, Yiqing Xiang, Yi Liu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

구겨지고 휘어진 종이들이 엉망으로 쌓여 있다고 상상해 보세요. 주머니 속에 들어 있어 구부러진 것도 있고, 비스듬한 각도에서 찍힌 사진도 있으며, 조명이 이상한 것도 있습니다. 당신의 목표는 이 혼돈을 모든 단락, 사진, 표가 제자리와 올바른 순서에 있는 깔끔한 디지털 도서로 만드는 것입니다.

이것이 바로 논문에서 설명하는 새로운 AI 도구인 RT-DocLayout이 하는 일입니다. 작동 원리를 쉽게 설명하면 다음과 같습니다.

문제점: "서투른 로봇" vs "엉망이 된 방"

이전의 문서 정리 도구들은 어지러운 방을 정리하려는 서투른 로봇과 같았습니다. 이들은 두 가지 주요 문제가 있었습니다:

너무 느렸습니다: 어떤 것들은 모든 물건을 생각하는 데 시간이 너무 오래 걸리는 초지능 로봇과 같았습니다.
너무 경직되었습니다: 대부분의 도구는 사각형 상자(마치 판지 상자처럼)만을 사용하여 아이템을 잡으려고 했습니다. 만약 종이가 구부러지거나 휘어 있다면, 사각형 상자는 텍스트의 일부를 잘라내거나 너무 많은 배경 노이즈를 함께 가져오게 됩니다.
순서를 틀렸습니다: 이들은 아이템을 찾아낸 뒤에는 별도로 읽기 순서를 추측해야 했으며, 이 과정에서 나중에 수정할 수 없는 실수를 저지르곤 했습니다.

해결책: "똑똑하고 유연한 정리 전문가"

저자들은 전체 방을 한눈에 볼 줄 아는 숙련되고 빠르게 움직이는 정리 전문가와 같은 RT-DocLayout을 만들었습니다.

1. 올인원 방식 ( "맥가이버 칼" 접근법)
아이템을 찾고, 상자를 그리고, 순서를 추측하기 위해 세 가지 서로 다른 도구를 사용하는 대신, RT-DocLayout은 이 모든 것을 단 한 단계로 수행합니다. 이는 마치 요리사가 재료를 다지고, 요리하고, 접시에 담는 과정을 하나의 매끄러운 동작으로 처리하는 것과 같습니다. 이 도구는 아이템이 무엇인지(제목인가? 사진인가?) 분류하고, 정확한 형태를 찾아내며, 이야기 속 어디에 위치해야 하는지를 동시에 결정합니다.

2. "상자" 대신 "마스크" 사용 ("쿠키 커터" 비유)
기존 도구들은 텍스트를 잡기 위해 사각형 상자를 사용했습니다. 만약 텍스트가 곡선 형태의 페이지 위에 있다면, 상자는 텍스트와 배경을 함께 잡아버립니다.
RT-DocLayout은 픽셀 수준의 마스크를 사용합니다. 사각형 상자 대신, AI가 텍스트의 모양에 완벽하게 밀착되어 형태를 만드는 유연한 쿠키 커터를 사용하는 것과 같습니다. 이를 통해 배경은 남겨두고 오직 콘텐츠만을 정확하게 잡아낼 수 있습니다.

3. 보는 동시에 "이야기"를 읽음 ("지휘자" 비유)
대부분의 도구는 문서를 보고 나서 나중에 읽기 순서를 파악하려고 합니다. 하지만 RT-DocLayout은 오케스트라가 연주하는 동안 음악을 듣고 음표의 순서를 아는 지휘자와 같습니다. 이 도구는 아이템을 찾는 동시에 아이템 간의 관계(예: "이 제목은 이 단락에 속한다")를 학습하므로, 순서가 뒤바뀌는 일이 없습니다.

4. "가짜 난장판"으로 훈련함 ("비행 시뮬레이터" 비유)
실제 구겨진 종이에서도 잘 작동하도록 하기 위해, 팀은 특별한 훈련 방법을 사용하여 AI를 가르쳤습니다. 그들은 깨끗한 디지털 페이지를 가져와서 실제 세상의 손상된 모습처럼 보이도록 디지털로 "뒤틀고", "비틀고", "기울였습니다". 이는 조종사가 실제 비행기를 타기 전에 폭풍과 난기류를 만들어내는 비행 시뮬레이터에서 훈련하는 것과 같습니다. 이 덕분에 AI는 매우 강인해졌으며, 어떤 실제 세상의 난장판에도 대응할 준비가 되었습니다.

결과: 빠르고, 정확하며, 강력함

이 논문은 이 새로운 도구가 다음과 같은 이유로 게임 체인저라고 주장합니다:

눈 깜짝할 새에 처리합니다: 초당 130페이지 이상(132.1 FPS)을 처리할 수 있으며, 이는 실시간 속도입니다.
크기가 작습니다: 3,300만 개의 파라미터라는 아주 작은 패키지에 들어 있어, 과거의 거대하고 느린 모델들과 달리 일반 컴퓨터에서도 쉽게 실행할 수 있습니다.
최고의 성능을 보여줍니다: 테스트 결과, 특히 종이가 구부러지거나 기울어지거나 조명이 좋지 않은 문서에서 다른 모든 방법을 능가했습니다. 단순히 아이템을 찾는 것에 그치지 않고, 그 누구보다 이야기의 순서를 더 잘 유지했습니다.

요약하자면: RT-DocLayout은 빠르고, 작으며, 믿을 수 없을 정도로 똑똑한 도구입니다. 이 도구는 엉망이고 왜곡된 문서를 가져와 즉시 깔끔하고 완벽하게 정렬된 디지털 파일로 변환하며, 이전의 어떤 방식보다 곡선과 주름을 더 잘 처리합니다.

기술 요약: RT-DocLayout

문제 정의

정확한 문서 레이아웃 분석(Document Layout Analysis, DLA)은 다양한 실제 환경의 문서를 처리할 때, 자동화된 문서 지능 시스템의 핵심적인 병목 현상으로 남아 있습니다. 기존 방법론들은 다음과 같은 두 가지 주요 과제에 직면해 있습니다:

파편화된 구조적 모델링: 기존 방식은 종종 계층적 파이프라인(예: 검출기 이후 GNN이나 휴리스틱 정렬과 같은 별도의 관계 모델 사용)에 의존합니다. 이러한 분리는 오류 전파를 유발하며, 검출의 부정확함이 후속 읽기 순서 예측의 성능 저하로 이어지게 합니다. 또한, 레이아웃 기하학(geometry)과 논리적 토폴로지(topology) 사이의 시너지 효과가 있는 의존성을 포착하지 못합니다.
조잡한 기하학적 표현: 대규모 시각-언어 모델(VLM)이나 생성형 트랜스포머를 포함한 많은 최신 모델들은 축 정렬된 바운딩 박스(axis-aligned bounding boxes)에 의존합니다. 이러한 조잡한 표현은 기하학적 왜곡(예: 휘어짐, 굽힘, 원근 변화 또는 스큐)이 있는 문서에서 레이아웃 요소를 격리하는 데 실패하여, 배경 노이즈나 인접 요소로부터 콘텐츠 간섭을 초래하고 하위 OCR 및 파싱의 충실도를 제한합니다.

또한, 대규모 사전 학습 모델은 높은 정확도를 달성하지만, 계산 비용이 많이 들어 실시간 산업 애플리케이션에는 부적합합니다.

방법론

저자들은 RT-DETR 아키텍처를 기반으로 한 매우 효율적인 엔드 투 엔드(end-to-end) 프레임워크인 RT-DocLayout을 제안합니다. 이 모델은 33M 파라미터 모델 내에서 분류, 검출, 픽셀 수준 세그멘테이션, 그리고 읽기 순서 예측을 통합합니다.

1. 통합 멀티태스크 아키텍처

기존 시스템과 달리, RT-DocLayout은 단일 쿼리 기반 트랜스포머 디코더를 사용하여 단 한 번의 포워드 패스(forward pass)로 네 가지 작업을 동시에 수행합니다:

분류 및 검출 (Classification & Detection): 카테고리 레이블을 할당하고 바운딩 박스를 회귀(regression)합니다.
픽셀 수준 세그멘테이션 (Pixel-Level Segmentation): 레이아웃 요소에 대한 고충실도 마스크를 생성합니다. 이는 단순한 바운딩 박스를 대체하여, 모델이 비정형 변형(곡선 텍스트, 휘어진 페이지)이 있는 경우에도 배경 오염 없이 요소를 정밀하게 격리할 수 있도록 합니다.
읽기 순서 예측 (Reading Order Prediction): 요소 간의 관계를 구축하여 논리적인 읽기 순서를 결정합니다.

2. 읽기 순서 메커니즘

모델은 디코더에 읽기 순서 예측을 직접 통합합니다. 정교화된 객체 쿼리 $Q$ 로부터 쌍별 선행 점수 행렬(pairwise precedence score matrix) $S$ 를 계산합니다. 점수 $S_{i,j}$ 는 학습 가능한 투영 행렬을 사용하여 요소 $i$ 가 요소 $j$ 보다 앞서는지를 결정합니다.

추론 전략: 투표 기반 랭킹 전략을 사용하여 이러한 쌍별 관계를 전역적으로 일관된 시퀀스로 변환합니다. 각 요소에 대한 예상 선행 요소 수는 시그모이드 활성화 함수가 적용된 쌍별 점수의 합계로 계산되며, 요소들은 이 카운트의 오름차순으로 정렬됩니다.

3. 손실 함수 설계

학습 목표는 분류, 바운딩 박스 회귀(L1 + GIoU), 마스크 세그멘테이션(BCE + Dice), 그리고 쌍별 읽기 순서의 가중 합계인 6개 구성 요소로 이루어집니다.

순서 손실 가중치 (Order Loss Weighting): 읽기 순서 손실은 $O(N)$ 인 객체 수준 손실에 비해 $O(N^2)$ 쌍에 대해 작동하므로, 그래디언트 희석(gradient dilution)을 방지하기 위해 훨씬 높은 가중치( $\lambda_{order}=50$ )가 할당됩니다.
지역성 인식 가중치 (Locality-Aware Weighting): 국부적인 순서 정확성을 강조하기 위해 동적 이웃 윈도우 내의 쌍들에 더 높은 가중치를 부여합니다.
일반화된 교차 엔트로피 (Generalized Cross Entropy, GCE): 레이블 평활화(label smoothing)를 적용하여 주석 노이즈를 처리하기 위해 순서 손실에 사용됩니다.
심층 감독 (Deep Supervision): 보조 손실(auxiliary losses)은 분류, 검출, 세그멘테이션을 위해 중간 디코더 레이어에 적용되지만, 순서 손실은 최종 레이어에서만 계산됩니다. 이는 정확한 순서가 후기 단계에서 달성되는 정밀한 위치 파악 및 분류에 의존하기 때문입니다.

4. 물리적 공간 인식 데이터 증강

표준적인 평면 주석과 실제 세계의 왜곡 사이의 간극을 메우기 위해, 저자들은 2단계 온라인 증강 파이프라인을 제안합니다:

1단계: 내재적 표면 변형 (Intrinsic Surface Deformation, ISD): 매끄럽고 주기적인 변위 필드를 사용하는 메쉬 기반 워핑 연산자를 사용하여 비정형적인 물리적 휘어짐(예: 페이지 말림)을 시뮬레이션합니다.
2단계: 외재적 투영 변환 (Extrinsic Projective Transformation, EPT): 복합 호모그래피 행렬을 통해 확률적인 카메라 뷰포인트(회전, 전단, 원근)를 시뮬레이션합니다.
이 파이프라인은 마스크 감독을 위한 픽셀 수준의 그라운드 트루스를 유지하면서 역동적으로 현실적인 왜곡을 합성합니다.

주요 기여

통합 프레임워크: RT-DocLayout은 33M 파라미터의 트랜스포머 프레임워크로서, 단일 포워드 패스 내에서 엔드 투 엔드 분류, 검출, 픽셀 수준 마스크 생성 및 읽기 순서 예측을 달성하여 불필요한 후처리 단계를 제거합니다.
마스크 중심의 견고성: 픽셀 수준의 마스크를 제공하는 것이 전통적인 바운딩 박스 기반 방식에 비해 비정형 변형 영역에 대한 파싱 견고성을 크게 향상시킨다는 것을 입증하였으며, 이는 문서 왜곡으로부터의 간섭을 효과적으로 완화합니다.
실시간 효율성: 모델은 SOTA(State-of-the-Art) 정확도를 달면서도 실시간 추론 속도(132.1 FPS)를 유지하여, 산업용 문서 파싱을 위한 확장 가능한 솔루션을 제공합니다.

실험 결과

실험은 OmniDocBench v1.5와 그 실제 환경 파생 버전인 Real5-OmniDocBench(Raw, Scanning, Warping, Screen-Photography, Illumination, Skew 시나리오 포함)에서 수행되었습니다.

성능: RT-DocLayout은 OmniDocBench v1.5에서 92.46%, Real5-OmniDocBench(PaddleOCR-VL-1.5-0.9B와 결합 시)에서 **92.05%**의 전체 정확도를 달성하여, PP-DocLayoutV2, MinerU2.5, Dolphin-v2와 같은 기존의 선도적인 방법들을 능가했습니다.
속도: 단 33M 파라미터로 132.1 FPS로 동작하며, 이는 대규모 VLM(예: 0.9 FPS의 Dolphin-v2, 2.4 FPS의 MinerU2.5)보다 훨씬 빠르고 컴팩트합니다.
견고성: 모델은 6가지 도전적인 차원 모두에서 일관된 우월성을 보였으며, 특히 바운딩 박스 방식이 크게 저하되는 "Warping(휘어짐)" 및 "Skew(기울기)" 시나리오에서 두드ness러졌습니다.
절제 연구 (Ablation Studies):
- 순수 바운딩 박스를 결합된 마스크 예측으로 교체했을 때 전체 정확도가 향 향상되었습니다.
- 결합된 읽기 순서 학습은 디커플링된 전략이나 XYCut보다 읽기 순서 오류 거리를 유의미하게 줄였습니다.
- 제안된 데이터 증강(DA)은 필수적이었으며, "Warp" 및 "Skew" 서브셋에서 각각 4% 및 14% 이상 성능을 개선했습니다.

의의

본 논문은 기하학적 정밀도(픽셀 수준 마스크를 통해)와 구조적 논리(엔드 투 엔드 읽기 순서를 통해)를 컴팩트한 실시간 아키텍처 내에 성공적으로 통합함으로써, 문서 레이아웃 분석의 새로운 벤치마크를 설정했다고 주장합니다. 기존의 박스 중심 패러다임을 넘어, 이 모델은 다양하고 왜곡되었으며 통제되지 않은 실제 환경의 문서에서 안정적으로 작동해야 하는 차세대 문서 지능 시스템을 위한 실질적인 토대를 제공합니다. 모델 가중치는 PaddleOCR 생태계에서 PP-DocLayoutV3로 공개되어 있습니다.