기술 요약: HPD-Parsing

1. 문제 정의

문서 파싱은 정보 추출, 문서 검색, 그리고 검색 증강 생성(RAG)과 같은 다운스트림 애플리케이션을 위한 핵심 구성 요소입니다. 최근의 시각-언어 모델(VLM)은 레이아웃 분석과 콘텐츠 인식을 통합함으로써 파싱 정확도를 개선했지만, 심각한 추론 비효율성 문제를 겪고 있습니다.

기존의 통합 파서들은 일반적으로 전체 페이지를 단일 순차적 궤적으로서 토큰 단위로 생성하는 전체 페이지 자기회귀 생성(full-page autoregressive generation) 방식에 의존합니다. 이 접근 방식은 문서 길이에 따라 선형적으로 증가하는 순차적 병목 현상을 발생시킵니다. 프로파일링 결과, 긴 문서의 경우 디코더 지연 시간이 시각적 인코딩 지연 시간보다 거의 500배 더 큰 것으로 나타났습니다. 이러한 직렬 생성 프로세스는 높은 추론 지연 시간과 제한된 처리량을 초래하여, 대규모 문서 파싱 워크로드의 효율성 요구 사항을 충족하기 어렵게 만듭니다.

시각적 토큰을 압축하거나 영역 내 병렬성을 높이는 것과 같은 기존의 가속화 전략들은 문제의 특정 측면을 다루기는 하지만, 전체 페이지 생성 패러다임을 근본적으로 재구조화하지는 못합니다.

2. 방법론: HPD-Parsing

저자들은 계층적 병렬 디코딩(Hierarchical Parallel Decoding, HPD) 패러다임에 기반한 고처리량 문서 파서인 HPD-Parsing을 제안합니다. 핵심 통찰은 문서 파싱이 레이아웃과 읽기 순서를 위해 전역적인 조율을 필요로 하지만, 특정 영역의 세부 콘텐츠는 대체로 국지적이며 먼 영역과의 의존성이 제한적이라는 점입니다.

2.1 계층적 병렬 디코딩 (HPD)

HPD-Parsing은 단일 자기회귀 궤적 대신, 생성을 두 단계의 계층 구조로 재구조화합니다:

• 메인 레이아웃 브랜치(Main Layout Branch): 이 브랜치는 전역적 조율을 수행하여 문서의 공간적 구조, 영역 관계, 읽기 순서를 설정합니다. 이는 레이아웃 토큰(카테고리, 좌표)과 라우팅 토큰(<FORK>)을 포함하는 구조화된 시퀀스를 생성합니다.
• 동시 콘텐츠 브랜치(Concurrent Content Branches): <FORK> 토큰이 방출되면, 시스템은 독립적인 콘텐츠 브랜치를 동적으로 생성합니다. 각 브랜치는 특정 레이아웃 영역의 국지적 콘텐츠를 디코딩하는 책임을 집니다.
• 공유 접두사 KV 캐시 재사용(Shared-Prefix KV Cache Reuse): 콘텐츠 브랜치는 메인 브랜치가 포킹 지점까지 생성한 시각적 컨텍스트와 구조적 접두사(레이아웃 토큰)를 재사용합니다. 이를 통해 각 영역에 대한 중복 계산과 문서 이미지의 재인코딩을 방지합니다.
• 컨텍스트 격리(Context Isolation): 모든 토큰이 이전의 전체 시퀀스에 어텐션을 주는 전체 페이지 자기회귀 모델과 달리, HPD-Parsing의 각 콘텐츠 브랜치는 공유된 시각적 컨텍스트, 자신의 특정 구조적 접두사, 그리고 자신의 국지적 생성 이력에만 어텐션을 수행합니다. 이는 유효 어텐션 범위(attention horizon)와 단계별 계산량을 크게 줄여줍니다.

2.2 점진적 다중 토큰 예측 (P-MTP)

각 브랜치(레이아웃 및 콘텐츠 모두) 내의 디코딩을 더욱 가속화하기 위해, HPD-Parsing은 **점진적 다중 토큰 예측(Progressive Multi-Token Prediction, P-MTP)**을 통합합니다.

• 경량 잔차 MLP가 각 디코딩 단계에서 여러 개의 미래 토큰을 예측합니다.
• 예측 가능한 룩어헤드 깊이가 깊어질수록 신뢰할 수 있는 투기적 궤적에 더 높은 가중치를 할당하는 점진적 가중치 부여 전략을 사용하여 예측을 안정화합니다.
• 추론 과정에서 브랜치는 여러 토큰을 초안(draft)하고, 병렬로 검증하며, 한 단계당 여러 토큰을 수락합니다(평균 수락 길이 6.6개 토큰). 이는 디코딩 반복 횟수를 실질적으로 줄여줍니다.

2.3 모델 아키텍처

HPD-Parsing은 InternVL3.5-1B 백본을 기반으로 구축되었습니다:

• 시각적 인코더(Visual Encoder): 고해상도 디테일을 보존하기 위해 동적 타일 기반 크로핑을 사용하는 InternViT (0.3B 파라미터).
• LLM 디코더(LLM Decoder): 28개의 트랜스포머 레이어, 그룹 쿼리 어텐션(GQA), SwiGLU 활성화 함수를 갖춘 Qwen3-0.6B (0.8B 파라미터)를 변형함.

2.4 학습 전략: 단계적 적응 및 데이터 큐레이션

기존의 자기회귀 파싱에서 정확도 저하 없이 계층적 병렬 디코딩으로 전환하기 위해, 저자들은 자동화된 난이도 인식 데이터 큐레이션 파이프라인에 의해 지원되는 3단계 학습 전략을 채택합니다:

1. 1단계 (용량 초기화): 일반적인 파싱 능력(텍스트 인식, 레이아웃 이해)을 습득하기 위해 전통적인 전체 페이지 시퀀스로 모델을 학습시킵니다.
2. 2단계 (패러다임 전환): 모델을 계층적 형식에 적응시킵니다. 데이터는 전역 레이아웃 인스턴스와 국지적 콘텐츠 인스턴스로 재구성됩니다. 유효성 마스크(validity mask)를 통해 콘텐츠 브랜치가 <CHILD> 토큰 이후의 전사(transcription)에 대해서만 감독을 받도록 보장합니다. 이 단계는 새로운 디코딩 형식을 학습하고 까다로운 사례에 최적화하는 데 집중합니다.
3. 3단계 (보상 가이드 최적화): 태스크 관련 보상을 사용하여 일관성을 개선하고 실패하기 쉬운 동작(예: 수식 품질, 테이블 파싱)을 교정하기 위해 경량 강화 학습을 적용합니다.

데이터 큐레이션 파이프라인은 특징 기반 클러스터링, 다중 모델 주석(PaddleOCR-VL 및 MinerU 사용), 난이도 추정, 까다로운 샘플에 대한 VLM 기반 정제, 그리고 다양한 학습 데이터를 보장하기 위한 분포 균형화를 포함합니다.

3. 주요 기여

1. 계층적 병렬 디코딩 패러다임: 전체 페이지 생성을 전역적으로 조율되고 국지적으로 병렬화된 디코딩으로 재구조화하는 HPD를 도입했습니다. 이 방식은 공유 접두사 KV 캐시 재사용 및 P-MTP와 결합되어, 브랜치 및 토큰 차원 모두에서 유효 순차 디코딩 경로를 단축합니다.
2. 자동 데이터 큐레이션을 통한 단계적 적응: 정확도를 유지하면서 자기회귀 능력을 병렬 패러다임으로 성공적으로 전이시키는 학습 프레임워크를 제공합니다. 이는 수동 주석 노력을 최소화하는 난이도 균형 잡힌 데이터를 큐레이션하는 자동화된 파이프라인에 의해 뒷받침됩니다.
3. 최첨단 효율성: HPD-Parsing은 경쟁력 있는 정확도를 유지하면서 전례 없는 처리량을 달ей, 문서 파싱이 전역 레이아웃 조율과 국지적 병렬 디코딩을 통해 효과적으로 실행될 수 있음을 입증했습니다.

4. 실험 결과

실험은 8대의 NVIDIA A800 GPU를 사용하여 OmniDocBench v1.6 벤치마크에서 수행되었습니다.

• 처리량(Throughput): HPD-Parsing은 **4,752 Tokens Per Second (TPS)**의 피크 처리량을 달성합니다.
  • 이는 가장 빠른 기존 문서 파싱 모델(GLM-OCR)보다 2.62배 빠릅니다.
  • 이는 자체 자기회귀 베이스라인(1B 파라미터 모델)보다 3.06배 빠릅니다.
• 정확도(Accuracy): 막대한 효율성 이득에도 불구하고, HPD-Parsing은 OmniDocBench v1.6에서 94.91의 종합 점수를 기록하며 경쟁력 있는 파싱 정확도를 유지합니다. 이는 더 큰 규모의 통합 모델(예: Qianfan-OCR, FireRed-OCR)보다 우수하며, 선도적인 파이프라인 기반 파서들과도 대등한 수준을 유지합니다.
• 스케일링 동작(Scaling Behavior): HPD-Parsing의 효율성 이점은 문서 길이에 따라 증가합니다. 가장 긴 출력 길이 버킷의 경우, 자기회귀 베이스라인과 비교하여 디코딩 단계를 최대 18.04배 감소시키고, 요청 처리량은 3.67배 높이며, 단일 요청 지연 시간은 5.80배 낮춥니다.
• 정성적 성능: 모델은 복잡한 수식, 밀집된 표, 까다로운 레이아웃(예: 신문, 퍼즐)을 처리하는 데 있어 견고함을 보여줍니다. 또한 전역 컨텍스트를 통해 탐지 오류에 대한 우수한 강건성을 보이고, 시각적으로 유사한 문자(예: '0' vs 'O')를 더 잘 구별하며, 문서 블록 간의 오류 전파를 방지합니다.

5. 의의

본 논문은 HPD-Parsing이 계층적 병렬 디코딩을 전면적인 페이지 자기회귀 생성의 유효하고 효과적인 대안으로 확립한다고 주장합니다. 문서 레이아웃은 전역적 조율이 필요하지만 콘텐츠는 국지적으로 근거한다는 구조적 특성을 활용함으로써, 현재의 통합 VLM 파서에 내재된 순차적 병목 현상을 깨뜨렸습니다.

저자들은 이 접근 방식이 효율적인 통합 문서 파싱을 위한 새로운 방향을 열어주며, 높은 처리량과 높은 정확도가 서로 배타적이지 않음을 증명한다고 보고 있습니다. 나아가, 전역적으로 조율되면서도 국지적으로 분해 가능한 구조의 원리가 다중 페이지 문서 이해 및 핵심 정보 추출과 같은 다른 구조화된 생성 작업으로 확장될 수 있음을 시사합니다.