기술 요약: 효율적인 문서 인식을 위한 접두사 적응형 블록 확산

1. 문제 제기

문서 파싱은 문서 이미지를 기계가 읽을 수 있는 형식 (예: LaTeX, HTML, Markdown) 으로 변환하는 작업을 필요로 합니다. autoregressive 모델 (ARM) 은 상당한 진전을 이루었지만, 엄격한 토큰 단위 생성 패러다임으로 인해 추론 효율성이 제한됩니다. 이를 해결하기 위해 최근 연구는 병렬 생성 패러다임, 특히 **블록 확산 모델 (BDM)**을 탐구해 왔습니다. BDM 은 블록 내에서 토큰을 병렬로 제거 (denoising) 하는 동시에 블록 단위로 autoregressive 방식으로 생성하여 유연한 길이 출력과 KV 캐싱을 제공합니다.

그러나 저자들은 구조에 민감한 문서 인식에 표준 BDM 을 적용할 때 두 가지 중요한 한계를 발견했습니다:

1. 고정된 블록 단위 확정 (Fixed Block-Level Commitment): 표준 BDM 은 제거 작업과 KV 캐시 확정을 고정된 블록 경계에 묶어둡니다. 토큰은 전체 블록이 완료될 때까지 캐싱될 수 없으므로, 신뢰할 수 있는 중간 예측의 프롬프트 재사용이 불가능합니다. 또한, 블록 내 제거 작업이 진행됨에 따라 남은 마스킹 토큰 수가 감소하여 효과적인 병렬 디코딩 공간이 축소됩니다.
2. 일관되지 않은 정보 흐름: 표준 BDM 은 블록 내에서는 양방향 제거를 사용하지만 블록 간에는 왼쪽에서 오른쪽으로의 autoregression 을 유지합니다. 이로 인해 정보 흐름이 불일치하게 됩니다. 공식과 표와 같이 이산적인 토큰 시퀀스의 정밀한 재구성이 필요한 작업의 경우, 이러한 양방향 컨텍스트는 엄격한 구조적 경계와 토큰 순서와 충돌하여 구조적 생성 오류를 초래할 수 있습니다.

2. 방법론: 접두사 적응형 블록 확산 모델 (PA-BDM)

저자들은 PA-BDM을 제안했습니다. 이는 '블록'의 역할을 고정된 생성 단위가 아닌 최대 후보 생성 범위로 재정의하는 프레임워크입니다. 핵심 구성 요소는 다음과 같습니다:

A. 인과적 블록 내 제거 (Causal Intra-Block Denoising)

블록 내에서 양방향 어텐션을 사용하는 표준 BDM 과 달리, PA-BDM 은 각 후보 블록 내에서 **인과적 제거 (prefix-to-suffix)**를 적용합니다.

• 메커니즘: 블록 내의 토큰은 이전 블록들과 현재 블록 내의 왼쪽 컨텍스트에만 어텐션합니다.
• 이점: 이는 블록 내 정보 흐름을 블록 간 autoregression 과 정렬시켜, 블록 내에서 생성된 신뢰할 수 있는 접두사가 KV 캐시 재사용에 유효하도록 보장합니다.

B. 신뢰도 게이트 구조적 손실 (Confidence-gated Structural Loss, CSL)

훈련 중 인과적 제거를 지원하기 위해 PA-BDM 은 감독 노이즈를 관리하기 위해 CSL 을 도입합니다.

• 문제: 인과적 제거에서 후속 마스킹 토큰은 이전 토큰에 의존합니다. 초기 토큰이 불확실 (높은 엔트로피) 한 경우, 전체 접미사를 감독하면 노이즈가 많은 기울기가 발생합니다.
• 해결책: CSL 은 예측된 토큰의 신뢰도를 계산합니다. 마스킹된 접미사에서 신뢰도가 임계값 $\tau$ 미만으로 떨어지는 첫 번째 위치를 식별합니다. 감독은 이 '학습 전선'까지만 적용됩니다. 이 전선 오른쪽의 위치는 손실 계산에서 제외됩니다.
• 훈련 전략: 이는 모델이 더 긴 연속으로 확장하기 전에 저엔트로피이고 신뢰할 수 있는 구조적 접두사를 구축하도록 장려합니다.

C. 점진적 접두사 확정 (Progressive Prefix Commitment, PPC)

추론 중 PA-BDM 은 PPC 를 활용하여 생성과 캐싱을 동적으로 관리합니다.

• 과정:
  1. 모델은 크기 $D$(예: 32 토큰) 의 후보 범위를 예측합니다.
  2. PPC 는 예측을 왼쪽에서 오른쪽으로 스캔하여 모든 토큰이 신뢰도 임계값 $\tau$를 초과하는 가장 긴 연속 접두사를 식별합니다.
  3. 이 신뢰할 수 있는 접두사는 즉시 KV 캐시에 **확정 (committed)**됩니다.
  4. 해결되지 않은 접미사는 폐기되고, 다음 후보 범위는 새로 확정된 접두사부터 다시 시작됩니다.
• 이점: 이는 각 단계에서 넓은 병렬 디코딩 공간을 복원하여 (표준 BDM 의 축소되는 공간을 방지) 적시에 KV 캐시 재사용을 가능하게 하므로 처리량을 크게 향상시킵니다.

3. 주요 기여

1. 한계 식별: 본 논문은 고정된 블록 단위 확정과 불일치하는 블록 내/블록 간 정보 흐름을 구조에 민감한 문서 인식에서 BDM 의 주요 병목 현상으로 지목합니다.
2. PA-BDM 프레임워크: 블록 크기를 고정된 확정 단위가 아닌 최대 후보 범위로 취급하고, 인과적 블록 내 모델링을 활용하여 적응형 생성을 가능하게 하는 새로운 프레임워크입니다.
3. PPC 메커니즘: 신뢰할 수 있는 접두사를 동적으로 확정하여 즉각적인 KV 캐시 재사용을 가능하게 하고, 병렬성을 회복하기 위해 후보 범위를 재설정하는 디코딩 전략입니다.
4. CSL 목적 함수: 접두사 신뢰도에 따라 감독을 적응시키는 훈련 손실로, 불안정한 접두사 상태에서 발생하는 노이즈가 많은 기울기를 줄입니다.

4. 실험 결과

저자들은 텍스트, 공식, 표, 다이어그램 인식 벤치마크에서 DiffusionVL, MinerU-Diffusion 및 autoregressive 모델 (예: Qwen2.5-VL, Dolphinv2) 을 포함한 다양한 베이스라인과 PA-BDM(3B 파라미터) 을 평가했습니다.

• 정확도: PA-BDM 은 대부분의 벤치마크에서 확산 기반 모델 중 최고의 성능을 달성했습니다. 특히 복잡한 공식 인식 (예: CPE 및 HWE 하위 집합) 에서 두드러진 개선을 보이며 DiffusionVL 과 MinerU-Diffusion 을 능가했습니다.
• 효율성: PA-BDM 은 2.5B MinerU-Diffusion 베이스라인 대비 추론 처리량을 71.6% 향상시켰습니다 (초당 267.2 토큰 대 155.7 토큰). 비교 대상 ARM 인식기 대비 약 8 배 높은 처리량을 달성했습니다.
• 메모리: 효율성 향상에도 불구하고 PA-BDM 은 다른 3B 규모 모델과 비교 가능한 피크 GPU 메모리를 유지합니다.
• Ablation 연구:
  • 인과적 vs 양방향: 구조적 작업 (공식, 표) 에서 인과적 블록 내 모델링이 양방향 모델링보다 우수한 성능을 보였으며, 이는 양방향 컨텍스트가 구조적 무효성을 초래할 수 있음을 시사합니다.
  • CSL: CSL 로 훈련된 모델은 표준 Cross-Entropy 또는 무작위 마스킹을 사용한 모델보다 높은 정확도와 처리량을 보여주어, CSL 이 더 긴 신뢰할 수 있는 접두사를 성공적으로 학습함을 나타냅니다.
  • PPC: 적응형 확정은 고정 길이 확정 전략보다 크게 우월하여 정확도와 병렬성을 효과적으로 균형 잡았습니다.

5. 의의 및 주장

본 논문은 PA-BDM 이 기존 확산 기반 베이스라인에 비해 문서 파싱에 있어 우수한 속도–정확도 트레이드오프를 제공한다고 주장합니다. 블록을 후보 범위로 취급하고 신뢰할 수 있는 접두사를 확정함으로써 PA-BDM 은 병렬 생성 효율성과 문서 인식의 엄격한 구조적 요구 사항 사이의 긴장을 해소합니다.

저자들은 그들의 접근 방식이 토큰 순서와 구조적 경계가 중요한 구조에 민감한 작업(LaTeX, HTML, Mermaid) 에 특히 효과적임을 강조합니다. 그들은 이 방법이 효율성을 크게 개선하지만, 현재 평가는 주로 영어 중심의 오픈 소스 데이터셋에서 수행되었음을 지적합니다. 더 복잡한 다국어 시나리오 (예: 중국어 공식, 혼합 레이아웃) 로의 일반화는 향후 연구 영역으로 남아 있으며, 이러한 시나리오는 더 풍부한 문자 집합과 더 복잡한 구조적 종속성을 포함하여 신뢰할 수 있는 접두사 모델링에 도전이 될 수 있습니다.

이 연구는 신뢰할 수 있는 접두사 모델링이 고정된 블록 제약에서 벗어나 적응형, 신뢰도 기반 생성으로 이동함으로써 확산 기반 문서 인식의 효율성을 개선하는 효과적인 방향임을 시사합니다.