기술 요약: Unlimited OCR

1. 문제 정의

현재의 엔드 투 엔드(end-to-end) 광학 문자 인식(OCR) 모델들은, 설령 디코더로 대규모 언어 모델(LLM)을 활용하더라도, 장기적 호라이즌 파싱 작업(예: 단 한 번의 순방향 패스(forward pass)로 수십 페이지를 전사하는 작업)에서 심각한 한계에 직면해 있습니다.

• 메모리 및 효율성 병목 현상: 표준 어텐션 메커니나즘은 출력 시퀀스 길이가 길어짐에 따라 키-값(KV) 캐시가 선형적으로 증가하는 것을 요구합니다. 시퀀스가 길어질수록 이는 무제한적인 메모리 소비와 어텐션 연산 비용 증가로 인한 점진적인 생성 속도 저하를 초래합니다.
• "For-Loop" 우회 방식: 기존 모델들은 일반적으로 문서를 페이지 단위로 루프를 돌며 처리하고, 각 단계마다 메모리를 초기화합니다. 이는 작업을 외부 스케줄러에 의해 관리되는 고립된 단기 호라이즌 문제들로 파편화하며, 긴 텍스트를 전사할 때 인간이 보여주는 연속적인 인지 상태를 모사하는 데 실패합니다.
• 시각적 충실도 vs 상태 전이: 선형 어텐션 메커니즘은 복잡도를 줄여주지만, 종종 시각적 토큰에 대해 재귀적 상태 업데이트를 적용합니다. 이는 시각적 특징의 "점진적 흐림(progressive blurring)"을 유발하여 인식 정확도를 저하시킵니다.

2. 방법론

본 논문은 긴 호라이즌 복사 작업을 수행할 때 인간의 작업 기억(working memory)을 모사하도록 설계된 모델인 Unlimited OCR을 제안합니다. 이 모델은 DeepSeek OCR 베이스라인을 기반으로 하며, 고압축 인코더는 유지하되 디코더의 어텐션 메커니즘을 근본적으로 변경했습니다.

핵심 아키텍처

• 베이스라인: 16배의 토큰 압축률을 달abytes 위해 계층적 ViT 구조(SAM-ViT + CLIP-ViT)를 사용하는 DeepSeek OCR의 DeepEncoder를 사용합니다. 이는 시각적 토큰이 한 번 인코딩되면 정적으로 유지되도록 보장하여, 입력 측에서의 상태 전이 필요성을 제거합니다.
• 디코더: 총 파라미터 3B, 활성화 파라미터 500M인 혼합 전문가(Mixture-of-Experts, MoE) LLM을 사용합니다.
• 핵심 혁신: 디코더 내의 모든 표준 멀티 헤드 어텐션(MHA) 레이어를 **참조 슬라이딩 윈도우 어텐션(Reference Sliding Window Attention, R-SWA)**으로 교체하였습니다.

참조 슬라이딩 윈도우 어텐션 (R-SWA)

R-SWA는 크기가 $m + n$인 두 개의 세그먼트 윈도우 내로 어텐션을 제한하는 범용 파싱 어텐션 메커니즘입니다.

1. 참조 세그먼트 ($P$): 모든 접두사(prefix) 토큰(시각적 토큰 및 프롬프트)을 포함합니다. 이 세그먼트는 고정된 크기($L_m$)를 가지며 이후의 모든 토큰에 대해 전역적으로 가시적입니다. 결정적으로, 이 토큰들은 상태 전이를 거치지 않으므로 시각적 충실도를 보존합니다.
2. 디코드 세그먼트 ($D_n$): 이전에 생성된 출력 토큰들에 대한 고정 폭 $n$(기본값 128)의 인과적(causal) 슬라이딩 윈도우입니다.

메커니즘:

• 각 생성된 토큰은 모든 참조 토큰(시각 정보 + 프롬프트)과 직전 $n$개의 출력 토큰을 참조합니다.
• KV 캐시 관리: 전체 시퀀스 길이 $T$에 따라 캐시 크기가 $L_m + T$로 증가하는 표준 MHA와 달리, R-SWA는 일정한 크기 $L_m + n$의 캐시를 유지합니다. 캐시는 새로운 토کن이 추가될 때 가장 오래된 생성 토큰의 KV 쌍이 제거되는 큐(queue) 역할을 합니다.
• 결과: 이 설계는 메모리 사용량과 연산 비용을 전체 출력 길이로부터 분리하여, 처리하는 페이지 수와 관계없이 일정한 레이턴시와 메모리 풋프린트를 가능하게 합니다.

3. 주요 기여

1. R-SWA 알고리즘: 시각적 토큰에 대한 완전한 가시성과 생성된 토큰에 대한 제한된 인과적 윈도우를 결합한 새로운 어텐션 메커니즘을 도입했습니다. 이는 시각적 특징을 흐리게 하지 않으면서 선형 복잡도 어텐션을 달성합니다.
2. Unlimited OCR 모델: DeepSeek OCR을 기반으로 구현되었으며, 단 한 번의 순방향 패스로 수십 페이지의 문서를 성공적으로 파싱합니다. 이는 표준 32K 최대 길이 제약 조건 하에서도 작동합니다.
3. 성능 향상: 표준 어텐션을 R-SWA로 교체하는 것이 효율성 이득뿐만 아니라 정확도 향상도 가져온다는 것을 입증하였으며, 이는 "부드러운 망각(soft forgetting)" 메커니즘이 OCR 작업과 잘 부합함을 시사합니다.
4. 일반화 가능성: 본 논문은 R-SWA가 OCR을 넘어 자동 음성 인식(ASR) 및 번역과 같은 다른 참조 기반 장기 호라이즌 작업에도 적용 가능하다고 주장합니다.

4. 실험 결과

벤치마크 및 지표

모델은 OmniDocBench(v1.5 및 v1.6)와 자체 개발한 장기 호라이즌 테스트 세트에서 평가되었습니다. 지표로는 Text Edit Distance, Formula CDM, Table TEDS, Reading Order Edit Distance가 사용되었습니다.

주요 발견

• OmniDocBench v1.5: Unlimited OCR은 전체 점수 **93.23%**를 기록하여, DeepSeek OCR 베이스라인(87.01%)보다 6.22 포인트 높은 성능을 보였습니다. 또한 DeepSeek OCR 2 베이스라인을 능가했습니다.
• OmniDocBench v1.6: 전체 점수 **93.92%**로 새로운 SOTA를 달성하였으며, FireRed-OCR 및 Qianfan-OCR과 같은 다른 엔드 투 엔드 모델들을 앞질렀습니다.
• 하위 카테고리 분석: PPT, 학술 논문, 도서 등 9가지 모든 문서 유형에서 일관된 개선을 보였으며, 베이스라인 대비 불리한 지표를 보인 항목은 없었습니다.
• 장기 호라이즌 파싱:
  • 모델은 40페이지 이상의 입력을 단 한 번의 패스로 성공적으로 처리했습니다.
  • 40페이지 이상의 길이에서도 Edit Distance는 0.11 미만을 유지했으며, Distinct-35는 **96.90%**를 기록했습니다.
  • 극단적인 길이에서의 오류는 어텐션 메커니즘의 방향 상실보다는 "Base" 인코더 모드(1024×1024)의 해상도 제한에 주로 기인했습니다.

효율성 분석

• 처리량 (TPS): 두 모델 모두 짧은 길이(256 토큰)에서는 유사한 성능을 보이지만, Unlimited OCR은 시퀀스 길이가 증가해도 일정한 처리량(~7,800 TPS)을 유지합니다. 반면, DeepSeek OCR은 KV 캐시 증가로 인해 시퀀스 길이가 6,000 토큰에 도달할 때 처리량이 약 35% 급격히 감소합니다.
• 레이턴시: Flash Attention 커널의 호출당 지속 시간은 Unlimited OCR의 경우 일정하게 유지되는 반면, 베이스라인의 경우 선형적으로 증가합니다.

5. 의의 및 주장

본 논문은 Unlimited OCR이 공학적 우회책(페이지별 루프)에서 벗어나, 보다 AGI에 부합하는 인지 아키텍처를 향한 원샷(one-shot) 장기 호라이즌 파싱으로의 전환을 나타낸다고 주장합니다.

• 인간과 유사한 효율성: 소스(시각 정보)와 최근의 맥락은 유지하면서 먼 과거의 출력은 "부드럽게 망각"하는 인간의 작업 기억을 모방함으로써, 작업 길이에 따라 성능이 저하되지 않는 효율성을 달성했습니다.
• 손실 없는 최적화: 저자들은 R-SWA가 정확도를 높이는 동시에 메모리와 연산 비용을 획기적으로 줄여주는 "공짜 점심(free lunch)"이라고 단언합니다.
• 미래 잠재력: 본 연구는 어텐션 연산과 메모리 풋프린트가 더 이상 장기 호라이즌 파싱의 주요 병목 현상이 아님을 시사합니다. 저자들은 R-SWA를 ASR 및 번역으로 확장하고, 진정한 무제한 컨텍스트 길이를 위해 인간의 페이지 넘기기를 시뮬레이션하는 "prefill pool"을 탐구할 계획입니다.

인정된 한계점:
현재 구현은 여전히 프리필(prefill) 길이에 제약을 받습니다(32K 컨텍스트 윈도우 및 DeepEncoder의 압축에 의해 제한됨). 진정한 의미의 "무제한" 파싱(예: 컨텍스트 제한 없는 책 전체)을 위해서는 더 긴 컨텍스트 학습(128K+)과 동적 프리필 페칭(dynamic prefill fetching) 메커니즘에 대한 향후 연구가 필요합니다.