💬 NLP

FastOCR: Dynamic Visual Fixation via KV Cache Pruning for Efficient Document Parsing

FastOCR 은 비주얼-언어 모델에서 문서 파싱을 가속화하기 위해 시각적 주의의 시간적 희소성을 활용하여 각 디코딩 단계에서 KV 캐시 토큰을 동적으로 가지치기하고 재사용함으로써, 최소한의 정확도 손실로 상당한 지연 시간 감소를 달성하는 학습이 불필요한 프레임워크입니다.

원저자: Zihan Tang, Leqi Shen, Hui Chen, Ao Wang, Ben Wan, Yan Feng, Ke Zhang, Sicheng Zhao, Tongxuan Liu, Guiguang Ding

게시일 2026-05-19

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zihan Tang, Leqi Shen, Hui Chen, Ao Wang, Ben Wan, Yan Feng, Ke Zhang, Sicheng Zhao, Tongxuan Liu, Guiguang Ding

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대한 두꺼운 교과서 페이지를 초지능 로봇 도우미를 이용해 읽으려 한다고 상상해 보세요. 문제는 이 로봇이 문장의 다음 글자를 타이핑하는 동시에 페이지 전체에 있는 모든 단어, 글자, 그리고 먼지 한 알까지 정확히 동시에 보려고 한다는 점입니다.

이는 소방호스에서 물을 마시려는 것과 같습니다. 로봇은 압도당하게 되고, 속도가 매우 느려지며, 한 번에 한 단어만 읽어야 함에도 불구하고 방대한 양의 정보를 처리하는 데만 엄청난 에너지를 소모합니다.

이 논문인 FastOCR은 이러한 로봇이 문서를 훨씬 더 빠르고 지능적으로 읽을 수 있는 새로운 방식을 제시합니다. 이를 간단한 개념으로 나누어 설명하면 다음과 같습니다:

문제: "소방호스" 방식

현재의 AI 모델 (시각 - 언어 모델) 은 이미지에서 텍스트를 읽는 데 뛰어납니다. 하지만 문서를 볼 때 전체 페이지를 거대한 데이터 더미로 취급합니다. 그들은 모든 '시각 토큰 (이미지의 디지털 조각)'을 단기 기억에 유지하려고 시도합니다.

과거의 방식 (물리적 폐기): 일부 이전 방법들은 중요하지 않다고 생각한 이미지 부분을 영구히 버려 속도를 높이려 했습니다.
문서에서 실패하는 이유: 텍스트 페이지를 읽다가 "머리글처럼 보이니" 페이지 상단을 버리기로 결정했다고 상상해 보세요. 만약 필요한 텍스트가 실제로 그 머리글에 있거나 레이아웃이 복잡하다면, 정보는 영원히 사라집니다. 문서 읽기에서는 모든 픽셀이 중요합니다. 무언가를 버리는 것은 책에서 페이지를 찢어내는 것과 같습니다; 다시 붙일 수 없으며 이야기가 깨지게 됩니다.

해결책: "인간 독서" 방식

저자들은 흥미로운 사실을 발견했습니다: 인간은 로봇처럼 읽지 않습니다.
페이지를 읽을 때, 당신은 전체 페이지를 한 번에 응시하지 않습니다. 당신의 눈 (주시) 은 한 단어에 멈추고, 그 다음 단어, 그리고 그 다음 단어로 이동합니다. 당신은 어떤 순간에도 아주 작은 부분에만 집중하지만, 뇌는 다시 돌아볼 필요가 있다면 페이지의 나머지가 여전히 존재한다는 것을 알고 있습니다.

FastOCR 은 이러한 인간의 행동을 모방합니다. 아무것도 버리지 않고, 단지 로봇이 지금 무엇을 보는지만 바꿉니다.

FastOCR 의 작동 원리 (두 가지 마법)

이 시스템은 정확성을 잃지 않으면서 로봇의 효율성을 높이기 위해 두 가지 주요 트릭을 사용합니다:

1. "스포트라이트" 레이어 찾기 (초점 유도 가지치기)

AI 모델을 미스터리 (텍스트 읽기) 를 해결하기 위해 함께 일하는 30~40 명의 탐정 팀이라고 상상해 보세요.

통찰력: 연구자들은 모든 탐정이 이미지를 보는 데 똑같이 뛰어나지 않다는 것을 발견했습니다. 일부 탐정 (레이어) 은 텍스트를 보는 데 뛰어나지만, 몇몇 특정 탐정만이 시각적 세부 사항을 포착하는 '전문가'입니다.
트릭: FastOCR 은 이러한 '전문가 탐정들' ( 초점 레이어라고 함) 을 식별합니다.
- 전문가 탐정들은 지금 가장 중요한 단어를 찾기 위해 전체 페이지를 봅니다.
- 일반 탐정들 (나머지 팀) 은 전체 페이지를 볼 필요가 없습니다. 그들은 전문가들을 신뢰하고 전문가들이 지적한 작고 중요한 단어만 봅니다.
결과: 팀의 대부분이 전체 소방호스를 응시하는 대신 전문가가 강조한 특정 단어만 보기 때문에 막대한 양의 에너지를 절약합니다.

2. "단계별" 기억 (단계 간 주시 재사용)

"The quick brown fox..."라는 문장을 읽는다고 상상해 보세요.

"The"를 읽을 때, 당신의 눈은 첫 번째 단어에 있습니다.
"quick"을 읽을 때, 당신의 눈은 오른쪽으로 아주 조금 이동합니다.
"quick"을 찾기 위해 전체 페이지를 다시 스캔할 필요가 없습니다; 단지 한 초 전의 위치에서 시선을 약간 이동하면 됩니다.

FastOCR 은 이 논리를 사용합니다:

로봇이 한 단어를 읽으면, 정확히 어디를 보았는지에 대한 메모를 저장합니다.
바로 다음 단어에 대해서는 나머지 부분을 확인하기 전에 그 자리 (또는 그와 매우 가까운 곳) 에서 시작합니다.
로봇의 눈이 단어에서 단어까지 부드럽게 이동하기 때문에, 이 '웜 스타트 (warm start)'는 거의 항상 정확합니다. 이는 로봇이 매번 전체 검색을 수행해야 하는 부담을 덜어줍니다.

결과: 빠르고 정확함

이 논문은 여러 다른 AI 모델에서 이를 테스트한 결과 다음과 같은 사실을 발견했습니다:

속도: 로봇이 문서를 읽는 속도가 3 배 빨라졌습니다.
정확도: 원래 정확도의 98% 를 유지했습니다. 어떤 단어도 놓치거나 혼동하지 않았으며, 이는 어떤 단일 순간에도 이미지 데이터의 5% 만 보았음에도 불구하고 가능했습니다.
안전성: 데이터를 영구히 버린 구식 방법과 달리, FastOCR 은 전체 이미지를 메모리에 보관합니다. 단지 글자를 타이핑하는 순간 동안 대부분을 무시할 뿐입니다. 다시 돌아볼 필요가 있다면 데이터는 여전히 그곳에 있습니다.

결론

FastOCR 은 로봇에게 인간처럼 읽는 법을 가르치는 것과 같습니다: 한 번에 한 단어에 집중하고, 방금 어디에 있었는지에 대한 기억을 신뢰하며, 작은 부분만 봐야 할 때 전체 페이지를 응시하며 에너지를 낭비하지 마십시오. 이는 세부 사항을 정확히 파악하는 능력을 희생하지 않으면서 문서 읽기를 놀라울 정도로 빠르게 만듭니다.

기술 요약: FastOCR

문제 정의

비전 - 언어 모델 (VLM) 은 광학 문자 인식 (OCR) 에서 강력한 능력을 입증해 왔으나, 밀집된 문서 이미지를 처리할 때 prohibitively 높은 추론 비용을 겪습니다. 몇 개의 중요한 패치만으로 충분한 일반적인 시각 이해 작업과 달리, OCR 은 모든 문자를 충실하게 전사해야 하므로 방대한 수의 시각 토큰이 필요합니다. 이러한 밀도는 시퀀스 길이에 따라 잘 확장되지 않는 2 차 (quadratic) 어텐션 비용으로 이어집니다.

기존의 KV 캐시 가지치기 (pruning) 방법들은 **물리적 폐기 (physical eviction)**에 의존하여, 프리필 (prefill) 또는 인코딩 단계 동안 시각 토큰을 영구적으로 폐기합니다. 이는 의미적 중복성이 있는 자연 이미지에 효과적이지만, OCR 에는 근본적으로 결함이 있습니다. 문서 이미지는 정보 밀도가 높기 때문에, 작은 패치 하나를 폐기하더라도 문자 수준의 정보가 되돌릴 수 없이 파괴되어 치명적인 정확도 저하 (예: "Classic Boat Museum"을 "Glassed Bottle Museum"으로 잘못 읽는 경우) 를 초래합니다. 현재 방법들은 이미지 콘텐츠의 정적 특성과 인간의 독서가 갖는 동적, 순차적 특성을 구분하지 못합니다.

방법론: FastOCR

저자들은 FastOCR을 제안합니다. 이는 전역 가지치기를 지역적, 동적 문제로 재정의함으로써 VLM 기반 문서 파싱을 가속화하는 학습이 불필요한 (training-free) 프레임워크입니다. 핵심 통찰력은 **동적 시각 고정 (Dynamic Visual Fixation)**의 관찰입니다. 문서 이미지는 전역적으로 밀집되어 보이지만, 모델의 어텐션은 시간적으로 희소합니다. 각 디코딩 단계에서 모델은 점진적으로 이동하는 작은 영역에 집중하며, 이는 인간 독자가 전체 페이지를 한 번에 인식하는 대신 successive 단어에 고정되는 방식과 유사합니다.

FastOCR 은 완전한 KV 캐시를 유지하면서 각 단계에서 어떤 토큰에 주의를 기울일지 동적으로 선택함으로써 영구적인 정보 손실을 피합니다. 이는 두 개의 상호 보완적인 모듈로 구성됩니다:

1. 초점 유도 가지치기 (Focal-Guided Pruning, FGP)

FGP 는 각 디코딩 단계에서 모델이 어디를 보는지 결정합니다. 이는 이미지 어텐션이 트랜스포머 레이어 간에 매우 불균일하다는 관찰에 기반합니다.

초점 레이어 선택 (Focal Layer Selection): 경량 워밍업 단계 ( $w$ 단계) 동안 시스템은 각 레이어의 이미지 - 어텐션 비율을 프로파일링합니다. 이미지 토큰에 높은 집중도를 보이는 소수의 고정된 **초점 레이어 (focal layers, $C$ )**를 식별합니다. 주목할 점은, 일반적인 이미지 이해에서는 어텐션이 얕은 반면, OCR 의 초점 레이어는 네트워크의 중반 및 후반부에 위치한다는 것입니다.
교차 레이어 전파 (Cross-Layer Propagation): 이후 모든 디코딩 단계에서, 초점 레이어만이 완전한 KV 캐시를 통해 상위 어텐션 이미지 토큰 (유지 비율 $\tau$ 기반) 을 선택합니다. 이 선택은 모든 비초점 레이어로 전파되어, 해당 레이어들이 가지치기된 토큰 집합에만 주의를 기울이도록 합니다. 이는 시각 이해에 기여도가 낮은 레이어들에서의 불필요한 전체 시퀀스 어텐션을 방지합니다.

2. 교차 단계 고정 재사용 (Cross-Step Fixation Reuse, CSFR)

CSFR 은 모델의 고정이 시간적으로 어떻게 이동하는지 안내합니다.

메커니즘: 연속된 디코딩 단계 간에 주의를 기울이는 영역이 점진적으로만 이동하므로, 이전 단계에서 선택된 초점 토큰은 현재 단계에 대한 강력한 사전 지식 (prior) 역할을 합니다.
구현: 새로운 단계가 시작될 때, 첫 번째 레이어가 비초점 레이어인 경우 (이는 흔한 일임), 이전 단계의 가장 깊은 초점 레이어 ( $F_{last}$ ) 에서의 초점 토큰 집합을 "웜 스타트 (warm start)"로 물려받습니다. 이를 통해 모델은 즉시 전체 캐시를 스캔하지 않고도 효율적으로 어텐션을 초기화할 수 있으며, 첫 번째 초점 레이어에 도달하자마자 선택을 정제합니다.

주요 기여

동적 시각 고정의 식별: 본 논문은 VLM 기반 OCR 이 문서 이미지가 전역적으로 밀집되어 있지만 어텐션 측면에서는 시간적으로 희소하다는 현상을 보인다는 것을 확립합니다. 이는 가지치기 과제를 정적 전역 선택에서 동적 지역 선택으로 재정의합니다.
FastOCR 프레임워크: FGP 와 CSFR 을 결합한 학습 불필요, 플러그 - 앤 - 플레이 모듈을 제안합니다. 이는 완전한 KV 캐시를 온전하게 유지하면서 미래의 재선택을 위해 동적으로 시각 토큰의 작은 부분집합에만 주의를 기울임으로써, 물리적 폐기의 되돌릴 수 없는 정보 손실을 방지합니다.
일반화 및 효율성: 광범위한 실험을 통해 FastOCR 이 다양한 크기와 아키텍처를 가진 다섯 가지 VLM(Qwen2.5-VL, dots.ocr, DeepSeek-OCR, olmOCR, LLaVA-OneVision 포함) 에서 일반화됨을 입증했습니다.

실험 결과

저자들은 FastOCR 을 OmniDocBench와 olmOCR-Bench에서 평가하여 물리적 폐기 기반선 (FastV, VisionZip, H2O, PyramidKV) 과 비교했습니다.

정확도 유지: Qwen2.5-VL 에서 FastOCR 은 디코딩 단계당 시각 토큰의 **5%**에만 주의를 기울이면서도 가지치기되지 않은 모델의 정확도 **98%**를 유지합니다. 반면, 물리적 폐기 기반선들은 치명적인 저하를 겪어, 표 인식 (TEDS) 및 읽기 순서 작업에서 종종 거의 제로에 가까운 성능으로 떨어집니다.
지연 시간 감소: FastOCR 은 Qwen2.5-VL 에서 어텐션 지연 시간을 3.0 배 줄이고 엔드 - 투 - 엔드 디코딩 속도를 1.4 배 향상시킵니다. 어텐션 지연 시간의 속도 향상은 가지치기가 메모리 접근 비용을 줄이기 때문에 발생하며, 이는 메모리 바운드 (memory-bound) 디코딩 환경에서 지배적입니다. 이는 이론적 FLOPs 감소분을 초과합니다.
강건성: 이 방법은 다양한 모델과 문서 유형 (텍스트, 수식, 표) 에서 효과적으로 유지되는 반면, FastV 및 H2O 와 같은 기반선들은 밀집된 문서 작업에서 유용성을 유지하지 못합니다.

중요성 및 주장

본 논문은 FastOCR 이 OCR 을 위한 KV 캐시 가지치기 접근 방식에 근본적인 변화를 가져온다고 주장합니다. 물리적 폐기(영구적 폐기)에서 동적 선택(완전 캐시 유지를 통한 임시 가지치기) 으로 전환함으로써, 밀집된 문서 파싱에 내재된 효율성과 정확도 간의 트레이드오프를 해결합니다.

저자들은 FastOCR 이 플러그 - 앤 - 플레이 가속 모듈로 배포될 수 있는 학습 불필요 솔루션임을 강조합니다. 그들은 한계를 인정하며, 피크 메모리 소비량은 가지치기되지 않은 모델과 비교할 수 있게 유지된다는 점 (완전 캐시가 유지되므로) 과 현재 분석은 밀집된 문서 파싱에 특화되어 있음을 지적합니다. 다만, 근본적인 "동적 시각 고정" 현상은 다른 정보 밀집형 비전 - 언어 작업으로 확장될 수 있습니다. 이 연구는 향후 방향으로는 적응형 레이어 선택 및 장면 텍스트 인식이나 차트 이해와 같은 다른 작업에의 적용을 포함할 수 있음을 시사합니다.