💻 computer science

Reading or Reasoning? Format Decoupled Reinforcement Learning for Document OCR

이 논문은 복잡한 문서 OCR에서의 높은 출력 불확실성을 해결하기 위해 엔트로피 기반 데이터 필터링과 형식별 보상을 활용하는 새로운 접근 방식인 FD-RL(Format Decoupled Reinforcement Learning)을 제안하며, 이를 통해 OmniDocBench 벤치마크에서 90.41이라는 새로운 최고 점수를 달성하였다.

원저자: Yufeng Zhong, Lei Chen, Zhixiong Zeng, Xuanle Zhao, Deyang Jiang, Liming Zheng, Jing Huang, Haibo Qiu, Peng Shi, Siqi Yang, Lin Ma

게시일 2026-01-15

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yufeng Zhong, Lei Chen, Zhixiong Zeng, Xuanle Zhao, Deyang Jiang, Liming Zheng, Jing Huang, Haibo Qiu, Peng Shi, Siqi Yang, Lin Ma

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 지저열하고 복잡한 문서를 읽는 법을 가르치고 있다고 상상해 보세요. 이 문서는 단순한 편지가 아닙니다. 일반적인 단락, 복잡한 수학 방정식, 그리고 까다로운 표가 뒤섞인 형태입니다.

오랫동안 연구자들은 읽기란 단순히 단어를 명확하게 "보는" 것이라고 생각했습니다. 그들은 로봇이 사물을 어떻게 보이는지 더 잘 기억할 수 있도록 더 많은 예시(데이터 엔지니어링)를 주입하려고 노력했습니다. 하지만 이 논문의 저자들은 한 가지 문제점을 발견했습니다: 로봇은 문서에 구조가 많아지면 매우 혼란스러워한다는 것입니다.

다음은 그들의 발견과 해결책에 대한 쉬운 요약입니다:

1. 문제점: 로봇의 "혼란 측정기"

저자들은 로봇이 단순한 텍스트를 읽을 때는 매우 자신감이 넘친다는 것을 발견했습니다. 하지만 수학 공식이나 표를 마주하면, 로봇의 "자신감 측정기"(그들은 이를 엔트로피라고 부릅니다)가 급격히 떨어집니다. 이는 마치 학생이 시 한 구절은 쉽게 암송할 수 있지만, 미적분 문제를 풀거나 스프레드시트를 정리하라는 요청을 받으면 얼어붙는 것과 같습니다.

로봇은 다음 단어를 예측하려고 노력하지만, 공식을 쓰는 방법이나 표를 배치하는 방법이 너무 다양하기 때문에 길을 잃습니다. 결국 로봇은 무작위로 추측하기 시작하며, 이는 오류로 이어집니다.

2. 해결책: "포맷 디커플링 강화 학습" (Format Decoupled Reinforcement Learning, FD-RL)

단순히 더 많은 예시를 암기하도록 강요하는 대신, 저자들은 로봇에게 구조에 대해 생각하는 법을 가르쳤습니다. 그들은 이 방법을 FD-RL이라고 부릅니다.

이것은 요리사를 훈련시키는 것과 비슷합니다:

과거의 방식 (SFT): 당신은 요리사에게 백만 개의 레시피를 주며 "이것들을 외워라"라고 말합니다. 요리사는 레시피를 완벽하게 복사하는 법은 배우지만, 재료 목록이 약간만 달라져도 요리를 망칠 수 있습니다.
새로운 방식 (FD-RL): 당신은 요리사에게 케이크가 왜 부풀어 오르는지, 혹은 소스가 왜 걸쭉해지는지 그 이유를 가르칩니다. 당신은 그들에게 다양한 요리 유형에 따른 구체적인 규칙을 제공합니다.

3. 수행 방법 (2단계 훈련)

1단계: "SFT" (지도 미세 조정) - 기초 학습
먼저, 저자들은 로봇에게 텍스트, 공식, 표를 전반적으로 읽는 법을 가르치기 위해 방대한 양의 문서(책, PDF, 합성 데이터)를 입력했습니다. 이것은 로봇이 ABC와 기초 문법을 배우는 과정과 같습니다.

2단계: "RL" (강화 학습) - 전문적인 코칭
여기서 마법이 일어납니다. 그들은 로봇의 혼란을 해결하기 위해 두 가지 영리한 기술을 사용했습니다:

기술 A: "하드 모드" 필터 (엔트로피 기반 필터링)
모든 문서를 학습시키는 대신, 그들은 필터를 사용하여 가장 어렵고 혼란스러운 문서(엔트로피가 높은 문서)만을 골라냈습니다.
- 비유: 수학 선생님이 학생에게 쉬운 덧셈 문제 대신 복잡한 미적분 문제만 주는 상황을 상상해 보세요. 어려운 것에 집중함으로써, 학생은 단순히 추측하는 것이 아니라 혼란을 헤쳐 나가는 법을 배웁니다.
기술 B: "전문 심판" (포맷 디커플링 보상)
과거에는 로봇이 단 하나의 점수로 평가되었습니다: "단어를 맞게 썼는가?" 만약 로봇이 단어는 맞게 썼지만 표 구조를 잘못 배치했다면, 로봇은 여전히 낮은 점수를 받았지만 왜 틀렸는지는 알 수 없었습니다.

저자들은 채점 시스템을 바꿨습니다. 그들은 로봇에게 세 명의 서로 다른 심판을 주었습니다:
1. 텍스트 심판: 일반 단어의 철자가 맞는지 확인합니다.
2. 수학 심판: 공식이 수학적으로 타당한지 확인합니다 (기호가 약간 다르더라도).
3. 표 심판: 표의 행과 열이 제대로 정렬되었는지 확인합니다.

*비유:* 집을 짓고 있다면, 단순히 "집이 지어졌는가?"라고 묻지 않습니다. 배관공에게는 파이프를, 전기 기사에게는 전선을, 목수에게는 골조를 체크하게 합니다. 만약 골조가 비뚤어졌다면, 목수는 건축가에게 도장이 아닌 골조를 고치라는 구체적인 "나쁜 점수"를 줍니다.

4. 결과

이 방법을 통해 로봇은 복잡한 문서를 훨씬 더 잘 읽게 되었습니다.

그들은 OmniDocBench(까다로운 문서 1,355 페이지 포함)라는 유명한 벤치마크에서 테스트를 진행했습니다.
로봇은 90.41점을 기록하며, 모든 "엔드 투 엔드(end-to-end)" 모델(한 번에 모든 것을 처리하려는 모델들)을 제치고 승리했습니다.
특히 공식과 표에서의 "혼란"을 해결하는 데 탁-월한 성능을 보였으며, 이는 구조에 대해 추론하도록 가르치는 것이 단순히 더 많은 텍스트를 암기하게 하는 것보다 효과적임을 입증했습니다.

요약

이 논문은 복잡한 문서를 읽는 것은 단순히 텍스트를 "보는" 것이 아니라, 구조를 통해 추론하는 것이라고 주장합니다. 쉬운 예시를 걸러내고 텍스트, 수학, 표에 대해 별도의 구체적인 피드백을 제공함으로써, 저자들은 로봇이 단순히 추측하는 것을 멈추고 문서의 규칙을 이해하도록 가르쳤습니다.

기술 요약: 문서 OCR을 위한 포맷 디커플링 강화 학습 (Format Decoupled Reinforcement Learning)

1. 문제 정의

광학 문자 인식(OCR)은 오랫동안 연구의 중심이었으나, 기존의 고급 모델들은 포맷에 민적한(format-sensitive) 문서 콘텐츠를 처리할 때 여전히 상당한 한계를 보입니다. 저자들은 텍스트 읽기가 흔히 지각적 작업으로 간주되지만, 고급 OCR 모델들이 일반 텍스트와 비교했을 때 수식이나 표와 같은 구조적 요소를 다룰 때 높은 출력 불확실성(엔트로피)을 보인다는 점에 주목했습니다.

경험적 분석 결과, 포맷된 텍스트의 비율이 높은 문서 샘플은 추론 시 실질적으로 더 높은 토큰 엔트로피를 나타냅니다. 이러한 높은 엔트로피는 모델의 확신도가 낮음을 의미하며, 포맷된 텍스트가 다양한 의미론적 동등 경로(예: 동일한 수식에 대한 서로 다른 LaTeX 표현 방식)를 허용한다는 것을 시사합니다. 기존의 OCR 관련 강화 학습(RL) 시도들은 이러한 고엔트로피 포맷 영역에 대한 구체적인 설계 고려 사항이 부족하여, 토큰 수준의 암기를 넘어 포맷 수준의 추론으로 나아가지 못하고 있습니다.

2. 방법론

본 논문은 두 단계의 학습 패러다임인 지도 미세 조정(SFT)과 강화 학습(RL)을 통해 포맷 민감형 콘텐츠를 명시적으로 타겟팅하여 OCR 성능을 최적화하도록 설계된 포맷 디커플링 강화 학습(FD-RL) 프레임워크를 제안합니다.

2. 1 데이터 엔지니어링

강력한 학습을 지원하기 위해, 저자들은 세 가지 뚜렷한 출처를 통합하여 대규모의 포맷 풍부 코퍼스를 구축했습니다:

오픈 소스 데이터셋 강화: PDFA, DocGenome 등의 데이터셋에 대해 누락된 콘텐츠, 잘못된 읽기 순서, 반복 등을 품질 검사했습니다. 재주석(re-annotation)을 위해 경량 모델(GOT)을 사용하였고, 유사도 기반 필터링을 통해 고품질의 정답(ground truth)을 유지했습니다.
실제 PDF 구축: 다양한 PDF를 처리하여 레이아웃 인식(페이지 수준, 영역 수준, 다중 페이지) 및 콘텐츠 인식 주석을 생성했습니다. MinerU 및 dots.ocr와 같은 도구를 활용하여 구조화된 Markdown, LaTeX, HTML 출력을 생성했습니다.
합성 OCR 데이터 생성: 교육 및 학술 데이터의 부족을 해결하기 위해, 온라인 리소스(K12부터 대학원 STEM Q&A까지)로부터 합성 샘플을 생성했습니다. 이들은 현실적인 시각적 파라미터(폰트, 간격)를 가진 고해외 이미지로 렌더링되었으며 Markdown 라벨과 쌍을 이루었습니다.

2. 2 학습 전략

학습 파이프라인은 두 개의 뚜렷한 단계로 구성됩니다:

1단계: 지도 미세 조정 (SFT)
사전 학습된 시각-언어 모델(Qwen3-VL-4B)을 종합적인 데이터셋으로 미세 조정합니다. 이 단계에서는 비전 인코더와 프로젝터를 고정하고 LLM 파라미터만 업데이트합니다. 이를 통해 다양한 레이아웃과 포맷에 걸친 일반적인 OCR 능력에 대한 강력한 베이스라인을 구축합니다.

2단계: 포맷 디커플링 강화 학습 (FD-RL)
RL 단계는 최적화 대상을 토큰 수준의 정확도에서 포맷 수준의 유효성으로 전환하기 위해 두 가지 핵심 혁신을 도입합니다:

엔트로피 기반 데이터 필터링:
모든 SFT 데이터를 사용하는 대신, 저자들은 고엔트로피 샘플을 유지하도록 데이터셋을 필터링합니다. SFT 모델이 후보 샘플에 대해 추론을 수행하면 평균 토큰 엔트로피를 계산합니다. 특정 엔트로피 임계값( $\tau$ )을 초과하는 샘플이 RL 학습을 위해 선택됩니다. 이 전략은 모델이 가장 불확실성을 보이는 복잡하고 포맷 집약적인 인스턴스에 학습을 집중시킵니다.
포맷 디커플링 보상 (Format Decoupled Reward):
균일한 보상 신호를 적용하는 대신, 본 프레임워크는 콘텐츠 유형에 따라 보상을 분리합니다:

일반 텍스트: 정규화된 문자열 매칭(편집 거리, Edit Distance)으로 평가합니다.
수식: 표현의 정확성(동등한 LaTeX로 변환 후 BLEU 점수 적용)으로 평가합니다.
표: 구조적 일관성(TEDS 점수)으로 평가합니다.

전체 보상 $R$ 은 이러한 특정 보상들의 가중 합으로 계산되며, 이를 통해 구조적 오류(예: 깨진 표 계층 구조 또는 잘못된 LaTeX 형식)가 콘텐츠 오류에 의해 묻히지 않도록 보장합니다. 모델은 별도의 크리틱(critic) 모델 없이 그룹 정규화된 어드밴티지를 사용하는 GRPO 알고 알고리즘을 사용하여 최적화됩니다.

3. 주요 기여

FD-RL 프레임워크: 문서 OCR에서의 "읽기 후 추론(reasoning-after-reading)"을 위해 특별히 설계된 새로운 SFT-then-RL 패러다임을 제안하며, 포맷된 텍스트의 고엔트로피 특성을 해결합니다.
대규모 포맷 풍부 코퍼스: 오픈 소스, 실제 데이터, 합성 데이터를 최적의 혼합 비율로 통합하여 견고한 학습 데이터셋을 구축했습니다.
엔트로피 기반 큐레이션 및 디커플링 보상: 고불확실성 샘플을 타겟팅하는 데이터 필터링 전략과 특정 콘텐츠 포맷(텍스트, 수식, 표)에 맞춤화된 평가 메트릭을 도입했습니다.
최첨단 성능 (SOTA): OmniDocBench 벤치마크에서 신기록을 달성하여 제안된 접근 방식의 효과를 종합적인 절제 연구(ablation studies)를 통해 입증했습니다.

4. 실험 결과

본 방법론은 9가지 문서 유형(도서, 노트, 슬라이드 등)에 걸쳐 1,355 페이지를 포함하는 벤치마크인 OmniDocBench에서 평가되었습니다.

전반적인 성능: FD-RL은 90.41의 전체 점수를 기록하며 엔드 투 엔드(end-to-end) 모델로서 신기록을 세웠습니다. 이는 이전 최고의 엔드 투 엔드 모델인 dots.ocr보다 2.0포인트 높았으며, 특정 지표에서는 파이프라인 기반 모델인 PaddleOCR-VL(FD-RL은 엔드 투 엔드인 반면, PaddleOCR-VL은 파이프라인 기반임)과 상당한 격차를 보였습니다.
세부 지표:
- 수식 인식: 최고 CDM 점수인 88.67을 달성했습니다.
- 표 파싱: 최고 TEDS 점수 87.35와 TEDS-S 점수 92.10을 달성했습니다.
- 텍스트 인식: 편집 거리 0.049를 기록하여 dots.ocr(0.048)에 이어 2위를 차지했습니다.
일반화: FD-RL은 9개 문서 카테고리 중 4개(예: 슬라이드, 시험지)에서 1위를 차지했으며, 나머지 5개 카테고리에서도 2위를 기록하여 강력한 교차 도메인 일반화 능력을 입증했습니다.

절제 연구 (Ablation Studies):

데이터 소스: 오픈 소스, 실제 데이터, 합성 데이터의 점진적 통합과 RL 적용은 지속적인 성능 향상을 보여주었으며, 전체 파이프라인이 가장 높은 점수를 냈습니다.
학습 전략: 일반 VLM에 SFT 없이 직접 RL을 적용하면 이득이 미미했으나(49.37), SFT만 적용했을 때는 87.13을 달성했습니다. 90.41에 도달하기 위해서는 SFT+RL의 조합이 필수적이었습니다.
필터링: 50%의 엔트로피 기반 필터링 비율이 최적의 결과를 냈습니다. 필터링이 없는 경우(0%)와 과도한 필터링(75%) 모두 성능 저하를 초라했습니다.
보상 설계: 전체 포맷 디커플링 보상 체계가 통합된 문자열 매칭 보상보다 우수한 성능을 보였으며, 이는 수식과 표에 대한 특화된 평가가 매우 중요하다는 것을 확인시켜 줍니다.

5. 의의 및 주장

본 논문의 주요 의의는 포맷된 텍스트의 고엔트로피 특성을 타겟 최적화를 위한 신호로 식별하고 활용했다는 데 있습니다. 고급 모델들이 다양한 유효 구조적 표현 때문에 포맷 민감형 콘텐츠를 어려워한다는 점을 관찰함으로써, 저자들은 다양한 읽기 경로에 대한 추론이 OCR 개선에 필수적이라고 주장합니다.

저자들은 FD-RL이 단순한 토큰 수준의 암기에서 포맷 수준의 유효성으로 최적화 목표를 성공적으로 전환했다고 단언합니다. 이는 모델이 표에 대해 올로한 HTML 구조를 생성하고 수식에 대해 유효한 LaTeX를 생성하는 능력으로 입증되었으며, 이는 베이스라인 모델들이 흔히 평문 텍스트를 생성하거나 지시 이행 오류를 범하는 작업들과 대조됩니다. 본 연구는 엔트로피 기반 데이터 큐레이션과 포맷별 보상 설계가 엔드 투 엔드 문서 파싱 시스템의 견고성을 높이는 데 효과적인 전략임을 입증했습니다.