FireRed-OCR Technical Report

이 논문은 일반 VLM 을 고성능 OCR 모델로 전환하기 위해 '기하학 + 의미론' 데이터 팩토리와 3 단계 점진적 학습 전략을 도입한 FireRed-OCR 프레임워크를 제안하고, OmniDocBench 에서 SOTA 성능을 입증했습니다.

핵심

🔥 파이어레드-OCR: "문서 해독의 마법사"가 된 AI 이야기

안녕하세요! 오늘 소개해 드릴 논문은 **파이어레드-OCR(FireRed-OCR)**이라는 아주 똑똑한 AI 모델에 대한 이야기입니다. 이 모델은 복잡한 문서 (계약서, 수학 문제, 신문 기사 등) 를 읽을 때, 기존 AI 들이 저지르던 실수를 완벽하게 고쳐낸 '최강의 문서 해독 전문가'입니다.

이 기술이 어떻게 만들어졌는지, 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제: "똑똑한 AI 가 왜 문서를 엉망으로 읽을까?"

지금까지의 AI(일반적인 시각 언어 모델) 는 그림을 보고 내용을 대략적으로 이해하는 데는 천재였습니다. 하지만 문서를 다룰 때는 조금 이상한 행동을 하곤 했죠.

• 비유: 마치 유능한 번역가가 있다고 칩시다. 그는 외국어를 아주 잘 번역하지만, 원본이 표나 수식으로 되어 있으면 번역을 할 때 줄을 섞어버리거나, 표를 그릴 때 칸을 잘못 맞추는 실수를 합니다.
• 현실: AI 가 표를 만들 때 행과 열이 엉망이 되거나, 수학 공식이 "x+y=?"처럼 틀리게 나오는 것을 **'구조적 환각 (Structural Hallucination)'**이라고 부릅니다. 이는 실제 업무 (회계, 연구 등) 에선 치명적인 오류입니다.

파이어레드-OCR은 바로 이 "엉뚱한 번역가"를 "엄격한 문서 전문가"로 변신시킨 프로젝트입니다.

---

2. 해결책 1: "데이터 공장"을 지었다 (Geometry + Semantics)

AI 를 가르치려면 좋은 교재가 필요합니다. 하지만 기존 데이터는 너무 단순하거나, 복잡한 문서가 부족했습니다. 연구팀은 이를 해결하기 위해 '기하학 + 의미' 데이터 공장을 지었습니다.

• 기하학적 클러스터링 (모양으로 분류하기):

  • 비유: 책장 속에 있는 책들을 내용 (제목) 만 보고 분류하면, '수학책'과 '소설'이 섞일 수 있습니다. 하지만 **책의 모양 (표지 디자인, 페이지 구성)**을 보고 분류하면, '표가 많은 책', '글자가 빽빽한 책', '수식이 많은 책'을 정확히 찾아낼 수 있습니다.
  • 효과: AI 가 보지 못했던 '희귀한 문서 모양'들을 골라내어, 다양한 상황에 강한 AI 로 만들었습니다.

• 다차원 태깅 (태그로 분류하기):

  • 비유: 도서관 사서가 책에 "한글", "영문", "계약서", "수학 문제" 같은 스티커를 꼼꼼히 붙여주는 것과 같습니다.
  • 효과: AI 가 어떤 종류의 문서를 볼지 미리 예측하고 준비하게 합니다.

• 인공지능이 교정해 주는 과정:

  • 처음에 AI 가 만든 답이 엉망이면, 더 똑똑한 AI(교수님) 가 와서 "여기 표는 칸이 맞지 않아요", "수식 기호가 틀렸어요"라고 고쳐줍니다. 이렇게 **최고의 정답 (Ground Truth)**을 만들어 AI 에게 가르쳤습니다.

---

3. 해결책 2: 3 단계 훈련 프로그램 (점진적 학습)

이 모델은 하루아침에 전문가가 된 게 아닙니다. 3 단계 훈련을 거쳤습니다.

1 단계: 눈과 손의 훈련 (Multi-task Pre-alignment)

• 비유: 아기에게 글자를 가르칠 때 "이게 'A'야"라고만 말하지 않고, "이 글자는 여기 있고, 저 글자는 저기에 있어"라고 위치를 먼저 가르치는 것과 같습니다.
• 내용: AI 에게 문서의 글자 위치 (좌표) 와 내용을 동시에 찾게 하여, "눈"을 정확하게 뜨게 만들었습니다.

2 단계: 규칙 준수 훈련 (Specialized SFT)

• 비유: 이제 글자를 잘 읽는 아이에게 공식적인 보고서 작성법을 가르칩니다. "표는 이렇게 그리세요", "수식은 이렇게 적으세요"라고 Markdown(문서 형식) 규칙을 철저히 익히게 합니다.
• 내용: AI 가 문서를 읽을 때, 내용을 잘 전달하면서도 **형식 (표, 제목, 리스트)**이 완벽하게 맞춰지도록 훈련했습니다.

3 단계: 실전 시험과 벌칙 (Format-Constrained GRPO)

• 비유: 시험을 치르는데, 정답이 틀리면 점수를 깎는 시스템입니다.
  • 표가 닫히지 않았으면? → 벌점!
  • 수학 공식이 틀리면? → 벌점!
  • 글자가 빠졌으면? → 벌점!
• 내용: AI 가 스스로 답을 여러 개 만들어보고, 규칙에 가장 잘 맞는 답을 고르도록 보상 시스템을 적용했습니다. 이 과정을 통해 AI 는 "실수하지 않는 습관"을 들이게 되었습니다.

---

4. 결과: 작은 몸집에 큰 실력!

이 훈련을 마친 FireRed-OCR은 놀라운 성과를 냈습니다.

• 성적표: 세계적인 문서 평가 기준 (OmniDocBench) 에서 92.94 점을 받아 1 위를 차지했습니다.
• 비교: 수백억 개의 파라미터 (뇌 세포) 를 가진 거대 AI 들보다 훨씬 작은 모델 (20 억 파라미터) 임에도 불구하고, 표, 수학 공식, 복잡한 레이아웃을 더 정확하게 처리했습니다.
• 의미: "무조건 큰 모델이 좋은 게 아니다. 잘 훈련된 작은 모델이 특정 업무에서는 훨씬 뛰어날 수 있다"는 것을 증명했습니다.

---

🌟 한 줄 요약

"기존 AI 가 문서를 읽을 때 자꾸 실수하던 '구조적 환각'을, 모양을 분석하는 데이터 공장과 3 단계 훈련 (눈 뜨기 → 규칙 배우기 → 실전 벌칙) 으로 완벽하게 고쳐낸, 작지만 강력한 문서 해독 전문가가 탄생했습니다!"

이 기술은 이제 오픈소스로 공개되어, 누구나 복잡한 문서를 자동으로 정리하고 분석하는 데 사용할 수 있게 되었습니다. 📄✨

기술 요약

FireRed-OCR 기술 보고서 요약

1. 문제 정의 (Problem)

최근 대규모 비전 - 언어 모델 (VLM) 은 일반적인 이미지 캡셔닝 및 추론에서 뛰어난 성능을 보이지만, 복잡한 문서 (금융 보고서, 학술 논문, 양식 등) 를 파싱할 때 **'구조적 환각 (Structural Hallucination)'**이라는 심각한 한계에 직면해 있습니다.

• 구조적 환각의 증상: 마크다운 테이블의 행이 뒤섞이거나, 수식 문법이 존재하지 않거나, 문서의 계층적 논리가 누락되는 현상.
• 기존 접근법의 한계:
  • 전통적 OCR 파이프라인: 픽셀 수준의 정밀도는 높지만, 다중 열 레이아웃의 논리적 읽기 순서 (Reading Order) 와 같은 의미적 구조를 재구성하는 능력이 부족함.
  • 일반 VLM: 의미적 이해는 뛰어나지만, 엄격한 포맷 제약 (구문 규칙) 을 따르지 못해 산업용 OCR 에 적용하기 어려움.

이러한 문제를 해결하기 위해, 모델의 행동을 '광범위한 의미 해석'에서 '엄격한 논리 규칙에 기반한 정밀한 구조 생성'으로 전환하는 것이 핵심 과제입니다.

2. 방법론 (Methodology)

FireRed-OCR 은 범용 VLM (Qwen3-VL 기반) 을 산업 수준의 구조 분석 전문가로 변환하기 위해 고정밀 데이터 엔진과 점진적 3 단계 훈련 전략을 결합했습니다.

A. "기하학 + 의미 (Geometry + Semantics)" 데이터 팩토리

데이터의 양보다 구조적 다양성과 품질이 중요하다는 점에 착안하여 구축된 자동화 파이프라인입니다.

1. 기하학적 특징 추출 및 이중 인덱싱: 텍스트 내용을 무시하고 레이아웃 토폴로지만 추출하여 클러스터링 (Geometric Clustering) 을 수행합니다. 이를 통해 희귀 레이아웃 (중첩 테이블, 불규칙 양식 등) 을 식별하고 과대표된 단순 텍스트를 샘플링에서 제외합니다.
2. 다차원 태깅 시스템: 언어, 레이아웃 유형, 문서 소스, 장르 등 4 가지 차원으로 데이터를 태깅하여 균형을 맞춥니다.
3. 균형 잡힌 샘플링 및 표준화: 희귀 레이아웃을 과다 샘플링하고, PaddleOCR-VL 을 활용하여 모든 데이터의 마크다운 형식을 통일 (Re-annotation) 합니다.
4. 자동 품질 관리 및 하드 네거티브 마이닝: 규칙 기반 필터링 (The Sieve) 과 LLM 기반 감사 (The Judge) 를 통해 노이즈를 제거하고, 난이도가 높은 샘플 (Hard Cases) 은 전문가 모델 (Teacher Model) 을 통해 정제하여 훈련 데이터에 포함시킵니다.
5. 합성 데이터 생성: HTML/CSS 템플릿을 기반으로 복잡한 테이블과 수식을 렌더링하여 구조적 사전 지식 (Structural Priors) 을 보강합니다.

B. 3 단계 점진적 훈련 전략 (Three-Stage Progressive Training)

모델을 단계별로 정제하여 구조적 환각을 제거합니다.

1. 1 단계: 멀티 태스크 프리-얼라인먼트 (Multi-task Pre-alignment)
   • 검출 (Bounding Box), 영역 OCR, 전체 페이지 마크다운 변환을 동시에 학습하여 모델의 시각적 인식을 미세한 텍스트 표현에 정렬합니다.
2. 2 단계: 전문화된 지도 미세 조정 (Specialized SFT)
   • 고품질 마크다운 데이터로 훈련하여 구조적 일관성, 계층적 표현의 안정성, 마크다운 형식 표준화, 그리고 복잡한 레이아웃에 대한 강건성을 확보합니다.
3. 3 단계: 형식 제약 GRPO (Format-Constrained GRPO)
   • **Group Relative Policy Optimization (GRPO)**를 도입하여 강화 학습을 수행합니다.
   • 보상 함수 (Reward Engineering): 수식 문법 유효성, 태그 닫기 (Closure), 테이블 무결성 (열 수 일치), 텍스트 정확도 등을 기반으로 보상을 부여하여 모델이 구문적으로 올바른 구조를 생성하도록 강제합니다.
   • 반복적 정제 (Iterative SFT-GRPO): SFT 와 GRPO 를 교차 반복하여 의미적 정확성과 구조적 엄격성을 동시에 최적화합니다.

3. 주요 기여 (Key Contributions)

1. 구조적 환각 해결 패러다임 전환: 단순 텍스트 생성에서 '구조 공학 (Structural Engineering)'으로의 접근 방식을 제안하여 VLM 기반 문서 파싱의 병목 현상을 해결했습니다.
2. 해석 가능하고 균형 잡힌 데이터 팩토리: 기하학적 클러스터링과 다차원 태깅을 통해 희귀 레이아웃을 효과적으로 포착하고 고품질의 균일한 학습 데이터를 구축했습니다.
3. 제약 조건이 포함된 GRPO 전략: 강화 학습을 통해 수식, 테이블, 계층 구조의 구문 규칙을 강제함으로써 복잡한 레이아웃 재구성에서의 강건성을 획기적으로 향상시켰습니다.
4. 소규모 모델의 SOTA 달성: 2B(20 억) 파라미터 규모의 모델로도 초대규모 일반 VLM 을 능가하는 성능을 입증했습니다.

4. 실험 결과 (Results)

OmniDocBench v1.5 및 FireRedBench 등 주요 벤치마크에서 State-of-the-Art (SOTA) 성능을 달성했습니다.

• 종합 점수: OmniDocBench v1.5 에서 **92.94%**의 점수를 기록하여 DeepSeek-OCR 2 (91.09%), OCRVerse (88.56%) 등 기존 최강 모델들을 압도했습니다.
• 세부 항목:
  • 텍스트 인식: 편집 거리 (Edit Distance) 0.032 로 모든 모델 중 최상위권.
  • 테이블 구조 (Table TEDS): 90.31 점으로 Qwen3-VL-235B(86.21) 를 크게 상회.
  • 읽기 순서 (Reading Order): 0.041 로 가장 낮은 오차율 기록.
• 비교 분석:
  • 파이프라인 시스템 대비: MinerU2.5 나 PaddleOCR-VL-1.5 와 같은 복잡한 파이프라인 시스템보다 뛰어난 성능을 보이며, 단일 모델 아키텍처의 효율성을 입증했습니다.
  • 일반 VLM 대비: 2B 모델이 235B/397B 파라미터의 거대 모델 (Qwen3-VL, Gemini-3.0 Pro) 보다 더 높은 정확도를 보여주어, 도메인 특화 최적화가 단순한 스케일링보다 효과적임을 증명했습니다.
• FireRedBench (복잡한 레이아웃): 복잡한 레이아웃을 가진 데이터셋에서도 74.62 점으로 기존 E2E 모델 (DeepSeek-OCR 2: 61.61) 을 크게 앞섰습니다.

5. 의의 및 결론 (Significance)

FireRed-OCR 은 **"범용 VLM → 전문 구조 분석 모델"**로의 전환을 가능하게 하는 재현 가능한 패러다임을 제시했습니다.

• 효율성: 거대 모델에 의존하지 않고, 고품질 데이터와 정교한 훈련 전략 (GRPO 포함) 만으로도 산업 수준의 OCR 성능을 달성할 수 있음을 증명했습니다.
• 실용성: 수식, 테이블, 복잡한 레이아웃을 포함한 다양한 문서 유형에서 픽셀 수준의 정밀도와 논리적 구조를 동시에 보장하여, 실제 산업 환경 (금융, 법률, 학술) 에 즉시 적용 가능한 솔루션을 제공합니다.
• 오픈 소스: 코드와 모델 가중치를 공개하여 커뮤니티의 연구와 개발을 촉진하고 있습니다.

이 연구는 문서 지능 (Document Intelligence) 분야에서 구조적 정확성과 의미적 이해를 동시에 달성하는 새로운 기준을 세웠습니다.