DianJin-OCR-R1: Enhancing OCR Capabilities via a Reasoning-and-Tool Interleaved Vision-Language Model

이 논문은 비전 - 언어 모델이 기존 OCR 모델의 정밀한 시각 인식 능력과 전문가 모델의 결과를 참조하여 스스로 오류를 수정하는 '다시 보기' 추론 전략을 통해 텍스트 인식 정확도를 획기적으로 향상시킨 'DianJin-OCR-R1' 프레임워크를 제안합니다.

핵심

📄 "다시 한번 확인해 봐!" - OCR 의 새로운 혁신, '디안진-OCR-R1' 이야기

안녕하세요! 오늘은 문서 속의 글자를 읽어내는 기술인 OCR(광학 문자 인식) 분야에서 아주 흥미로운 새로운 연구 결과를 소개해 드릴게요. 이 연구는 알리바바 클라우드의 '디안진 (DianJin)' 팀에서 발표한 **'디안진-OCR-R1'**이라는 모델에 대한 것입니다.

이걸 이해하기 쉽게 마치 '현명한 학생'과 '전문가 선생님'이 함께 시험을 보는 상황으로 비유해 볼까요?

---

1. 기존 기술의 문제점: "너무 똑똑해서 착각하는 학생" vs "눈만 좋은 선생님"

문서 인식 기술에는 두 가지 큰 부류가 있었어요.

• 일반적인 AI(VLM)

  • 특징: 언어를 매우 잘 이해하고, 문맥을 파악하는 데 능숙합니다.
  • 단점: 하지만 너무 똑똑해서 때로는 이미지에 없는 글자를 **창조해 내는 **(환각) 문제가 있었어요. 마치 시험지를 보지 않고, 머릿속의 상상으로 답을 적어내는 학생처럼요.
  • 예시: "북川羌族自治县"라고 써 있는데, AI 가 "북川芜族自治县"라고 잘못 읽거나, 아예 없는 단어를 지어내는 경우입니다.

• 전통적인 OCR 모델:

  • 특징: 글자 하나하나를 아주 정밀하게 잘 봅니다. 눈이 매우 좋죠.
  • 단점: 하지만 문맥을 이해하지 못해 헷갈리는 경우가 많아요. 글자 모양은 잘 보지만, "이건 농협인데 왜 '농협'이 아니라 '농업'이라고 읽었지?" 같은 상황에서는 답을 못 합니다.

2. 해결책: "디안진-OCR-R1"의 3 단계 전략

이 연구팀은 이 두 장점을 모두 살리고 단점을 없애기 위해, AI 가 스스로 생각하며 전문가의 도움을 받는 방식을 개발했습니다. 마치 **수학 문제를 풀 때, 먼저 스스로 풀고, 답지 **(전문가)하는 과정과 비슷해요.

이 모델은 다음과 같은 3 단계 프로세스를 거칩니다:

1 단계: "스스로 먼저 생각하기" (Think)

• AI 가 먼저 이미지 속 글자를 읽어냅니다. 이때는 자신의 지식과 능력을 모두 동원해서 답을 내봅니다.
• 비유: 학생이 시험지를 보고 "아, 이거는 'A'구나!"라고 먼저 답을 적어봅니다.

2 단계: "전문가 선생님에게 물어보기" (Tool Use)

• AI 는 자신의 답이 맞을지 불안해합니다. 그래서 **다른 전문 OCR 모델들 **(도구)에게 "이거 뭐라고 읽히나요?"라고 물어봅니다.
• 비유: 학생이 "선생님, 이거 제 답 맞나요?"라고 물어보면, 선생님 (전문 모델) 이 "아니요, 저건 'B'입니다"라고 알려줍니다.

3 단계: "다시 한번 꼼꼼히 확인하기" (Rethink & Look Again)

• 이게 가장 중요한 부분입니다! AI 는 자신의 답과 전문가의 답을 비교합니다.
• "아! 내가 처음에 잘못 봤네. 전문가 선생님이 말한 'B'가 맞고, 내가 본 'A'는 착각이었어!"라고 스스로 반성합니다.
• 그리고 **이미지를 다시 한 번 집중해서 **(Look Again) 봅니다. 이때 AI 는 이미지 속 글자에 다시 초점을 맞추며 오류를 수정합니다.
• 비유: 학생이 선생님의 답을 보고 "아, 제가 실수했네요. 다시 보니确实是 'B'네요!"라고 고쳐 씁니다.

3. 왜 이 방법이 좋은가요?

이 방법은 단순히 "정답을 외우는 것"이 아니라, **"어떻게 정답을 찾아낼지 **(추론)를 가르치는 것입니다.

• 착각을 줄여줍니다: 이미지에 없는 글자를 지어내는 것을 막아줍니다.
• 전문가보다 더 잘합니다: 실험 결과, 이 모델은 그 어떤 전문가 모델보다도 더 정확한 결과를 냈습니다.
• 비용이 적게 듭니다: 새로운 모델을 처음부터 만드는 게 아니라, 기존에 잘하는 전문가 모델들을 '도구'로만 쓰면 되기 때문에 훨씬 효율적입니다.

4. 결론: "한 번 더 보는 습관"이 만든 혁신

이 연구의 핵심은 **"한 번에 끝내려 하지 말고, 전문가의 조언을 듣고 다시 한번 확인하라"**는 교훈을 AI 에게 심어준 것입니다.

마치 우리가 중요한 문서를 처리할 때, "내가 봤는데 맞나? 한번 더 확인해 봐야지"라고 생각하며 꼼꼼히 다시 보는 습관이 실수를 줄여주듯, 디안진-OCR-R1은 AI 에게도 똑같은 현명한 습관을 가르친 것입니다.

이제 AI 도 문서 속의 복잡한 글자, 도장, 표, 수식 등을 볼 때, "내 생각만 믿지 말고, 다시 한번 확인하자!"라고 생각하며 훨씬 더 정확하게 일할 수 있게 된 셈입니다. 🎉📝

기술 요약

태그). 2. **도구 호출 (Tool Invocation):** 다른 전문가 모델 (Expert Models) 을 호출하여 추가 결과를 참조 자료로 얻습니다 ( 태그). 3. **재검토 (Look Again / Rethinking):** VLM 이 이미지, 자신의 초기 인식 결과, 그리고 도구들의 결과를 종합적으로 비교 분석합니다. 이때 모델은 이미지 속 시각적 입력을 다시 집중하여 ("Look again") 오류나 누락을 찾습니다 ( 태그). 4. **최종 통합 (Integration):** 모든 증거를 바탕으로 더 정확한 최종 출력을 생성합니다 (` 태그).

• 데이터 구성 및 학습:

  • 데이터 생성: Qwen-VL-Max 와 같은 강력한 VLM 을 사용하여, 이미지와 지시어에 대한 '추론 - 도구 교차 체인'과 정답을 생성합니다. 생성된 데이터가 정답과 일치할 경우 유효한 추론 샘플로 선별합니다.
  • SFT (Supervised Fine-Tuning): 생성된 추론 체인과 정답을 타겟으로 하여 모델이 일관된 추론 단계를 학습하도록 지도 학습을 수행합니다.
  • RFT (Reinforcement Fine-Tuning): GRPO (Group Relative Policy Optimization) 알고리즘을 적용합니다.
    • 형식 보상 (Format Reward): <think>, <tool>, <rethink>, <answer> 태그가 정확히 포함된 구조화된 출력을 생성하도록 유도합니다.
    • 정확도 보상 (Accuracy Reward): 도장, 표, 수식 인식 작업별로 정답 일치도 (정확도, TEDS, CDM 등) 에 따라 보상을 부여합니다.

• 사용된 도구: PP-StructureV3, MonkeyOCR-3B, GOT 등 다양한 전문가 OCR 모델을 참조 도구로 활용합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 프레임워크 제안: VLM 의 이해/추론 능력과 전문 OCR 모델의 인식 능력을 균형 있게 결합한 '추론 - 도구 교차' 프레임워크 (DianJin-OCR-R1) 를 최초로 제안했습니다.
2. 성능 입증: ReST 및 OmniDocBench 벤치마크에서 비추론 기반 모델과 전문 OCR 모델 모두를 능가하는 일관된 성능 향상을 보여주었습니다.
3. 비용 효율성 및 확장성: VLM 을 재학습 (Post-training) 하는 대신, 더 나은 전문가 모델을 도구로 교체하거나 업데이트하는 것만으로도 모델 성능을 향상시킬 수 있어 자원 활용도가 높습니다.
4. 고급 데이터 생성: 최신 모델을 활용하여 더 많고 질 좋은 합성 데이터를 생성할 수 있는 방법을 제시하여 문서 파싱 분야의 발전을 촉진합니다.

4. 실험 결과 (Results)

• 벤치마크 성능:
  • 도장 인식 (Seal): 정답률 (ACC) 이 0.527 (기반 모델) 에서 0.766 (RFT 적용) 으로 크게 향상되었습니다.
  • 표 인식 (Table): TEDS 점수가 0.853 에서 0.901 로 개선되었으며, 구조 정확도 (STEDS) 역시 향상되었습니다.
  • 수식 인식 (Formula): CDM 점수가 0.915 에서 0.976 으로 상승했습니다.
• 비교 분석:
  • DianJin-OCR-R1 은 추론 과정에 사용된 전문가 모델들 (PP-StructureV3, MonkeyOCR 등) 보다도 더 높은 성능을 기록했습니다. 이는 모델이 도구 결과를 단순히 복사하는 것이 아니라, 이를 비판적으로 검토하고 통합하여 더 나은 결과를 도출함을 의미합니다.
  • RFT vs SFT: 강화 학습 (RFT) 을 적용한 모델이 지도 학습 (SFT) 만을 적용한 모델보다 전반적으로 우수한 성능을 보였습니다.
• 재검토 (Look Again) 효과:
  • 주의 메커니즘 (Attention) 분석 결과, <rethink> 단계에서 모델이 시각적 입력 (이미지 토큰) 에 다시 집중하는 현상이 명확하게 관측되었습니다.
  • RFT 모델은 SFT 모델보다 '다시 보기 (Look-again)' 비율이 더 높았으며 (90.97% vs 81.02%), 이는 성능 향상과 직접적인 연관이 있음을 확인했습니다.

5. 의의 (Significance)

DianJin-OCR-R1 은 VLM 기반 OCR 의 가장 큰 약점인 '할루시네이션'을 해결하고, 전문 모델의 정밀한 인식 능력을 활용하는 새로운 패러다임을 제시합니다. 특히, 추론 과정 중 시각적 입력을 재집중하게 함으로써 모델이 이미지 자체에 더 의존하도록 유도한 점은 매우 혁신적입니다. 또한, 고비용의 대규모 모델 재학습 없이도 외부 전문가 도구를 유연하게 교체하여 성능을 지속적으로 개선할 수 있다는 점은 실제 산업 적용 측면에서 매우 중요한 의미를 가집니다. 이 연구는 복잡한 문서 이해 (RAG, 데이터 추출 등) 를 위한 차세대 OCR 솔루션의 방향성을 제시합니다.