OCR or Not? Rethinking Document Information Extraction in the MLLMs Era with Real-World Large-Scale Datasets

이 논문은 대규모 비즈니스 문서 정보 추출 벤치마크와 자동화된 계층적 오류 분석을 통해 강력한 MLLM 이 OCR 없이도 이미지 입력만으로 전통적인 OCR 기반 접근법과 유사한 성능을 달성할 수 있음을 입증하고, 스키마 및 지시문 설계의 중요성을 강조합니다.

핵심

📄 "문서 읽기, 이제 카메라만 있으면 돼요?"

OCR 없이도 가능한 최신 AI 문서 분석의 비밀

이 논문은 **"문서에서 중요한 정보를 뽑아낼 때, 정말로 복잡한 'OCR(문자 인식)' 기술이 꼭 필요한가?"**라는 의문을 던지며 시작합니다.

기존 방식과 새로운 방식의 차이를 이해하기 위해, 비유를 들어 설명해 드릴게요.

---

1. 과거의 방식: "번역가 + 정리꾼" (OCR + AI)

예전에는 문서를 처리할 때 두 단계를 거쳤습니다.

1. OCR(번역가): 먼저 컴퓨터가 문서 사진 속의 글자를 하나하나 읽어내서 텍스트로 변환합니다. (예: "이건 'A'고, 저건 '5'야"라고 읽음)
2. AI(정리꾼): 그 텍스트를 받아서 "아, 이건 날짜고, 저건 금액이네"라고 구조화합니다.

문제점: 번역가가 실수하면 (글자를 잘못 읽으면), 정리꾼이 아무리 똑똑해도 그 실수를 고칠 수 없습니다. 또한, 이 과정이 너무 복잡하고 비쌉니다.

2. 새로운 방식: "직관적인 천재" (MLLM 만)

최근 등장한 **멀티모달 LLM(MLLM)**은 사진만 보면 글자를 직접 읽을 수 있는 '천재'입니다.
이 논문은 SAP 와 스탠포드 대학 연구진이 **실제 기업에서 쓰는 수천 개의 복잡한 문서 (송장, 견적서 등)**를 가지고 실험을 했습니다.

실험 결과의 핵심:

"최고급 AI 는 OCR 없이도 사진만 보고도, OCR 을 거친 경우보다 더 잘하거나 비슷하게 잘합니다!"

마치 유능한 직원이 서류를 눈으로 쓱 훑어보며 바로 내용을 파악하는 것과 같습니다. 굳이 먼저 글자를 타이핑해 넣는 과정을 거칠 필요가 없는 셈이죠.

---

3. 왜 이런 일이 일어날까요? (창의적인 비유)

🧩 비유 1: 퍼즐 맞추기

• OCR 방식: 먼저 퍼즐 조각 (글자) 을 다 떼어내서 테이블 위에 흩어놓은 뒤, 그걸로 그림을 맞추는 겁니다. 만약 조각이 깨지거나 (OCR 오류), 조각이 섞이면 (배열 오류) 그림이 엉망이 됩니다.
• 이미지만 있는 방식 (MLLM): 퍼즐을 통째로 들고 와서, 조각들이 어떻게 연결되는지 **전체적인 그림 (레이아웃)**을 보며 바로 맞추는 겁니다. AI 는 글자뿐만 아니라 "여기는 표고, 저기는 제목이야"라는 배치감까지 이해하기 때문에, 글자 하나를 잘못 읽어도 전체 맥락으로 바로잡을 수 있습니다.

📏 비유 2: 자와 눈금

• OCR 방식: 자로 길이를 재서 숫자를 적어냅니다. 자의 눈금이 흐릿하면 숫자를 잘못 적을 수 있습니다.
• 이미지 방식: AI 는 자를 직접 눈으로 보고 "이건 10cm 지점이고, 저건 15cm 지점이야"라고 공간감을 이해합니다. 글자가 흐릿해도 주변 공간 관계로 정답을 유추할 수 있습니다.

---

4. 중요한 발견들 (핵심 요약)

1. 모델이 클수록 더 똑똑해집니다: AI 모델이 커질수록 성능이 좋아지는데, 특히 이미지만 입력했을 때 그 차이가 더 뚜렷했습니다.
2. OCR 이 오히려 방해가 될 수도 있습니다: 어떤 최신 모델 (예: Gemini, Nova) 은 OCR 텍스트를 넣으면 오히려 성능이 떨어지거나 변하지 않았습니다. AI 가 직접 보는 게 더 정확할 때가 있다는 뜻입니다.
3. 실수 분석의 마법: 연구진은 LLM 이 스스로 실수를 분석하게 했습니다. "왜 틀렸지?"라고 AI 에게 물어보니, "글자를 잘못 읽었어", "배열을 헷갈렸어", "지시사항을 안 들었어" 같은 원인을 찾아냈습니다.
4. 지시사항 (프롬프트) 이 생명: AI 에게 "정확하게 하라", "형식을 지켜라"라고 잘 가르쳐 주면 성능이 훨씬 좋아집니다.

---

5. 결론: 앞으로는 어떻게 될까요?

이 연구는 **"문서 처리의 미래는 더 간단해질 것"**이라고 말합니다.

• 과거: 복잡한 기계 (OCR) → 텍스트 변환 → AI 분석 (3 단계)
• 미래: AI 가 사진 한 장을 받아서 바로 정리된 데이터로 출력 (1 단계)

마무리 비유:
과거에는 문서를 처리할 때 스캐너로 복사해서 타이핑한 뒤 사람이 정리해야 했지만, 이제는 유능한 비서가 서류를 한눈에 보고 바로 정리해 주는 시대가 온 것입니다.

이 기술이 상용화되면, 기업들은 문서 처리 비용을 크게 줄이고, 더 빠르고 정확하게 업무를 처리할 수 있게 될 것입니다. OCR 이 완전히 사라지는 건 아니지만, 최고급 AI 에게는 더 이상 필수품이 아닐 수 있다는 것이 이 논문의 가장 큰 메시지입니다.

기술 요약

1. 문제 정의 (Problem Statement)

문서 정보 추출 (Document Information Extraction, DIE) 은 인보이스, 보험 견적서, 재무제표 등 다양한 비즈니스 문서에서 구조화된 데이터를 자동으로 추출하는 중요한 작업입니다.

• 기존 방식의 한계: 산업계에서 널리 사용되는 전통적인 방식은 2 단계 파이프라인 (OCR + 전용 추출 모델) 입니다. 먼저 OCR(광학 문자 인식) 이 텍스트를 추출한 후, 이를 기반으로 구조화 모델을 실행합니다. 이 방식은 시스템 복잡도가 높고, 새로운 도메인 적용이 어려우며, OCR 오류가 하위 추출 단계로 전파되는 (error propagation) 문제가 있습니다.
• MLLM 의 등장과 의문: 최근 멀티모달 대규모 언어 모델 (MLLM) 이 급격히 발전하며, 이미지만 입력받아 직접 정보를 추출하는 'OCR 없는 (OCR-free)' 방식에 대한 관심이 높아졌습니다. 하지만 강력한 MLLM 만으로 기존 OCR 기반 파이프라인의 성능을 대체할 수 있는지, 그리고 OCR 이 정말로 불필요한지에 대한 체계적인 실증 연구는 부족했습니다.

2. 방법론 (Methodology)

2.1 데이터셋 (Internal Industrial Document Dataset)

• 규모 및 특성: SAP 의 내부 비즈니스 문서 (공급망 C1, 금융 C2) 를 기반으로 한 대규모 고품질 데이터셋을 구축했습니다.
• 난이도: 기존 오픈소스 데이터셋보다 훨씬 까다롭습니다.
  • 다국어: 영어, 독일어, 스페인어 등 여러 언어가 혼재되어 있습니다.
  • 구조적 복잡성: 중첩된 정보, 행 단위 내의 스택된 셀, 이질적인 헤더 구조 등을 포함하여 파싱이 어렵습니다.
• Ground Truth: 수동으로 정밀하게 레이블링된 구조화된 정답 데이터와 자체 개발한 고정밀 OCR(90% 이상 정확도) 결과를 모두 보유하고 있습니다.

2.2 평가 파이프라인 및 지표

• 입력 모달리티 비교: 세 가지 입력 방식을 비교 실험했습니다.
  1. Image-only: 원본 문서 이미지만 입력.
  2. OCR-only: OCR 로 추출된 텍스트만 입력.
  3. Image + OCR: 이미지와 OCR 텍스트를 모두 입력.
• 메트릭: 구조화된 키 - 값 쌍 (Key-Value Pairs) 추출 정확도를 평가하기 위해 F1 점수를 사용했습니다.

2.3 계층적 오류 분석 프레임워크 (Hierarchical Error Analysis Framework)

• MLLM 의 실패 원인을 체계적으로 진단하기 위해 LLM 을 활용한 자동화된 분석 프레임워크를 제안했습니다.
• 3 단계 프로세스:
  1. Handler: 예측값과 정답을 문자 및 의미 수준에서 비교하여 오류를 식별.
  2. LLM Reasoning: 오류를 사전 정의된 카테고리 (텍스트 오해석, 이미지 - 텍스트 추출 문제, OCR 스키마 모호성 등) 로 분류하고, 필요시 원본 이미지를 추가 입력받아 근본 원인 분석.
  3. Attribution: BERT 임베딩 클러스터링 등을 통해 오류 유형을 그룹화하고 대표 키워드를 추출하여 최종 실패 원인 (OCR 오인식, 레이아웃 오해석, 프롬프트 불일치 등) 을 도출.

3. 주요 기여 (Key Contributions)

1. OCR 의 필요성에 대한 재검토: 특정 고성능 MLLM 의 경우, OCR 이 불필요할 뿐만 아니라 오히려 성능을 약간 저하시킬 수 있음을 발견했습니다. 이미지만 입력하는 방식이 OCR 기반 방식과同等하거나 더 나은 성능을 보일 수 있음을 입증했습니다.
2. 모델 크기 스케일링 법칙: MLLM 의 크기가 커질수록 정보 추출 성능이 향상됨을 확인했습니다. 특히 비전 인코더 (Vision Encoder) 의 발전으로 텍스트 정보를 이미지에서 직접 추출하는 능력이 크게 향상되었습니다.
3. 자동화된 계층적 오류 분석 프레임워크 제안: 수동 분석 없이 LLM 을 활용해 대규모 데이터셋의 오류 패턴을 자동으로 발견하고 분류하는 도구를 개발했습니다.
4. 프롬프트 및 스키마 최적화: 범용 MLLM 은 작업 특화 지식이 부족함을 발견하고, 잘 설계된 스키마, 예시 (Exemplars), 지시문 (Instructions) 을 통해 성능을 추가로 향상시킬 수 있음을 보였습니다.

4. 실험 결과 (Results)

4.1 입력 모달리티별 성능 비교 (Table 1)

• Gemini 및 Nova Pro 모델: 이미지만 입력했을 때 OCR 텍스트를 입력했을 때와 유사하거나 오히려 더 높은 F1 점수를 기록했습니다. (예: Gemini 2.0 Flash-Lite 는 이미지-only 가 멀티모달보다 약 3% 높음).
• 모델 간 차이: 모든 모델이 OCR 없이 잘 작동하는 것은 아닙니다. 일부 모델 (Pixtral, Claude 3.5 Sonnet 등) 은 이미지 입력 시 성능이 저하되기도 했으나, 최신 고성능 모델들은 시각적 정보를 텍스트 처리와 효과적으로 융합하는 능력을 갖췄습니다.
• 결론: 강력한 MLLM 에서는 OCR 단계가 생략되어도 (Image-only) 안정적인 성능을 유지하며, 파이프라인을 단순화할 수 있습니다.

4.2 모델 크기별 성능 (Figure 4)

• 모델 크기가 증가함에 따라 성능이 개선되는 경향이 뚜렷합니다.
• 특히 OCR-only 입력에서 모델 크기 증가에 따른 성능 향상 폭이 가장 컸으나, Image-only 역시 고성능 모델에서 매우 높은 베이스라인을 유지했습니다.

4.3 오류 분석 결과 (Figure 5)

• Image-only: 전체 오류 수가 가장 적었습니다. 특히 'OCR 스키마 모호성 (OCR schema ambiguity)' 오류가 크게 감소했습니다. 이는 OCR 이 텍스트를 추출하는 과정에서 레이아웃 정보를 왜곡하거나 손실시키는 것을 방지했기 때문입니다.
• OCR-only: 텍스트 추출 오류는 적지만, 추출된 텍스트와 문서 레이아웃 간의 불일치로 인한 스키마 매핑 오류가 발생했습니다.

4.4 최적화 후 성능 향상 (Table 3)

• 오류 분석 결과를 바탕으로 프롬프트 최적화 (명확한 지시, 포맷 제약 강화, 스키마 명확화) 를 수행했습니다.
• 그 결과, Image-only 입력의 평균 F1 점수가 76.8% 에서 78.9% 로 상승하여, OCR-only 및 결합 입력 방식을 모두 능가했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실무적 통찰: 기업용 문서 AI 서비스 개발 시, OCR 엔진을 별도로 구축하고 유지하는 비용과 복잡성을 줄일 수 있는 가능성을 제시했습니다. 강력한 MLLM 을 활용하면 이미지만으로 높은 정확도의 정보 추출이 가능해졌습니다.
• 연구 방향: 단순한 OCR 대체를 넘어, MLLM 의 비전 인코더 능력과 잘 설계된 프롬프트 엔지니어링 (스키마, 예시, 지시문) 의 결합이 문서 정보 추출의 새로운 표준이 될 수 있음을 시사합니다.
• 한계 및 향후 과제: 퓨샷 (few-shot) 학습의 체계적 검증 부재, CoT(Chain-of-Thought) 나 자기 성찰 (self-reflection) 메커니즘 적용의 미비, 그리고 추론 중심 모델 (Reasoning Models) 의 도입 필요성 등을 향후 연구 과제로 남겼습니다.

요약하자면, 이 논문은 대규모 실증 데이터를 바탕으로 "강력한 MLLM 시대에는 OCR 이 필수가 아니며, 이미지 기반 단일 파이프라인이 더 효율적이고 정확한 문서 정보 추출을 가능하게 한다"는 혁신적인 결론을 도출했습니다.