OCRGenBench: A Comprehensive Benchmark for Evaluating OCR Generative Capabilities

이 논문은 기존 벤치마크의 한계를 극복하기 위해 텍스트 생성, 편집, OCR 관련 이미지 변환을 통합한 포괄적인 벤치마크 'OCRGenBench'와 통합 평가 지표 'OCRGenScore'를 제안하고, 이를 통해 최신 생성 모델들의 시각적 텍스트 합성 능력을 종합적으로 평가하여 주요 한계점을 규명했습니다.

핵심

이 논문은 **"OCRGenBench"**라는 새로운 시험지를 소개합니다. 이 시험지는 인공지능 (AI) 이 이미지를 만들 때, 그 안에 있는 '글자'를 얼마나 잘 써내는지를 평가하기 위해 만들어졌습니다.

기존의 AI 는 그림을 그리는 건 잘하지만, 그림 속에 정확한 글자를 넣는 건 여전히 서툴러요. 이 논문은 그 문제를 해결하기 위해 어떤 기준을 만들고, 현재 AI 들이 얼마나 부족한지 분석한 내용입니다.

이 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 왜 이 시험이 필요할까요? (문제 상황)

상상해 보세요. AI 가 '비행기'를 그려달라고 하면 멋진 비행기를 그려줍니다. 하지만 '비행기'라는 글자를 비행기 날개에 정확히 써달라고 하면 어떨까요?
대부분의 AI 는 날개에 "비행기" 대신 "비행기"와 비슷하지만 틀린 글자 (예: "비행기"의 획이 뭉개지거나, "비행기"라고 써야 할 곳에 "비행기"라고 잘못 씀) 를 써버립니다.

기존의 시험지들은 AI 가 그림을 그리는 능력만 봤거나, 아주 간단한 글자 (간판 하나 정도) 만 평가했습니다. 하지만 현실 세계는 훨씬 복잡합니다.

• 종이 문서: 글자가 빽빽하게 차 있고 구겨져 있기도 해요.
• 손글씨: 사람마다 글씨체가 다르고, 지우개 자국도 있어요.
• 예술적 글자: 디자인된 폰트나 낙서 같은 글자도 있죠.

이런 복잡한 상황까지 다룰 수 있는 AI 가 있는지, 아니면 아직 많이 부족하지 않은지 확인하기 위해 이 논문은 **새로운 시험지 (OCRGenBench)**를 만들었습니다.

2. OCRGenBench 란 무엇인가요? (시험 내용)

이 시험지는 33 가지의 다양한 미션으로 구성되어 있습니다. 마치 요리 대회에서 "단순히 스테이크 굽기"뿐만 아니라 "고기를 얇게 썰기", "소스 만들기", "접시 장식하기"까지 모두 평가하는 것과 비슷합니다.

• 미션 1: 그림 그리기 (T2I)
  • "비행기 날개에 '비행기'라고 써줘"라고 하면, AI 가 그림을 그릴 때 글자를 정확히 넣을 수 있을까요?
• 미션 2: 글자 고치기 (편집)
  • 이미 있는 문서에서 "이 단어만 지우고 다른 단어로 바꿔줘"라고 하면, 주변 글자는 건드리지 않고 딱 그 부분만 바꿀 수 있을까요?
• 미션 3: 문서 복원 (OCR 변환)
  • 구겨진 종이를 펴주거나, 그림자를 지워주거나, 흐릿한 글자를 또렷하게 만들어줄 수 있을까요?

이 시험지는 1,060 개의 문제로 이루어져 있고, 한국어와 영어 모두로 출제되어 있습니다. 특히 글자가 빽빽하게 차 있는 문서나, 손글씨처럼 복잡한 상황까지 포함해서 AI 의 실력을 진짜로 시험해 봅니다.

3. 점수판 (OCRGenScore)

이 시험에서는 단순히 "글자가 맞냐 틀리냐"만 보는 게 아닙니다.

• 글자 정확도: 철자가 맞나요?
• 화면의 아름다움: 글자가 그림과 자연스럽게 어울리나요?
• 지시 따르기: "파란색으로 써줘"라고 했을 때 파란색으로 썼나요?

이 모든 것을 합쳐서 100 점 만점으로 점수를 매깁니다. 이를 OCRGenScore라고 부릅니다.

4. 시험 결과: AI 들은 얼마나 잘할까요?

19 개의 최신 AI 모델을 시험에 붙여봤는데, 결과는 아주 실망스러웠습니다.

• 평균 점수: 대부분의 AI 가 60 점도 채우지 못했습니다. (100 점 만점 기준)
• 최고 점수: 가장 잘한 모델 (Nano Banana Pro) 이 77 점을 받았지만, 이조차도 완벽하지는 않습니다.
• 주요 실수:
  1. 글자 위치를 못 찾음: "이 단어만 고쳐줘"라고 해도, AI 는 주변 글자까지 같이 지워버리거나 엉뚱한 곳에 글자를 씁니다. (예: 문서 한 장 전체를 지우고 새로 쓰는 식)
  2. 할루시네이션 (환각): 글자를 써야 하는데, 엉뚱한 그림 (사람 얼굴 등) 을 그려버리거나, 아예 글자가 뭉개져서 읽을 수 없게 됩니다.
  3. 작은 글자/복잡한 글씨 약함: 글자가 아주 작거나, 손글씨처럼 복잡하면 AI 는 그걸 표현하는 법을 모릅니다.
  4. 영어는 잘하는데 한국어는 못함: 영어 시험은 70 점대인데, 한국어 시험은 30 점대인 모델도 많았습니다.

5. 이 연구의 의미는 무엇인가요?

이 논문은 **"AI 가 그림을 그리는 건 잘하지만, 글자를 쓰는 건 아직 초등학생 수준이다"**라고 경고합니다.

• 현재의 한계: AI 는 창의적인 그림은 잘 그리지만, 정확한 글자를 다루는 기술 (OCR 생성 능력) 은 여전히 부족합니다.
• 미래의 방향: 앞으로의 AI 는 단순히 그림만 잘 그리는 게 아니라, 문서 처리, 손글씨 복원, 복잡한 글자 편집까지 모두 잘할 수 있어야 진정한 '만능 AI'가 될 수 있습니다.

요약

이 논문은 **"AI 가 글자를 잘 쓰는지 확인하는 새로운 시험지 (OCRGenBench)"**를 만들었고, **"현재 AI 들은 글자 쓰기에 서툴러서 점수가 낮다"**는 사실을 밝혀냈습니다. 이제부터는 AI 개발자들이 그림뿐만 아니라 정확한 글자 쓰기에도 더 집중해야 한다는 신호를 보낸 것입니다.

마치 요리사가 맛있는 요리는 잘 만들지만, 메뉴판에 글자를 정확히 적는 것은 못해서 고객들이 혼란을 겪는 상황과 비슷합니다. 이 논문은 그 메뉴판 쓰는 실력을 키우기 위한 기준을 제시한 것입니다.

기술 요약

1. 문제 제기 (Problem)

최근 생성형 AI 모델 (Diffusion, LLM 기반 등) 은 자연어 처리와 이미지 생성 분야에서 비약적인 발전을 이루었습니다. 특히 텍스트가 포함된 이미지 생성 (Text-to-Image, T2I) 및 편집 능력은 중요해졌으나, 이를 평가하는 기존 벤치마크에는 다음과 같은 한계가 존재했습니다.

• 제한된 시나리오: 기존 벤치마크는 주로 장면 텍스트 (Scene Text) 나 포스터에 국한되어 있으며, 문서 (Document), 필기체 (Handwriting), 예술적 텍스트 (Artistic Text) 등 다양한 텍스트 유형을 포괄하지 못함.
• 단편적인 평가: 텍스트 생성 (T2I) 과 텍스트 편집 (Editing) 을 분리하여 평가하거나, OCR 관련 이미지 간 변환 (Image-to-Image, I2I) 작업 (예: 문서 왜곡 보정, 그림자 제거) 을 고려하지 않음.
• 부족한 난이도: 기존 데이터셋은 텍스트 밀도가 낮거나 간단한 문장 수준에 그쳐, 실제 복잡한 환경 (고밀도 텍스트, 다양한 비율, 작은 글자 등) 에서 모델의 한계를 파악하기 어려움.
• 결론: 현재 생성 모델들의 'OCR 생성 능력 (OCR Generative Capabilities)'을 종합적이고 표준화된 방식으로 평가할 수 있는 체계가 부재함.

2. 방법론 (Methodology)

저자들은 이 격차를 메우기 위해 OCRGenBench라는 새로운 벤치마크와 OCRGenScore라는 통합 평가 지표를 제안했습니다.

A. OCRGenBench (벤치마크 데이터셋)

• 범위: 5 가지 주요 텍스트 카테고리 (문서, 필기체, 장면 텍스트, 예술적 텍스트, 레이아웃이 풍부한 텍스트) 와 33 가지 OCR 생성 태스크를 통합.
  • 태스크 유형: T2I 생성, 텍스트 편집, 문서 왜곡 보정 (Dewarping), 그림자 제거, 필기체 제거, 스타일 전이 등.
• 데이터 구성: 총 1,060 개의 인간이 주석 (Human-annotated) 을 단 고품질 샘플.
  • 다양성: 페이지 수준의 텍스트 생성, 고밀도 문서 편집, 복잡한 폰트 합성 등 실제 세계의 복잡성을 반영.
  • 언어: 영어와 중국어 양방향 평가를 위한 데이터 구성.
  • 특징: 다양한 종횡비 (Aspect Ratio), 해상도, 텍스트 밀도 (단어 수준에서 1,300 자 이상까지) 를 포함하여 모델의 한계를 테스트.

B. OCRGenScore (평가 지표)

• 목적: 다양한 태스크의 성능을 단일 점수로 통합하여 모델 간 비교를 용이하게 함.
• 구성 요소:
  • T2I 생성 및 편집: 텍스트 정확도 (AR, Accuracy Rate), 구조적 일관성, 지시 사항 준수 (Instruction Following) 를 평가.
  • 기존 지표 활용: 문서 왜곡 보정 등 기존에 표준화된 지표가 있는 태스크는 해당 메트릭 (DD, MS-SSIM 등) 을 사용.
  • 계산 방식: 각 태스크별 지표를 0~1 범위로 정규화 후 평균을 내어 100 점 만점으로 산출. VIEScore(LLM-as-Judge) 와 PPOCRv5(OCR 엔진) 를 활용하여 자동화된 평가를 구현.

3. 주요 기여 (Key Contributions)

1. OCRGenBench 제안: 텍스트 생성, 편집, OCR 기반 이미지 변환을 통합한 최초의 종합 벤치마크. 5 가지 카테고리, 33 가지 태스크, 1,060 개의 고품질 샘플로 구성됨.
2. OCRGenScore 개발: 텍스트 정확도, 구조적 일관성, 지시 준수도를 통합하여 OCR 생성 성능을 자동으로 평가하는 새로운 메트릭.
3. 광범위한 모델 평가 및 분석: 폐쇄형 (Closed-source) 과 오픈소스 (Open-source) 의 최신 생성 모델 19 개를 평가. 이를 통해 기존 벤치마크가 간과했던 모델의 한계 (텍스트 위치 파악 실패, 원치 않는 콘텐츠 변경, 작은 텍스트 처리 부족 등) 를 규명하고 향후 연구 방향을 제시함.

4. 실험 결과 (Results)

19 개의 SOTA 모델 (Nano Banana Pro, GPT Image 1.5, Flux.2-dev, Qwen-Image 등) 을 평가한 결과는 다음과 같습니다.

• 전체 성능: 대부분의 모델이 100 점 만점에 60 점 미만을 기록하여, 현재 생성 모델들의 OCR 생성 능력이 여전히 초기 단계임을 보여줌.
  • 최고 점수: 폐쇄형 통합 모델인 **Nano Banana Pro (77.19 점)**가 1 위, 오픈소스 전문 모델인 **Flux.2-dev (70.19 점)**가 2 위.
• 아키텍처 비교:
  • 통합 모델 (Unified): 폐쇄형 모델은 높은 성능을 보이지만, 오픈소스 통합 모델은 전문 모델에 비해 성능이 크게 떨어짐 (약 18~47 점 차이).
  • 전문 모델 (Specialized): 오픈소스 전문 모델 (Flux.2-dev, LongCat-Image) 이 폐쇄형 통합 모델보다 뛰어난 성능을 보임.
• 태스크별 성능:
  • 생성 (Generation): T2I 생성은 상대적으로 잘 수행되지만, 텍스트 정확도 (AR) 는 낮음.
  • 복원 (Restoration): 문서 왜곡 보정, 그림자 제거 등 복원 태스크에서 성능이 급격히 저하됨 (할루시네이션 발생).
  • 언어: 영어 텍스트 생성/편집이 중국어보다 전반적으로 성능이 우수함. 많은 오픈소스 모델이 중국어 텍스트 생성에서 완전히 실패하거나 글자가 깨짐.
  • 난이도: 고밀도 텍스트 (현대/역사 문서) 와 필기체 처리가 가장 어려움.

5. 주요 발견 및 시사점 (Findings & Significance)

논문을 통해 도출된 8 가지 주요 발견은 다음과 같습니다:

1. 텍스트 위치 파악 부족: 밀집된 텍스트에서 특정 영역을 정확히 찾아내어 편집하는 능력이 부족함.
2. 비대상 요소 일관성 유지 실패: 특정 텍스트를 수정할 때 주변 텍스트나 배경 이미지가 의도치 않게 변경됨.
3. 지시 사항 불이행 및 할루시네이션: 사용자의 지시 (예: 소문자 사용) 를 무시하거나, 텍스트 생성 시 관련 없는 객체 (사람 등) 를 생성함.
4. 고밀도/긴 텍스트 및 복잡한 폰트 처리 불가: 긴 필기체나 복잡한 폰트, 고밀도 문서에서 글자가 깨지거나 읽을 수 없는 상태가 됨.
5. 이해 능력 부족: '저자 이름 순서 교환'이나 '자판 레이아웃' 등 상식적/세계 지식 기반의 이해가 필요한 태스크에서 실패함.
6. 수직 분야 (Vertical Domain) 전문성 부재: 역사 문서 복원, 초해상도 등 특수한 OCR 태스크에서 일반 생성 태스크보다 성능이 낮음.
7. 영어 편향성: 영어 데이터에 비해 중국어 등 다른 언어 지원이 미흡함.
8. 소규모 텍스트 인코딩/디코딩 한계: 작은 크기의 텍스트를 정밀하게 생성하는 데 필요한 세밀한 시각적 표현 메커니즘이 부족함.

의의:
OCRGenBench 는 생성형 AI 모델이 실제 세계의 복잡한 텍스트 처리 (OCR 생성) 능력을 갖추기 위해 필요한 표준 평가 체계를 제공합니다. 이는 단순한 이미지 생성을 넘어, 정확하고 신뢰할 수 있는 시각적 텍스트 합성을 위한 연구의 새로운 기준을 제시하며, 향후 모델 개발이 고밀도 텍스트, 다국어 지원, 정밀한 편집 능력 향상에 집중하도록 유도할 것입니다.