Structure-Aware Text Recognition for Ancient Greek Critical Editions

이 논문은 고대 그리스 비평본의 복잡한 구조와 주석을 인식하기 위해 대규모 합성 데이터셋과 실사 벤치마크를 구축하고, 이를 통해 기존 오프더셸 소프트웨어를 능가하는 Qwen3VL-8B 모델을 포함한 최신 비주얼 언어 모델의 성능을 평가하여 구조 인식 기술의 한계와 가능성을 제시합니다.

핵심

이 논문은 고대 그리스어 책을 디지털로 옮기는 아주 까다로운 문제를 해결하기 위해, 최신 인공지능 (AI) 기술을 어떻게 활용했는지 설명하는 연구입니다.

쉽게 비유하자면, 이 연구는 **"고대 도서관의 낡고 복잡한 책장을 AI 에게 읽어달라고 시켰는데, AI 가 처음엔 엉뚱한 소리를 하다가, 우리가 만든 '가상 교재'로 훈련시킨 뒤에는 비로소 전문가 수준으로 책을 읽어냈다"**는 이야기입니다.

주요 내용을 일상적인 비유로 풀어보면 다음과 같습니다.

1. 문제: 왜 고대 그리스어 책 읽기가 어려울까?

일반적인 책 (현대 소설 등) 은 글자가 줄줄이 이어져 있어 AI 가 읽기 쉽습니다. 하지만 **고대 그리스어 학술서 (Critical Editions)**는 다릅니다.

• 비유: 마치 복잡한 지하철 지도를 읽는 것과 같습니다.
  • 본문 글자뿐만 아니라, 책 가장자리에 달린 주석 (Marginal notes), 글자 사이사이에 박힌 참고 번호, 그리고 머리말/꼬리말 등이 뒤죽박죽 섞여 있습니다.
  • 이 책들은 단순히 "글자"를 읽는 게 아니라, "어떤 글자가 어디에 위치해 있는지 (구조)"까지 이해해야 제대로 된 정보로 바꿀 수 있습니다.
  • 기존 AI 들은 이 복잡한 지도를 보고 "글자만 대충 읽으면 되지"라고 생각하다가, 중요한 주석을 놓치거나 글자 순서를 엉망으로 만들어 버렸습니다.

2. 해결책 1: AI 를 위한 '가상 교재' 만들기 (Synthetic Corpus)

실제 고대 책 스캔본은 너무 귀해서 AI 에게 많이 보여줄 수 없었습니다. 그래서 연구팀은 컴퓨터로 가상의 책 페이지 18 만 5 천 장을 만들어냈습니다.

• 비유: 시뮬레이션 게임을 만드는 것과 같습니다.
  • 실제 역사적 책들의 내용을 바탕으로, 컴퓨터가 다양한 폰트, 배경, 글자 배열을 가진 가상의 책 페이지를 무수히 많이 생성했습니다.
  • AI 는 이 가상의 책들을 수없이 읽으며 "아, 주석은 여기 있고, 번호는 저기에 있구나"라는 패턴을 스스로 학습하게 됩니다.

3. 해결책 2: 실전 훈련 (Real Benchmark)

가상 교재만으로는 부족했죠. 연구팀은 실제 박물관에 있는 고대 책 450 장을 스캔해서 AI 에게 보여주고 테스트했습니다.

• 비유: 가상 비행 시뮬레이터를 끝내도, 실제 하늘을 날아봐야 비로소 실력이 검증되는 것과 같습니다.

4. 결과: AI 가 어떻게 변했을까?

연구팀은 여러 최신 AI 모델 (VLM) 을 시험해 보았습니다.

• 초기 상태 (Zero-shot): AI 에게 아무것도 가르치지 않고 바로 책을 읽게 했더니, 기존 전통적인 OCR(문자 인식) 프로그램보다 훨씬 못했습니다. 마치 비행 시뮬레이터도 안 해본 사람이 실제 비행기를 탔을 때처럼 엉망진창이었습니다.
• 훈련 후 (Fine-tuning): 하지만 우리가 만든 '가상 교재'로 훈련시키고, 실제 책으로 다듬어주니 상황이 달라졌습니다.
  • 특히 Qwen3-VL-8B라는 모델이 가장 뛰어난 성과를 냈습니다.
  • 결과: 글자 하나를 틀릴 확률 (오류율) 이 1% 미만으로 떨어졌습니다. 이는 인간 전문가가 읽는 것과 거의 비슷할 정도로 정확한 수준입니다.

5. 중요한 발견: "글자"만 읽는 게 아니라 "구조"를 봐야 한다

이 연구의 가장 큰 교훈은 "글자를 정확히 읽는 것"과 "책의 구조를 이해하는 것"은 별개의 문제라는 점입니다.

• 비유: AI 가 책의 내용을 완벽하게 외웠다고 해서, 책의 목차나 주석이 어디에 있는지 알 수 있는 것은 아닙니다.
  • 일부 AI 는 글자는 잘 읽는데, 책의 가장자리에 있는 중요한 주석을 아예 무시하거나, 글자 순서를 뒤죽박죽 섞어버리는 '환각 (Hallucination)' 현상을 보였습니다.
  • 하지만 잘 훈련된 AI 는 글자뿐만 아니라 **책의 구조 (어떤 부분이 제목이고, 어떤 부분이 주석인지)**까지 정확히 파악해 낼 수 있었습니다.

요약 및 결론

이 논문은 **"고대 책 같은 복잡하고 구조화된 문서를 디지털화하려면, 최신 AI 에게 단순히 글자를 읽히는 게 아니라, 책의 '레이아웃 (배치)'과 '구조'를 이해하도록 훈련시켜야 한다"**는 것을 증명했습니다.

• 기존 방식: 글자만 인식하는 기계 (전통 OCR) 는 빠르고 안정적이지만, 복잡한 구조를 이해하기엔 한계가 있습니다.
• 새로운 방식: 최신 AI 는 처음엔 어설퍼도, 적절한 훈련 (가상 데이터 + 실전 데이터) 을 받으면 구조까지 이해하는 천재가 될 수 있습니다.

결론적으로, 이 기술은 고대 문헌을 디지털로 보존하고 연구자들이 쉽게 검색할 수 있게 만드는 데 큰 역할을 할 것으로 기대됩니다. 다만, AI 를 훈련시키는 데 드는 비용과 에너지가 매우 크므로, 언제까지나 AI 를 써야 할지, 아니면 전통적인 방법을 섞어 써야 할지에 대한 고민도 함께 제시했습니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

고대 그리스어 비평본 (Critical Editions) 의 디지털화는 단순한 문자 인식 (OCR) 을 넘어 복잡한 문서 구조를 복원해야 하는 난제입니다.

• 복잡한 레이아웃: 고대 그리스어 비평본은 본문 외에도 계층적 섹션, 마일스톤 번호 ( Stephanus 페이지 등), 여백 주석 (Marginalia), 변이 독본 (Critical Apparatus) 등이 밀집되어 있어 레이아웃이 매우 이질적이고 복잡합니다.
• 기존 OCR 의 한계: 전통적인 모듈식 OCR 시스템은 레이아웃 분석, 줄 분할, 텍스트 인식, 후처리 단계를 거치지만, 복잡한 레이아웃이나 저화질 스캔 시 오류가 전파되어 구조적 정보 손실이 발생합니다.
• 데이터 부족: 고대 그리스어 텍스트의 대량 기계 처리를 위한 오픈 소스 코퍼스가 부족합니다. 주요 자료원인 TLG(Thesaurus Linguae Graecae) 는 라이선스 제한으로 재분배 및 대규모 학습이 불가능하며, 기존 오픈 코퍼스는 구조적 복잡성을 반영하지 못합니다.
• VLM 의 한계: 최근 시각 - 언어 모델 (VLM) 은 현대 문서에서 성과를 보였으나, 고대 그리스어와 같은 역사적 학술 문서의 구조적 의미 (레이아웃 시맨틱스) 를 해석하는 능력은 제한적입니다.

2. 방법론 (Methodology)

이 연구는 구조 인식 텍스트 인식을 위해 두 가지 핵심 리소스를 구축하고, 이를 기반으로 최신 VLM 을 평가했습니다.

A. 데이터셋 구축

1. 대규모 합성 코퍼스 (Synthetic Corpus):
   • 규모: 185,000 페이지.
   • 생성 방식: 오픈 라이선스 TEI/XML 소스 텍스트를 기반으로, 다양한 타이포그래피 (폰트, 배경, 열 구성 등) 와 레이아웃 변형을 적용하여 합성 이미지 (PDF/JPG) 를 생성했습니다.
   • 주석: 구조적 요소 (제목, 참조 태그 <ref>, 주석 <note>, 단락 들여쓰기 <tab/> 등) 가 포함된 마크다운 형식의 정답 (Ground Truth) 을 자동 생성했습니다.
2. 실제 스캔 벤치마크 (Real Scanned Benchmark):
   • 규모: 450 페이지 (30 개의 저자 - 작품 쌍, 기원전 5 세기~서기 14 세기).
   • 특징: 19 세기부터 2017 년까지의 다양한 출판물 (Sources Chrétiennes, Oxford/Clarendon 등) 에서 채집된 실제 스캔 이미지로, 합성 데이터와 다른 실제 노이즈와 레이아웃 복잡성을 포함합니다.

B. 모델 및 실험 설정

• 평가 모델: Qwen3-VL (2B, 8B), DeepSeek-OCR-2, LightOnOCR-2 등 최신 VLM 과 OCR 전용 모델.
• 학습 전략:
  1. Zero-shot (학습 없이 직접 평가).
  2. Synthetic-only (합성 데이터로 미세 조정).
  3. Real-only (실제 데이터로 미세 조정).
  4. Synth→Real: 합성 데이터로 사전 학습 후 실제 데이터로 이어서 학습 (Sequential fine-tuning).
• 평가 지표:
  • 텍스트 정확도: 문자 오류율 (CER), 단어 오류율 (WER).
  • 구조 인식 정확도: 참조 마커, 여백 주석, 헤더, 들여쓰기 식별에 대한 F1 점수.

3. 주요 기여 (Key Contributions)

1. 새로운 리소스 공개: 고대 그리스어 비평본의 복잡한 구조를 반영한 대규모 합성 코퍼스 (18.5 만 페이지) 와 실제 스캔 벤치마크 (450 페이지) 를 오픈했습니다.
2. 구조 인식 파이프라인: TEI/XML 기반 텍스트를 다양한 레이아웃의 이미지로 렌더링하고, 구조적 마크업이 포함된 정답을 생성하는 자동화 파이프라인을 제시했습니다.
3. VLM 성능 분석: 고대 그리스어와 같은 구조적으로 복잡한 역사적 문서에서 VLM 의 Zero-shot 및 미세 조정 성능을 체계적으로 평가했습니다.

4. 실험 결과 (Results)

• Zero-shot 성능: 대부분의 VLM 은 기존 오프 - 더 - 쉘 (off-the-shelf) OCR 소프트웨어 (Tesseract, Kraken) 보다 성능이 낮았습니다. 이는 구조적 복잡성과 고대 그리스어 특유의 다성문자 (polytonic) 처리의 어려움 때문입니다.
• 미세 조정의 효과:
  • Qwen3-VL-8B가 Synth→Real 전략을 적용했을 때 가장 우수한 성능을 보였습니다.
  • 실제 데이터 테스트 결과: Median CER(중앙값 문자 오류율) **1.0%**를 달성하여 State-of-the-Art(SOTA) 성능을 기록했습니다.
  • 구조 인식: 참조 마커 (Ref) 인식 F1 점수는 79.5%, 여백 주석 (Note) 인식 F1 점수는 63.5% 로, 합성 데이터 학습만으로는 주석 인식이 어려웠으나 실제 데이터 학습을 통해 크게 개선되었습니다.
• 기타 모델: DeepSeek-OCR-2 는 합성 데이터 학습 시 중간값은 낮았으나 평균 오류율이 매우 높았으며 (Catastrophic failure 발생), LightOnOCR 은 실제 데이터 학습 시 좋은 성능을 보였으나 구조 인식 능력은 Qwen 모델보다 낮았습니다.
• 오류 패턴: Zero-shot 모델은 할루시네이션 (허위 생성) 과 레이아웃 요소 혼동이 심했으나, 미세 조정된 모델은 오타 및 정규화 관련 오류로 국한되었습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 구조 인식의 중요성: 고대 학술 문서의 디지털화는 단순한 텍스트 전사가 아니라, 레이아웃에 내재된 계층적 구조와 기호 체계를 해석하는 '해석 (Interpretation)' 문제임을 강조했습니다.
• VLM 의 잠재력과 한계:
  • VLM 은 도메인 간 전이 (Transfer) 와 적응 능력이 뛰어나며, 합성 데이터와 실제 데이터를 순차적으로 학습할 때 뛰어난 성능을 발휘합니다.
  • 그러나 계산 비용과 탄소 배출량이 크며, 특정 구조적 맥락에서 '할루시네이션'이나 '파괴적 오류'를 일으킬 수 있어 안정성 면에서는 전통적인 CRNN 기반 OCR 이 여전히 경쟁력이 있습니다.
• 미래 방향: VLM 의 구조적 민감도와 전통적 OCR 파이프라인의 효율성을 결합한 하이브리드 접근법이 역사적 문서 이해를 위한 최적의 해결책이 될 것으로 전망됩니다.

이 연구는 고대 그리스어뿐만 아니라 복잡한 레이아웃을 가진 역사적 학술 문서를 디지털화하는 데 있어 구조 인식 (Structure-Aware) 의 필요성과 VLM 기반 접근법의 가능성을 입증했다는 점에서 중요한 의의를 가집니다.