기술 요약: 읽기인가 추측인가? 고대 그리스어 판본 OCR 에서의 비전 - 언어 모델 시각적 그라운딩 실패

문제 제기

최근 비전 - 언어 모델 (VLM) 은 표준 벤치마크에서 광학 문자 인식 (OCR) 과 관련하여 인간 수준의 성능을 달성했습니다. 그러나 새로운 증거는 이러한 모델이 시각적 증거보다는 **언어적 사전 지식 (language priors)**에 크게 의존하여, 언어적 맥락이 교란되었을 때 시각적으로 지지되지 않지만 의미상 그럴듯한 텍스트를 생성할 수 있음을 시사합니다. 이러한 현상은 고자원 환경에서 연구되어 왔으나, 저자원 역사 문서에서의 행동은 아직 충분히 탐구되지 않았습니다.

본 논문은 다음으로 특징 지어지는 까다로운 영역인 **고대 그리스어 비평판 (critical editions)**을 사용하여 이러한 문제를 조사합니다:

• 저자원 사전 지식: 일반 사전 학습 중에 학습된 어휘 및 서식 패턴에 대한 지원이 제한적입니다.
• 복잡한 레이아웃: 밀집된 텍스트, 다성부 문자 (악센트 및 호흡 기호), 여백 주석, 그리고 알파벳 숫자.
• 높은 위험성: 학술적 판본의 디지털화 오류는 하류 연구에 침묵적으로 손상을 입힐 수 있습니다.

핵심 연구 질문은 다음과 같습니다:

1. VLM 과 전통적인 OCR 시스템은 서로 다른 방식으로 실패하는가?
2. VLM 은 시각적 증거 대비 언어적 사전 지식에 어느 정도 의존하는가?
3. 추론 시 개입이 시각적 그라운딩을 복원할 수 있는가?

방법론

저자들은 90 페이지의 스캔된 고대 그리스어 비평판 페이지 데이터셋에서 다섯 개의 오픈 가중치 VLM(OCR 전문 모델인 OlmOCR-2-7B와 DeepSeek-OCR을 포함하며, 범용 모델인 Qwen3-VL-2B/8B도 포함) 을 두 가지 전통적인 OCR 베이스라인(Tesseract-grc와 Kraken-CLLG) 과 비교 평가했습니다.

본 연구는 다음과 같은 다면적 분석 프레임워크를 사용합니다:

1. 오류 분포 분석

저자들은 악센트/발음 부호 오류, 문자 혼동, 스크립트 간 대체, 단어 대체, 과도 생성, 생략 등 여덟 가지 상호 배타적 범주로 구성된 단어 단위 오류 분류 체계를 수립했습니다. "노이즈가 있는" 인식 오류와 "유창한" 환각을 구분하기 위해 문자 오류율 (CER) 과 단어 오류율 (WER) 을 분석했습니다.

2. 반사실적 교란 실험

언어적 사전 지식 의존성을 분리하기 위해, 저자들은 렌더링 이전에 페이지 내 텍스트를 손상시킨 합성 자극을 생성했습니다. 정답은 교란된 문자열이었습니다.

• 논리: 시각적으로 그라운딩된 시스템은 무의미한 형태를 이루더라도 손상된 글립을 그대로 전사해야 합니다. 사전 지식에 의존하는 시스템은 그럴듯한 그리스어 방향으로 텍스트를 "수리"하려 하므로, 교란된 정답 대비 오류율이 증가해야 합니다.
• 교란: 단어 단위 재배열 (구문적) 과 문자 단위 뒤섞기 (어휘/철자적) 를 포함했습니다.

3. 토큰 단위 이미지 - 이득 (Image-Gain) 분석

그라운딩을 기계적으로 측정하기 위해, 저자들은 각 토큰에 대해 이미지 이득을 계산했습니다:
$$\text{gain}(t) = \log p(t \mid \text{image}, \text{prompt}) - \log p(t \mid \text{prompt})$$
이 지표는 텍스트 전용 베이스라인에 비해 이미지가 토큰의 확률을 얼마나 증가시키는지 정량화합니다. 저자들은 올바른 토큰, 지각적 오류 (글립 혼동), 스크립트 간 오류, 어휘적 오류 (유창한 단어 대체) 등 토큰 클래스 간 이를 비교했습니다.

4. 추론 시 개입

본 연구는 그라운딩을 복원하기 위해 세 가지 계열의 개입을 테스트했습니다:

• 출력 제약: 스크립트 마스킹 (출력을 그리스 문자로 제한) 과 길이 기피 (잘못된 길이의 출력 억제).
• 대조적 디코딩: 시각적 대조적 디코딩 (VCD) 과 이미지 없는 대조적 디코딩 (M3ID) 을 사용하여 시각적 입력 없이도 여전히 유력한 토큰에 페널티를 부과했습니다.
• OCR 후 수정: 생성 후 텍스트 전용 언어 모델을 사용하여 인식된 텍스트를 다시 작성하는 것.

주요 결과

1. 이질적인 실패 모드

• 전통적 OCR: 오류는 주로 국소적 인식 노이즈 (예: 구두점, 페이지 장식 요소, 문자 혼동) 이며 가시적인 글립과 밀접하게 연결되어 있습니다.
• VLM: 오류는 지각적 표면 - 철자적 실수(악센트/발음 부호) 와 유창한 어휘적 대체가 지배적입니다. VLM 은 잘못된 단어를 유효하고 어휘에 포함된 고대 그리스어 단어로 자주 대체하여, 전통적인 시스템보다 훨씬 높은 WER/CER 비율을 초래합니다.

2. 사전 지식 의존의 증거

• 교란 반응: 문자 단위 교란 하에서 VLM 의 오류율은 급격히 상승하여 (교란된 정답과 이격되는) 전통적 OCR 은 상대적으로 충실하게 유지되었습니다.
• 모델별 그라운딩: 토큰 단위 분석은 사전 지식 의존이 보편적이지 않음을 드러냈습니다:
  • OlmOCR(OCR 전문 모델): 유창한 어휘적 오류에 대해 "낮은 이미지 이득" 서명을 보였습니다 (중앙값 이득 0.17). 이는 이러한 오류가 이미지 의존이 거의 없이 생성되었음을 (사전 지식의 우세) 나타냅니다.
  • Qwen3-VL(범용 모델): 틀렸을 때도 이미지와 상호작용한 상태를 유지했습니다. 그들의 어휘적 오류는 높은 이미지 이득을 보였습니다 (예: Qwen3-VL-8B 의 경우 1.97). 이는 이미지를 무시하고 추측한 것이 아니라 시각적 입력에 조건부였으나 잘못 해석한 것임을 시사합니다.
  • 스크립트 간 오류: 모든 모델에서 스크립트 혼합 오류 (그리스어 $\to$ 라틴어) 는 가장 높은 이미지 이득을 보여 시각적으로 유발되었음을 확인시켰습니다.

3. 개입의 비효과성

• 출력 제약: 스크립트 마스킹은 치명적인 성능 저하를 초래하여 (CER 가 7~10 배 증가), 길이 기피는 커버리지를 감소시키면서 이득을 제공하지 못했습니다.
• 대조적 디코딩: VCD 는 유의미한 효과가 없었습니다. M3ID 는 범용 VLM(Qwen) 을 개선했지만 OCR 전문 모델 (OlmOCR) 에는 도움이 되지 않아, 모델에 무관한 해결책이 존재하지 않음을 시사합니다.
• OCR 후 수정: 이는 가장 광범위한 개선을 제공하여 7 개 시스템 중 5 개 시스템의 오류를 현저히 줄였습니다. 그러나 이 개선은 생성 후에 발생하여 디코딩 중 시각적 그라운딩 손실을 방지하는 것이 아니라 텍스트를 수리하는 것이었습니다.

의의 및 주장

본 논문은 유창한 OCR 출력이 시각적 그라운딩을 보장하지 않는다고 주장합니다. VLM 이 문법적, 어휘적으로 정확한 고대 그리스어를 생성할 수 있는 능력은 특히 저자원이고 복잡한 역사적 환경에서 시각적 증거와의 근본적인 단절을 가릴 수 있습니다.

주요 기여점은 다음과 같습니다:

1. 기존 연구의 확장: 언어적 사전 지식 의존이 고자원 환경을 넘어 저자원 역사 문서와 더 넓은 모델 세트로 확장됨을 입증했습니다.
2. 세분화된 그라운딩 분석: "사전 지식 우세"가 모델별로 다름을 보여주었습니다. 이는 OCR 전문 모델에서 (이미지를 무시하고 추측하는) 독특한 실패 모드이지만, 범용 VLM 에서는 반드시 그런 것은 아닙니다 (아직도 이미지에 주의를 기울이지만 잘못 해석할 수 있음).
3. 현재 해결책의 한계: 단순한 디코딩 제약과 대조적 방법이 그라운딩을 복원하기에 부족함을 규명하여, 이러한 아키텍처에서 시각적 증거와 생성적 디코딩 사이의 더 깊은 불일치를 시사합니다.

저자들은 역사적 영역에서의 다중 모달 모델 평가가 집계 정확도 지표 (CER/WER) 를 넘어, 모델 출력이 관련 입력 증거에 진정으로 그라운딩되었는지 테스트하는 해석 가능성 기반 평가로 이동해야 한다고 결론지었습니다. 유창하지만 그라운딩되지 않은 오류가 디지털화된 코퍼스를 침묵적으로 손상시킬 수 있으므로, 인간 검증 없이 자원 부족의 문화유산 자료에 VLM 을 배포하는 것에 대해 경계해야 한다고 경고합니다.