📄 other

Cross-Lingual Transfer Learning and Autonomous Data Bootstrapping for VLM-Based Ottoman Turkish Handwritten Text Recognition

이 논문은 정제된 데이터에 대한 LoRA 미세 조정을 통해 최첨단 성능을 달성하고 자율적인 데이터 부트스트래핑이 정제된 접근 방식과 효과적으로 일치하면서도 주석 비용을 크게 줄일 수 있음을 입증하는 오스만 투르크어 필사체 텍스트 인식을 위한 시각-언어 모델 프레임워크인 Azra를 소개한다.

원저자: Gökhan Usta, Oğuz Alpoğlu, Fatih Günaydın

게시일 2026-07-24

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Gökhan Usta, Oğuz Alpoğlu, Fatih Günaydın

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

증조부모님이 쓰신 일기를 읽으려는데, 글씨체가 엉킨 필기체라 엉망이고, 언어는 완전히 바뀌어 있으며, 알파벳은 마치 비밀 암호처럼 보이는 상황을 상상해 보십시오. 이것이 오스만 제국의 수백만 개의 문서를 해독하려는 역사학자들이 매일 마주하는 현실입니다. 수 세기 동안 이 기록들은 오른쪽에서 왼쪽으로 흐르며 터키어 단어에 아랍어와 페르시아의 색채를 섞은, 아름답지만 까다로운 '오스만 터키어'라는 서체로 작성되었습니다. 문제는 무엇일까요? 1928년에 알파벳이 현대적인 라틴 문자로 교체되면서, 오늘날 그 옛것을 실제로 읽을 수 있는 사람은 매우 적어졌다는 점입니다.

이를 해결하기 위해 과학자들은 '디지털 탐정'이라 불리는 인공지능(AI)을 구축하고 있습니다. 구체적으로, 그들은 시각-언어 모델(Vision-Language Model, VLM)이라는 유형의 AI를 사용하고 있습니다. VLM을 수백만 권의 책을 읽고 수백만 장의 사진을 본 아주 똑똑한 로봇이라고 생각하십시오. 이 로봇은 페이지 위의 휘둘린 선을 단순히 '보는' 것이 아니라, 그 휘둘린 선이 하나의 글자이며, 그 글자가 특정 의미를 가진 단어의 일부라는 것을 이해합니다. 연구자들이 던지는 핵심 질문은 이것입니다. 인간 전문가가 앉아서 모든 단어를 일일이 타이핑해 주지 않아도, 이 로로봇들이 이 고대의 엉망인 필사본을 읽도록 가르칠 수 있을까? 만약 가능하다면, 우리는 인간 팀이 결코 따라잡을 수 없는 속도로 역사를 열어젖힐 수 있을 것입니다.

이 논문은 로봇인 '아즈라(Azra)'에게 오스만 터키어 필기체를 읽는 법을 가르치기 위한 새로운 두 단계 전략을 소개합니다. 연구진은 이미 현대 아랍어와 영어 필기체를 꽤 잘 읽는 로봇에서 시작했습니다. 그런 다음, 그들은 두 가지 다른 방식으로 오스만 스타일 특유의 특징을 학습시키려고 시도했습니다.

첫 번째 방법은 **아즈라 1(Azra 1)**로, 전통적인 교실 수업과 같습니다. 연구팀은 인간 전문가가 정성스럽게 검수하고 타이핑한 1,306행의 고품질 텍스트 컬렉션을 모았습니다. 또한 학생들이 이미 옛 서체를 현대 터키어 문자로 번역해 놓은 약 2,000페이지의 학위 논문 데이터도 추가했습니다. 로봇은 이 정교하게 큐레이션된 예시들을 공부하며, 관공서에서 사용되었던 빠르고 흘려 쓰는 글씨체인 '리카(Riqa)' 서체의 특유의 흐름을 인식하는 법을 배웠습니다. 유사한 필기체로 테스트했을 때, 아즈라 1은 다섯 글자당 실수 한 번 미만일 정도로 놀라운 정확도를 보였습니다. 심지 even 오늘날 역사학자들이 사용하는 유명한 상용 도구보다 더 뛰어난 성능을 보였습니다.

두 두 번째 방법인 **아즈라 2(Azra 2)**는 '자기 학습(self-teaching)'을 통한 대담한 실험이었습니다. 연구진은 인간 전문가가 정답을 타이핑하지 않고도 로봇이 스스로 학습할 수 있는지 확인하고 싶었습니다. 그들은 동일한 옛 문서 수천 페이지를 가져와 첫 번째 로봇(아서 1)에게 텍스트를 추측하게 했습니다. 그다음, 강력한 언어 도구(Gemini라는 AI)를 사용하여 그 추측들을 다시 옛 서체로 번역했습니다. 마지막으로, 컴퓨터 프로그램이 로봇의 추측이 원래 페이지와 일치하는지 확인했습니다. 만약 추측이 충분히 근접했다면, 그것을 새로운 학습 예시로 유지했습니다. 이 과정을 통해 인간의 주석 작업 없이 기계에 의해 생성된 23,000행 이상의 방대한 데이터셋이 만들어졌습니다.

결과는 매우 흥-미로웠으며, 하나의 트레이드오프(trade-off)를 드러냈습니다. 아즈라 1(인간이 가르친 로봇)은 자신이 훈련받은 특정 스타일을 읽을 때 챔피언이었습니다. 그러나 연구진이 '나스크(Naskh)'라고 불리는 완전히 다른 형태의 격식 있는 서체로 테스트했을 때, 아즈라 1은 다소 비틀거렸습니다. 이 로봇은 리카 서체의 외형을 너무 잘 암기한 나머지, 새로운 스타일에는 혼란을 느꼈던 것입니다.

아즈라 2(자기 학습한 로봇)는 익숙한 서체에서는 약간 덜 완벽했지만, 훨씬 더 유연했습니다. 자신의 부트스트래핑(bootstrapping) 과정을 통해 생성된 더 넓고 다양한 예시들을 보았기 때문에, 아즈라 2는 새로운 '나스크' 스타일을 인간이 가르친 로봇만큼이나, 혹은 때로는 그보다 더 잘 처리했습니다. 이는 비록 기계에 의해 만들어진 것이라 할지라도, 거대하고 다양한 데이터 더미를 갖는 것이 AI를 더 견고하게 만들고 새로운 필기 스타일에 혼란을 느끼지 않게 한다는 점을 시사합니다.

연구팀은 또한 로봇이 범하는 실수를 면밀히 조사했습니다. 그들은 오류가 무작위가 아니라는 것을 발견했습니다. 오류는 텍스트를 서로 주고받는 과정에서 발생하는 특정한 '혼동' 때문이었습니다. 예를 들어, AI는 작은 점 하나 위치의 차이만 있는 매우 유사해 보이는 세 글자를 혼동하거나, 번역 도구가 옛 규칙을 알지 못해 역사적 글자를 현대 글자로 바꾸기도 했습니다. 이는 매우 중요한 발견입니다. 즉, 문제는 로봇이 글자를 '보지' 못하는 것이 아니라, 과정 중간에 있는 '번역기'가 해당 언어의 특수한 역사를 더 똑똑하게 이해해야 한다는 것입니다.

요약하자면, 이 논문은 우리가 역사를 읽는 강력한 도구를 구축할 수 있음을 보여줍니다. 인간이 검증한 데이터가 특정 스타일에 대한 완벽한 정확도의 황금 표준이기는 하지만, 영리하고 자율적인 방법은 AI가 다양한 필기 스타일에 더 잘 적응할 수 있도록 만드는 방대한 양의 훈련 데이터를 생성할 수 있습니다. 앞으로 나아갈 길은 단순히 로봇에게 더 많은 그림을 먹이는 것이 아닙니다. 로봇이 그 까다로운 점 없는 글자들을 혼동하지 않도록, 서체의 미묘하고 역사적인 규칙을 이해하도록 가르치는 것입니다.

기술 요약: VLM 기반 오스만 튀르키예어 필기체 텍스트 인식을 위한 교차 언어 전이 학습 및 자율 데이터 부트스트래핑

1. 문제 정의

역사적 오스만 튀르키예어 원고의 자동 전사는 심각한 자원 부족과 고유한 언어적 복잡성으로 인해 여전히 중요한 과제로 남아 있다. 코퍼스의 특징은 다음과 같다:

스크립트 복잡성: 글자 모양이 위치(초성, 중성, 종성, 독립형)에 따라 변하는 흘림체 형태의 우측에서 좌측 방향 아랍 문자.
언어적 혼종성: 아랍어와 페르시아어 어휘가 풍부하게 결합된 튀르키예어 구문론을 지니고 있어, 깊은 문맥적 이해를 요구함.
철자법적 모호성: 비음성적 철자법, 빈번한 모음 생략, 그리고 밀집된 수직적 문자 적층(특히 Riqa 서체에서)은 표준 OCR 엔진의 작동을 방해함.
데이터 희소성: 1928년 오스만 스크립트 사용 폐지로 인해 전문가 주석가의 부족 현상이 발생했으며, 현대의 필기체 텍스트 인식(HTR) 모델들은 라틴 기반 언어에 불균형적으로 집중되어 있음.

Osmanlica.com과 같은 기존 솔루션은 종종 다단계 파이프라인(탐지 후 인식)에 의존하며, 이는 텍스트 탐지가 불완전할 경우 실패하며 특유의 흘림체 역사적 필기체의 미묘한 차이를 처리하는 데 어려움을 겪는다.

2. 방법론

저자들은 Qwen2.5-VL-3B-Instruct 아키텍처를 기반으로 한 엔드 투 엔드 시각-언어 모델(VLM) 프레임워크를 제안한다. 핵심 전략은 아랍어-영어 필기체 모델로부터의 **교차 언어 전이 학습(Cross-Lingual Transfer Learning)**과 주석 병목 현상을 극복하기 위한 **자율 데이터 부트스트래핑(Autonomous Data Bootstrapping)**이다.

기본 모델 적응:
기초 모델은 sherif1313/Arabic-English-handwritten-OCR-v3 모델이며, 이는 Qwen2.5-VL의 LoRA 미세 조정 변형이다. 저자들은 tie_word_embeddings=True를 활능화하는 것이 수렴 안정성에 결정적임을 확인했다. 이 기본 모델은 오스만 튀르키예어와 상당 부분 겹치는 아랍 스크립트의 시각적 특징(리거처, 다이아크리틱)에 대한 사전 지식을 제공한다.

두 가지 모델 변형:

Azra 1 (큐레이션된 미세 조정):
- 데이터: Osmanlica.com(Riqa 스타일)에서 추출한 인간 검증 라인 레벨 샘플 1,306개와 고등교육위원회(YÖK) 학위 논문의 페이지 레벨 샘플 2,000개가 혼합된 코퍼스.
- 처리: YÖK 논문은 라틴 스크립트 전사본을 포함하고 있다. 이들은 그라운드 트루스를 생성하기 위해 Google의 Gemini 3.1 Flash Lite API를 사용하여 아랍 스크립트로 역전사되었다.
- 목표: 인간이 검증한 데이터를 사용하여 고성능 베이스라인을 구축함.
Azra 2 (자율 부트스트래핑):
- 데이터: 오직 YÖK 논문 코퍼스(23,072 라인)에서만 유도되었으며, Azra 1에 사용된 Osmanlica.com 코퍼스와는 중복이 없음.
- 파이프라인:
  1. 세그멘테이션: DBNet 기반의 Hedrax/AHDoc 모델을 사용하여 전체 페이지 이미지를 라인 레벨 경계 상자로 분할함.
  2. 초안 작성: Azra 1이 이 라인들에 대한 초안 전사본을 생성함.
  3. 정렬 및 필터링: 동적 슬라이딩 윈도우 알고리즘(difflib.SequenceMatcher)을 사용하여 초안 라인 텍스트를 페이지 레벨 참조 텍스트(Gemini에 의해 생성됨)와 정렬함.
  4. 선택: 정렬 비율이 $\ge$ 0.60인 쌍들만 유지하여, 인간의 주석 없이 고신뢰도의 완전 자율 훈련 세트를 생성함.

훈련 설정:
두 모델 모두 **저계수 적응(LoRA)**을 활용했다. Azra 2는 더 광범한 LoRA 설정(Rank 32 vs 16)을 채택하였으며, 시각-언어 커넥터 프로젝션 레이어를 포함하여 학습 가능한 파라미터를 전체 모델의 2.14%까지 늘렸다.

3. 주요 기여

새로운 프레임워크: 아랍어 필기체 모델로부터의 교차 언어 전이를 활용하여 오스만 튀르키예어 HTR에 특화된 엔드 투 엔드 VLM 접근 방식을 제시함.
자율 부트스트래핑: LLM 기반 역전사와 문자열 정렬 필터링을 사용하여 페이지 레벨 데이터로부터 라인 레벨 훈련 쌍을 생성하는 방법론을 구축함.
체계적 벤치마킹: 큐레이션된 데이터와 부트스트래핑된 데이터, 그리고 분포 내(Riqa) 데이터와 분포 외(Naskh) 데이터의 일반화 성능을 상업적 베이스라인(Osmanlica.com) 및 제로샷 베이스라인과 비교하여 종합적으로 평가함.
오류 분석: 일반적인 인식 노이즈가 아닌, 역전사 파이프라인의 특정 단계에서 발생하는 체계적 오류를 추적하는 세밀한 문자 레벨 분석을 수행함.

4. 실험 결과

모델은 두 가지 테스트 세트, 즉 분포 내 Riqa 세트(112 라인)와 분포 외 OpenITI MAKHZAN 세트(Naskh 스타일 위주의 142 라인)에서 평가되었다.

분포 내(Riqa) 성능:

Azra 1은 0.208의 문자 오차율(CER)을 달성하였으며, 이는 베이스 모델(0.677) 대비 69.2%의 상대적 감소를 나타내며 상업용 Osmanlica.com 시스템(0.360)보다 우수한 성능을 보였다.
Azra 2는 이 특정 세트에서 더 높은 CER(0.410)을 기록했는데, 이는 테스트 세트에 사용된 Osmanlica.com 코퍼스에 대한 노출 부족과 자율 부트스트래핑에 내재된 노이즈 때문인 것으로 보인다.

분포 외(MAKHZAN/Naskh) 성능:

Azra 2는 뛰어난 일반화 능력을 입증하여, Azra 1(CER 0.357)과 통계적으로 유사한 수준이면서도 단어 오차율(WER)과 chrF++ 점수에서 훨씬 더 나은 성과를 거두었다.
Azra 1은 Naskh로 이동할 때 CER이 71.6% 상대적으로 악화되는 등 Riqa 스타일에 과적합되는 징후를 보였다.
Azza 2의 더 크고 이질적인 부트스트랩 코퍼스는 규제제(Regularizer) 역할을 하여, 큐레이션된 모델보다 미학습 서체 전통에 더 잘 일반화될 수 있게 하였다.
두 VLM 모두 MAKHZAN 세트에서 Osmanlica.com(CER 0.510)보다 우수한 성능을 보여, 다양한 스크립트에 대한 탐지 기반 파이프라인의 한계를 드러냈다.

오류 분석 결과:
체계적 오류는 역전사 파이프라인(Gemini)에서 기인한 것으로 밝혀졌다:

Ya-변이형: 오스만 yā(ی), 표준 아랍어 yā(ي), 그리고 alif maqsura(ى) 사이의 혼동. Azra 2는 베이스 모델의 편향을 물려받았고, Azra 1과 Osmanlica.com은 동일한 패턴의 편향을 공유했다.
Kef/Sağır Kef: Azra 2는 고어인 오스만 kef(ڭ)를 표준 kaf(ك)로 과도하게 교정하는 경 현상을 보였는데, 이는 LLM의 역사적 철자 지식 부족에서 비롯된 직접적인 결과이다.
스크립트 레벨 불안정성: 베이스 모델은 라틴 문자를 출력하거나 과도한 다이아크리틱을 출력하는 등 상당한 불안정성을 보였으나, 미세 조정을 통해 대부분 완화되었다.

5. 의의 및 주장

본 논문은 자율 부트스트래핑이 전문가 주석 비용을 획기적으로 줄이면서도 큐레이션된 미세 조정의 성능에 근접할 수 있는 저자원 역사적 스크립트를 위한 실행 가능한 전략임을 주장한다. 구체적으로:

데이터 품질 vs 양: 큐레이션된 데이터가 분포 내 성능에서 우위를 점하지만, 자율 부트스트래핑된 데이터(Azra 2)는 더 높은 강건성과 분포 외 스타일에 대한 일반화 능력을 제공한다. 이는 역사적 HTR에서 데이터의 다양성이 매우 중요함을 시사한다.
교차 언어 전이: 아랍어 필기체 모델을 기초로 활용하는 것은 효과적이지만, 스크립트 특유의 철자법적 미묘한 차이에 대한 세심한 처리가 필요하다.
파이프라인 병목 현상: 자율 파이프라인의 주요 오류 원인은 인식 모델 자체가 아니라, 역전사 단계의 언어적 충실도에 있다. 이 특정 단계를 개선하는 것(예: 특정 철자 쌍에 대한 더 나은 프롬프트 또는 규칙 기반 교정)이 모델 전체를 재학습하지 않고도 성능을 높일 수 있는 경로를 제공한다.

저자들은 이 프레임워크가 전문가 주석가가 부족한 상황에서 오스만 아카이브를 디지털화할 수 있는 확장 가능한 경로를 제공한다고 결론지으며, 향후 연구는 이를 다른 서체(Ta'liq, Dîvânî)로 확장하고 데이터 생성 파이프라인의 철자법 처리를 정교화하는 데 집중해야 한다고 제언한다.