💬 NLP

Stoicheia: Character-Level Masked Diffusion for Ancient Greek Textual Restoration, Parsing, and Metrical Scansion

Stoicheia는 텍스트 복원, 구문 분석, 운율 스캔싱을 하나의 프레임릿으로 통합하여 Ithaca 및 Aeneas와 같은 기존 시스템들을 크게 능가하며 여러 과업에서 최첨단 성능을 달성한, 탈오염된 고대 그리스어 코퍼스로 학습된 405M 파라미터 규모의 문자 수준 마스크 확산 모델이다.

원저자: Eric Cullhed, Albin Thörn Cleland

게시일 2026-08-10

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Eric Cullhed, Albin Thörn Cleland

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

수천 년 전의 책들이 있고, 그 언어가 수천 년에 걸쳐 진화하고 변화해 온 도서관을 상상해 보십시오. 이것이 바로 컴퓨터 과학자들이 역사학자 및 언어학자들과 협력하여 고대 텍스트를 읽고, 복원하며, 이해하는 분야인 **계산 문헌학(computational philology)**의 세계입니다. 문제는 이 오래된 책들이 종종 손상되어 페이지가 유실되었거나, 띄어쓰기, 쉼표, 혹은 오늘날 우리가 사용하는 작은 악센트 기호도 없이 글자들이 무질서하게 연속적으로 나열되어 있다는 점입니다. 이를 이해하기 위해 연구자들은 AI 모델—당신의 휴대폰이 다음에 입력할 단어를 예측하는 것과 유사하게, 다음에 올 시퀀스를 예측하도록 훈련된 컴퓨터 프로그램—을 사용합니다. 하지만 여기에는 함정이 있습니다. 대부분의 AI 모델은 '서브워드(subwords, 글자 덩어리)' 단위로 훈련되기 때문에, 고대 석판 조각이나 파피루스 두루마리에 있는 아주 미세한 글자 단위의 구멍을 메우는 데 서툽니다. 또한 이 모델들은 학습한 책들을 '암기'하는 경향이 있어, 본 적 없는 텍스트에 대해 문제를 해결하는 데 신뢰하기 어렵습니다. 이 논문은 다음과 같은 단순하지만 매우 중요한 질문을 던집니다. "우리는 고대 그리스어를 글자 단위로 읽고, 텍스트가 쓰였던 복잡한 역사를 이해하며, 한 번도 접해보지 못한 새로운 고대 문헌의 퍼즐을 풀 수 있는 더 똑똑하고 정직한 AI를 만들 수 있을까?"

그 해답으로, 고대 그리스어를 위한 궁극의 탐정이 되도록 설계된 새로운 AI 모델인 Stoicheia가 등장했습니다. 이것을 깨진 꽃병을 보고 단순히 모양을 추측하는 것이 아니라, 찰흙의 질감, 균열, 채색, 그리고 조각들이 어떻게 맞물리는지를 동시에 살피는 숙련된 복원가라고 생각하십시오.

기존 AI의 문제점

Stoicheia 이전의 최선이었던 AI 도구들은 특정 시험의 답안을 통째로 외운 학생들과 같았습니다. 만약 그들이 공부했던 텍스트에 대해 질문한다면 훌륭하게 대답하겠지만, 본 적 없는 새로운 비문을 건네준다면 그저 기억 속의 유사한 구절을 읊거나 혼란에 빠질 것입니다. 게다가 이러한 모델들은 단어를 하나의 덩어리로 취급하는 경우가 많았습니다. 하지만 고대의 손상은 깔끔하지 않습니다. 돌에 생긴 균열은 단어의 한복판을 가로지를 수 있습니다. 이를 고치기 위해서는 모든 개별 글자, 모든 악센트 기호, 그리고 모든 문장 부호를 하나하나 다 살펴봐야 합니다.

Stoichiea의 작동 원리: 5층 샌드위치

Stoicheia의 제작자들은 독특한 "5층 샌드위치" 구조를 가진 모델을 구축했습니다. 모델은 단순히 글자의 나열을 보는 것이 아니라, 완벽하게 정렬된 다섯 가지 서로 다른 요소가 동시에 일어나는 것을 봅니다:

글자(Letters): 기본 알파벳.
경계(Boundaries): 단어의 끝과 다음 단어의 시작 (원본 텍스트에 공백이 없더라도).
악센트(Accents): 발음을 변화시키는 모음 위의 작은 기호들.
대소문자(Capitalization): 어떤 글자가 대문자이고 소문자인지.
문장 부호(Punctuation): 쉼표, 마침표 및 기타 중단 기호.

찢어진 지도를 고치는 상황을 상상해 보십시오. 일반적인 AI는 사라진 도시 전체를 한꺼번에 추측하려 할 것입니다. 그러나 Stoicheia는 찢어진 가장자리, 잉크의 색상, 격자선, 그리고 나침반의 방위 표시를 각각 따로 살펴본 다음, 이들을 하나로 엮어냅니다. 이를 통해 띄어쓰기나 악센트가 없는 무질서한 고대 텍스트를 가져와서, 각 작업마다 모델을 다시 훈련시킬 필요 없이 빈 부분을 채우고, 올바른 악센트를 추가하며, 문장이 어디서 끊기는지 파악하여 "복원"할 수 있습니다.

"정직한" 훈련: 본 적 없는 데이터

이 프로젝트에서 가장 영리한 부분 중 하나는 AI가 "정직하게" 훈련되도록 만든 방식입니다. 보통 AI 모델은 사용 가능한 모든 것을 학습하므로, 당신이 문제를 보여주기도 전에 이미 특정 퍼즐의 답을 암기해 버릴 수 있습니다. 연구자들은 Stoicheia가 단순히 답을 기억하는 것이 아니라 실제로 문제를 풀고 있는지 확인하고 싶었습니다.

이를 위해 그들은 열한 가지 버전의 모델을 만들었습니다. 그들은 3억 6천 1백만 단어에 달하는 방대한 라이브러리를 열 개의 그룹으로 나누었습니다. 각 모델은 아홉 개 그룹으로 훈련되고 나머지 한 개 그룹으로 테스트되었습니다. 즉, 어떤 고대 텍스트를 던져주더라도, 그 텍스트를 생애 단 한 번도 본 적 없는 버전의 Stoicheia가 반드시 존재한다는 뜻입니다. 이는 마치 열 명의 탐정 팀을 구성하고, 매 범죄 현장마다 그 동네를 한 번도 가본 적 없는 탐정을 선발하는 것과 같습니다. 이 방식은 모델이 문제를 풀 때 기억력이 아닌 자신의 두뇌를 사용하고 있음을 보장합니다.

결과: 최고를 넘어서다

팀은 Stoicheia를 세 가지 주요 방식으로 테스트하여 기존의 최고 시스템들(Ithaca 및 Aeneas 등) 및 무작위의 "멍청한" 가중치로 시작한 모델과 비교했습니다.

손상된 석판과 두루마리 복원: 손상된 비문과 파피루스의 누락된 글자를 채우는 과제에서 Stoicheia는 챔피언이었습니다. 3,000개의 간극(gap)에 대한 표준 테스트에서, Stoicheia는 오류율을 **15.5%**로 낮추며 이전 최고 기록인 **24.6%(Ithaca)**를 경신했습니다. 또한 "최선의 추측"을 맞춘 비율은 **74.5%**로, 기존 기록인 **63.0%**보다 높았습니다. 더욱 인상적인 것은, 다른 모든 AI 모델의 훈련이 끝난 후 편집된 새로운 문서들에 대해 테스트했을 때도 Stoicheia가 여전히 우위를 점했다는 점이며, 이는 모델이 단순히 과거의 답을 암기한 것이 아님을 증명합니다.
문법 이해: 팀은 Stoicheia가 고대 그리스어의 문법(단어를 태깅하고 단어 간의 관계를 파악하는 것)을 이해할 수 있는지 테스트했습니다. 여기서 Stoicheia는 훨씬 더 큰 데이터셋으로 훈련된 모델들을 포함하여 모든 모델을 제쳤습니다. 핵심적인 발견은 "사전 훈련(pre-training)"(방대한 학습 단계)이 성능의 거대한 도약을 만들어냈다는 것이며, 이는 처음부터 시작한 모델보다 약 12.9포인트 더 높은 성과를 냈습니다. 이는 모델의 "두뇌"가 단순한 도구 이상의 핵심적인 역할을 수행했음을 입증합니다.
시의 리듬 읽기: 고대 그리스 시는 모음의 길이(장음 또는 단음)에 의존하여 리듬을 만들지만, 쓰인 텍의에는 이것이 나타나지 않습니다. Stoicheia는 이러한 숨겨진 길이를 **93.37%**의 정확도로 찾아냈으며, 확신이 없어 40%의 단어에 대해 "기권(abstain)"해야 했던 특화된 규칙 기반 시스템을 능가했습니다. Stoicheia는 포기하지 않았습니다.

이것이 왜 중요한가

결론적으로 Stoicheia는 개방성(데이터와 코드가 공개됨), 정밀도(글자 단위로 작동함), 그리고 무결성(모델이 어떤 텍스트를 보았고 보지 못했는지 정확히 알 수 있음)을 결합했기에 게임 체인저가 됩니다. 이를 통해 학자들은 손상된 고대 텍스트를 보고 "이것이 무엇을 말하는가?"라고 물을 때, AI가 단순히 암기한 교과서적 답변을 읊는 것이 아니라는 확신을 가질 수 있습니다. 이는 우리가 과거를 새로운 시각으로 읽을 수 있게 해주며, 고대 그리스의 이야기들이 기억이 아닌 '이해'를 통해 복원되도록 보장합니다.

하지만 저자들은 이것이 마법의 지팡이는 아니라는 점을 주의 깊게 언급합니다. 모델은 훈련된 데이터만큼만 유능하며, 데이터의 상당 부분이 다른 AI 도구에 의해 "수리"된 것이기에 오류의 위험이 존재합니다. 또한, 모델은 불확실한 상황에서도 항상 답을 내놓으므로, 인간 전문가의 검토가 여전히 필요합니다. 그러나 우리는 처음으로, 이전에는 불가능했던 수준의 정직함과 정밀함으로 고대의 미스터리를 해결할 수 있는 시스템을 갖게 되었습니다.

기술 요약: Stoicheia

문제 정의

고대 그리스어에 대한 계산 연구는 현재의 신경망 접근 방식에서 네 가지 결정적인 한계에 직면해 있다:

폐쇄적 데이터: 고품질 코퍼스(예: TLG)는 종종 제한적으로 라이선스가 부여되며, GreBERTa나 Logion과 같은 개방형 사전 학습 노력조차도 학습 데이터를 공개하지 않는 경우가 많아, 데이터 오염의 재현성과 검증을 방해한다.
서브워드 토큰화(Subword Tokenization): 표준 서브워드 어휘집은 글자의 결락(lacunae)을 측정하거나 음절의 운율적 양을 결정하는 것과 같이 문헌학적 정밀도를 요구하는 과업과 일치하지 못한다.
편집 층위(Editorial Layering): 현대 판본으로 학습된 모델은 악센트, 구두점, 분절이 포함된 텍스트를 정답(ground truth)으로 수용하여 수 세기에 걸친 편집적 해석을 하드코딩하며, 이는 기호의 가공되지 않은 전승 과정을 조사하는 것을 어렵게 만든다.
암기(Memorization): 생존하는 전체 코퍼스로 학습된 범용 모델은 특정 구절을 "보지 못한" 상태임을 보장할 수 없으므로, 모델의 무지가 증명되어야 하는 순환 논리를 피해야 하는 텍스트 복원 작업에는 부적합하다.

방법론

데이터 구축

저자들은 인터넷 아카이브의 서적들, PleIAs Greek-PD, Opera Graeca Adnotata를 포함한 9가지 출처로부터 유래한 약 3억 6,100만 단어 규모의 개방형, 버전 고정형(revision-pinned) 사전 학습 코퍼스를 구축했다.

품질 계층(Quality Tiers): 텍스트는 정규화 파이프라인을 거쳐 정제도에 따라 계층이 할당되었다. "순수(pristine)" 계층(~~9,000만 단어)은 손대지 않은 상태로 공개되었다. "수정(repaired)" 계층(~~2억 7,100만 단어)은 잘 알려진 OCR 오류만을 수정하고 조작 대신 폐기하도록 제약이 걸린 지시 미세 조정된 LLM(Qwen3.6-27B)을 사용하여 재구성되었다.
합성 증강(Synthetic Augmentation): Corpus Corporum의 라틴어 소장 자료를 고대 그리스어로 기계 번역하여 약 14억 자의 "브론즈(bronze)" 계층을 생성했다.
오염 제거(Decontamination): 확실한 무지를 보장하기 위해, 저자들은 레코드의 정체성에 따라 클러스터링하고 홀드아웃 테스트 세트에 등장하는 텍의 텍스트를 제거하는 13단계 파이프라인을 구현하여, 주어진 구절에 대해 적어도 하나의 공개된 모델은 해당 구절을 본 적이 없음을 보장했다.

모델 아키텍처: Stoicheia

Stoicheia는 405M 파라미터의 캐릭터 레벨 마스크 확산(masked-diffusion) 트랜스포머이다.

입력 팩터화(Input Factorization): 서브워드 모델과 달리, 입력은 **다섯 개의 정렬된, 독립적으로 마스킹 가능한 평면(planes)**으로 팩터화된다:
1. 기본 글자 식별 (24개 기호 알파벳).
2. 단어 및 문장 경계.
3. 다이아크리틱 (악센트, 기기, 이오타 하첨자, 디아레시스).
4. 대문자 구분.
5. 구두점 범주.
아키텍처 세부 사항: 모델은 깊이 32, $d_{model}=1024$ , QK-norm을 사용한다. 어텐션은 밴드(banded) 구조를 갖는다: 4개의 블록 중 3개는 256자 윈도우 내에서 어텐션을 수행하며, 나머지 1개는 전역적으로 어텐션을 수행한다.
학습 목표: 모델은 이산 확산(discrete diffusion) 목표를 채택한다. 훈련 시퀀스는 클립된 베타 분포(clipped Beta distribution)에서 추출된 비율 $t$ 에 따라 손상된다. 손상 패턴은 단어 경계를 무시하는 연속적인 구간, 전체 단어, 그리고 탄성 마스킹(elastic masking, 길이가 $L$ 인 구간이 $M \ge L$ 인 마스크 슬롯으로 대체되어 가변 길이 인필링을 학습하게 함)을 모사한다.
사전 학습 레짐(Pretraining Regime): 훈련은 웜업, 상수 피크 학습률, 코사인 디케이(cosine decay)를 포함한다. 단계적 어닐링(annealing) 프로세스는 합성 및 규칙 기반 데이터를 점진적으로 가중치 감소시켜, 최종적으로 골드(gold) 데이터만 남도록 한다.

체크포인트

저자들은 열한 개의 체크포인트를 공개했다:

열 개의 로테이티드 폴드(Rotated Folds): Stoicheia_fold_0부터 fold_9까지, 이는 문헌 코퍼스의 80/10/10 회전 분할을 나타낸다. 이를 통해 특정 구절에 대해 적어도 하나의 모델은 해당 구절을 본 적이 없음을 증명할 수 있다.
하나의 문서 정제 모델: Stoicheia_doc_clean은 비문(inscriptions), 파피루스, 그리고 이를 인용한 모든 텍스트를 제외하여, 비문 및 파피루스 연구를 위한 누출 없는 베이스를 제공한다.

실험 설계

논문은 세 가지 과업에 대해 **매칭된 랜덤 초기화 대조군(matched random-initialization control)**과 쌍을 이루어 Stoicheia를 평가한다. 이 설계는 동일한 레시피 하에서 사전 학습된 모델과 랜덤 초기화 모델을 모두 수렴하도록 훈련함으로써 사전 학습의 구체적인 기여도를 격리하여 측정한다. 유의성은 쌍체 검정(sign-flip permutation, McNemar's exact test)을 통해 평가된다.

주요 결과

1. 문서 재구성 (비문 및 파피루스)

성능: Ithaca의 자체 테스트 분할(3,000개 고정 샘플)에서, Stoicheia v2는 글자 에러율(CER) 15.5를 달 기록했으며, 이는 Ithaca(24.6)와 2025년 Aeneas 프레임워크(23.5)를 유의미하게 능가한 수치이다.
정확도: Top-1 정확도는 74.5%로, Ithaca(63.0%) 및 Aeneas(64.0%)보다 높았다.
일반화: 최근에 편집된 문서(모든 시스템의 훈련 컷오프 이후 편집됨)에 대해, Stoicheia는 비문 베이스라인 대비 CER을 31–36% 감소시켰으며, 파피루스에 대해서는 8B 인스트럭션 튜닝된 Llama 대비 12.4% 감소시켰다.
사전 학습의 영향: v1 레시피에서 사전 학습된 백본을 랜덤 초기화 대조군으로 교체했을 때, 비문에서 CER이 5.64 포인트, 파피루스에서 3.42 포인트 증가했다.

2. 형태통사론적 태깅 및 의존 구문 분석 (Morphosyntactic Tagging and Dependency Parsing)

성능: Stoicheia는 Celano(2025)의 트리뱅크 분할에서 83.81 LAS(Labeled Attachment Score)를 달성했다.
비교: 이는 가장 강력한 튜닝된 서브워드 베이스라인인 PhilBERTa(82.89 LAS)를 능가했으며, 다른 모든 외부 인코더(예: Logion, XLM-R, mBERT)를 크게 앞질렀다.
사전 학습의 영향: 수렴 시 사전 학습된 모델(83.89 LAS)과 랜덤 초기화 대조군(71.00 LAS) 사이의 격차는 12.9 LAS였으며, 이는 사전 학습이 아키텍처 용량을 넘어 실질적으로 기여함을 입증한다.

3. 장단음 표시(Macronization) 및 운율 스캔(Metrical Scansion)

장단음 표시: Stoicheia는 Norma 벤치마크에서 93.37%의 정확도를 기록하여, 전용 캐릭터 트랜스포머(90.55%)와 규칙 기반 시스템(40%의 경우 기권함)을 넘어섰다.
운율 스캔: 모델은 음절 무게 스캔(syllable-weight scansion)에서 **89.74%의 균형 정확도(balanced accuracy)**에 도달했다.
사전 학습의 영향: 사전 학습은 장단음 표시에서 +6.0 포인트의 균형 정확도를 기여했다. 저자들은 스캔 작업은 주로 철자법으로부터 계산 가능하지만(랜덤 초기화 모델도 잘 수행함), 장단음 표시는 사전 학습을 통해서만 얻을 수 있는 어휘 및 형태론적 지식을 필요로 한다고 언급했다.

의의 및 주장

본 논문은 Stoicheia가 디지털 문헌학의 네 가지 요구 사항을 해결한다고 주장한다.

개방성: 이전의 최첨단 시스템들과 달리, 수정 사항이 고정된 개방형 코퍼스와 코드를 제공한다.
글자 단위 해상도: 독립적인 평면을 가진 캐릭터 상에서 직접 작동함으로써, 서브워드 토큰화가 자연스럽게 지원할 수 없는 과업(결락, 운율)을 처리한다.
분리 가능한 편집 층위: 다중 평면 입력을 통해, 모델이 편집적 결정을 하드코딩하지 않고도 무악센트 scriptio continua 또는 완전히 편집된 텍스트를 처리할 수 있게 한다.
보장된 무지: 로테이티드 폴드 및 문서 정제 체크포인트는 특정 텍스트에 대해 모델이 본 적이 없음을 증명할 수 있는 모델이 존재함을 보장하여, 재구성 작업에서의 순환 논리를 제거한다.

저자들은 관찰된 세 가지 실험 전반의 성능 향상이 모델 용량이나 레시피보다는 사전 학습 자체에 기인한다는 결론을 내린다. 이는 매칭된 랜덤 초기화 대조군을 통해 입증되었다. 이를 통해 편집자들은 텍스트를 "회상"하는 것이 아니라, 텍스트를 보지 못한 모델을 통해 전통(tradition)을 조사할 수 있는 새로운 패러다임을 제공받게 된다.