기술 요약: 역사적 이탈리아어는 언어 모델에게 얼마나 놀라운가?

문제 제식

대규모 언어 모델(LLM)은 OCR 사후 교정, 인덱싱, 검색과 같은 디지털 라이브러리 워크플로에 점점 더 많이 통합되고 있다. 그러나 이러한 모델이 역사적 언어를 처리하는 능력은 여전히 제대로 이해되지 않고 있다. 현재의 평가는 "역사적 난이도"를 하나의 단일한 장벽으로 취급하여, 철자 변이(orthographic variation), 언어적 거리(linguistic distance), 그리고 사전 학습 노출(pretraining exposure)이라는 세 가지 뚜렷한 요인을 혼동하고 있다. 이러한 혼동은 모델이 기계적인 인코딩 비효효율성(토큰화) 때문에 어려움을 겪는 것인지, 아니면 진정한 이해 결핍(예측 불확실성) 때문에 어려움을 겪는 것인지를 모호하게 만든다. 또한, 정전적(canonical) 역사 텍스트(예: 만조니의 I Promessi Sposi)에 의존하는 것은 학습 코퍼스에서의 높은 노출도로 인해 지나치게 낙관적인 결과를 낼 수 있으며, 이는 비정전적(non-canonical)이고 표준화 이전의 아카이브 자료가 갖는 도전 과제를 제대로 나타내지 못한다.

방법론

저자들은 역사적 난이도를 네 가지 별개의 차원으로 분해하는 진단 프레임워크를 제안한다:

1. 토큰화 비용 (Tokenization Cost): 현대화된 기준점과 비교하여 상대적인 토큰 수 증가를 측정함으로써 인코딩 비효율성을 정량화한다.
2. 예측 불확실성 (Predictive Uncertainty, Surprisal): 다음 토큰 예측에서의 퍼플렉시티($PPL$)를 측정하여, 모델의 불확실성을 이해 난이도의 대리 지표로 사용한다.
3. 의미론적 강건성 (Semantic Robustness): 역사적 문장과 현대적 문장 쌍의 임베딩 간 코사인 유사도를 계산하여, 고어 형태가 안정적인 의미 공간에 매핑되는지 결정한다.
4. 문맥 민감도 (Context Sensitivity): 최소한의 시간적 문맥 프롬프트(예: "1687년의 이탈리아 텍වා")가 퍼플렉시티를 줄이는 데 미치는 영향을 평가한다.

데이터셋:
본 연구는 특정 난이도의 원인을 격리하기 위해 세 세기에 걸친 세 가지 데이터셋을 평가한다:

• 17세기 이탈리아어 (1610–1689): 원본 페이지 이미지에서 디지털화된 다섯 가지 비정전적 텍스트(종교 논문, 학술 산문 등)로 구성된 새롭게 큐레이션된 코퍼스. 이 데이터셋은 고어 철자(예: 긴 s ſ)와 라틴어의 영향을 받은 구문, 그리고 버테(verbatim) 사전 학습 노출 가능성이 낮은 특징을 가진다.
• 19세기 이탈리아어 (I Promessi Sposi, Quarantana 판본): 높은 노출도를 가진 대조군. 이 정전적 텍스트는 철자가 표준화되어 있고 어휘적 친숙도가 높을 때의 모델 행동을 보여주는 "최선의 사례" 베이스라인 역할을 한다.
• 18세기 러시아 시민 인쇄본: 극단적인 철자적 격차(obsolete characters인 yat, fita 등)를 특징으로 하지만, 현대 러시아어와의 어휘 및 구문적 거리는 상대적으로 제한적인 대조적 스트레스 테스트.

모델:

• 토큰화: OpenAI o200k_base (GPT-4o/5 제품군) 및 Qwen 2.5 토크나이저.
• 퍼플렉시티: 가공되지 않은 확률 분포를 보장하기 위해 Qwen 2.5-1.5B (base checkpoint) 사용.
• 임베딩: OpenAI text-embedding-3-large, Google LaBSE, 그리고 Qwen 2.5-1.5B 은닉 상태(hidden states).

주요 결과

1. 인코딩 비용과 이해력 사이의 해리

연구는 토큰화 효율성과 예측 난이도 사이의 뚜렷한 디커플링(decoupling)을 밝혀냈다.

• 토큰화 세금 (Tokenization Tax): 18세기 러시아어와 17세기 이탈리아어 모두 유사한 토큰화 페널티(약 25–30% 증가)를 입는다. 러시아어의 경우 이는 구식 문자로 인한 바이트 수준의 폴백(fallback)에 의해 발생하며, 이탈리아어의 경우 어휘집에 존재함에도 불구하고 서브워드 파편화를 일으키는 긴 s(ſ)에 의해 발생한다.
• 예측 난이도: 유사한 인코딩 비용에도 불구하고 퍼플렉시티 비율은 극명하게 갈린다.
  • 러시아어: 현대 기준 대비 완만한 퍼플렉시티 증가(1.25배)만을 보여, 철자적 교란만으로는 모델의 예측 능력을 크게 혼란스럽게 하지 않음을 나타낸다.
  • 17세기 이탈리아어: 현대 이탈리아어보다 평균적으로 2.4배 더 놀라운(surprising) 수치를 보였으며, 학술 산문의 경우 3.2배에 달했다.
• 결론: 토큰화 비용은 역사적 복잡성의 불량한 대리 지표이다. 높은 토큰 인플레이션이 반드시 높은 이해 난이도를 의미하는 것은 아니며, 그 반대도 마찬가지이다.

2. 장르와 레지스터가 연대보다 중요하다

역사적 난이도는 시간에 따른 선형 함수가 아니다.

• 17세기 코퍼스 내에서 가장 어려운 텍스트(학술 서문, 1687)와 가장 쉬운 텍스트(묘사적 초상, 1689)는 불과 2년 차이로 출판되었다.
• 학술 텍스트는 3.22배의 퍼플렉시티 비율을 보인 반면, 묘사적 텍스트는 1.81배를 기록했다.
• 발견: 레지스터(예: 신학적 서사의 리듬감 있는 중복성 대 학술 산문의 구조적 파편화)는 연대보다 모델 성능을 결정하는 더 강력한 요인이다. 정전적인 19세기 텍스트는 높은 노출도를 바탕으로 구조적 도전 과제를 가리는 역할을 한다.

3. 생성적 불안정성에도 불구하고 유지되는 의미론적 강건성

높은 퍼플렉시티가 표현의 저하를 의미하지는 않는다.

• 역사적 문장과 현대적 문장 사이의 임베딩 유사도는 모든 데이터셋에서 견고하게 유지된다 (코사인 유사도 $\ge$ 0.85).
• Qwen 2.5 모델은 높은 퍼플렉시티가 관찰되는 생성 작업 중에도 17세기 이탈리아어에 대해 0.938의 유사도를 달성했다.
• 시사점: 모델은 토큰 단위로 생성할 때 확률적 확신이 부족하더라도, 고어의 표층 형태를 올바른 의미 공간으로 성공적으로 매핑할 수 있다.

4. 시간적 문맥을 통한 완화

최소한의, 모델 불가지론적 개입이 난이도를 유의미하게 감소시킨다.

• 짧은 시간적 문맥 프롬프트(예: "1687년의 이탈리아 텍스트")를 전치하는 것만으로 17세기 이탈리아어의 역사적 놀라움(surprisal)을 약 60% 감소시켰다.
• 이 효과는 러시아어에서는 덜 두드러졌는데(17% 감소), 이는 문맥 프라이밍이 주로 철자적 노이즈보다는 분포적 격차(어휘/구문 드리프트)가 큰 텍스트에서 더 결정적임을 시사한다.

의의 및 주장

본 논문은 "역사적 난이도"가 단일하고 해결 불가능한 문제가 아니라, 별도로 평가되어야 하는 상호작용하는 요소들의 복합체라고 주장한다:

1. 측정 지표의 분리: 연구는 토큰화 효율성(기계적 세금)이 의미론적 강건성과 상관관계가 없음을 입증한다. 디지털 라이브러리는 높은 토큰화 비용과 높은 퍼플렉시티를 유발하는 텍스트를 다룰 때도, 모델이 안정적인 내부 표현을 유지하므로 의미론적 검색 작업(검색, 클러스터링, 분류)에 LLM을 안전하게 배치할 수 있다.
2. 벤치마크 타당성: 노출도가 높은 정전적 텍스트(만조니 등)에 의존하는 것은 "롱 테일(long tail)" 아카이브 자료가 직면한 도전을 체계적으로 과소평가하게 만든다. 모델의 적합성을 정확히 평가하려면 비정전적이고 표준화 이전의 텍스트를 포함해야 한다.
3. 전략적 배치:
   • 검색: 의미론적 정렬이 높으므로 최소한의 정규화만으로도 배치가 가능하다.
   • 생력(Generation): OCR 교정이나 요약과 같은 작업은 높은 놀라움(surprisal)에 민감하며, 특정 완화 전략이 필요하다.
4. 비용 효율적 완화: 저자들은 단순한 시간적 프롬프팅이 미세 조정(fine-tuning)이나 공격적인 텍스트 정규화 없이도 모델의 기대치와 역사적 레지스터 사이의 간극을 메우고 예측 오류를 절반 이상 줄이는 매우 효과적인 비용 제로 전략임을 입증했다.

결론적으로, 본 논문은 평가 프레임워크의 변화를 촉구한다: 즉, 토큰 수와 같은 표면적 지표를 넘어 인코딩의 기계적 비용, 예측의 불확실성, 그리고 의미 표현의 안정성을 구분하는 방향으로 나아가야 한다. 이를 통해 디지털 라이브러리는 LLM을 비록 아직 "완벽한 화자"는 아닐지라도 역사의 "유능한 독자"로서 효과적으로 활용할 수 있다.