A Quantitative Confirmation of the Currier Language Distinction

크리스토프 파리셀의 논문 "커리어 언어 구분의 정량적 확인"에 대한 상세한 기술적 요약입니다.

1. 문제 제기

이 논문은 프레스코트 커리어 (Prescott Currier) 가 1976 년에 제기한, 보이니치 필사본에 두 가지 구별되는 "언어"(커리어 A 와 커리어 B 로 명명됨) 가 포함된다는 가설의 타당성을 다룹니다. 널리 인용되고 있지만, 이 구분은 역사적으로 명시적 귀무가설에 대한 엄격한 정량적 검증을 받지 못했습니다. 본 연구는 다음 세 가지 구체적인 과제를 해결하고자 합니다:

1. 통계적 변동: 관찰된 차이가 단일 동질적 텍스트 내의 무작위 노이즈에 불과한지 확인.
2. 코디콜로지적 교란: 이 구분이 manuscript 의 물리적 구조 (예: 시그네처 경계) 의 산물인지, 아니면 진정한 언어적 속성인지 검증. 커리어의 원래 할당은 이러한 물리적 분할과 상관관계가 있습니다.
3. 내재적 예측 가능성: A/B 구분이 사전 라벨 없이 발견 가능한 내재적 통계적 속성인지, 그리고 보이지 않는 텍스트 행동을 예측할 수 있는지 확립.

2. 방법론

저자들은 185 장의 필사본에 걸쳐 32,693 개의 단어 토큰으로 구성된 다카하시 EVA 전사본을 활용한 다면적 정량적 접근법을 사용했습니다.

• 데이터 표현: 연구는 11 쌍의 시각적으로 유사한 EVA 문자 (예: k/t, d/l, or/ar) 에 초점을 맞추었습니다. 각 장 (folio) 에 대해, 최소 20 회의 합계 발생 횟수 임계값을 충족하는 경우, 모든 쌍에 대해 비율 $r = \frac{\text{count}(a)}{\text{count}(a) + \text{count}(b)}$를 계산했습니다.
• 시뮬레이션 기준선: 귀무가설을 테스트하기 위해 세 가지 모델을 생성했습니다:
  • 라벨 셔플: A/B 라벨이 무작위로 섞인 실제 텍스트.
  • 단일 마르코프: 단일 동질적 마르코프 모델에서 생성된 합성 텍스트.
  • 분할 마르코프: 별도의 A 와 B 마르코프 모델에서 생성된 합성 텍스트 (양성 대조군).
• 비지도 회복: 커리어의 라벨에 접근하지 않고 장 $\times$ 쌍 비율 행렬에 클러스터링 알고리즘 (K-means, GMM 등) 을 적용하여 데이터가 자연스럽게 두 그룹으로 나뉘는지 확인했습니다.
• 생성 모델링: 원시 문자 카운트에 베타 - 이항 혼합 모델 (Beta-Binomial mixture model) 을 적합시켰습니다. 이 모델은 장의 카운트가 특정 잠재적 체제 (regime) 에 해당하는 베타 분포를 따르는 성공 확률을 가진 이항 분포에서 추출된다고 가정합니다. 최적의 체제 수 ($k$) 를 결정하기 위해 기대값 최대화 (EM) 알고리즘을 통해 모델을 적합시켰습니다.
• 예측 검증: 커리어의 A/B 정체성을 예측하기 위해 일부 장을 학습 세트로 사용하여 지도식 베타 - 이항 분류기를 훈련시켰습니다. 검증에는 교차 검증, 공간적 분할 (초기 vs 후기 필사본), 그리고 순열 검정이 포함되었습니다.
• 경계 분석: 장 간의 전환을 (동일, 시그네처만, 언어만, 둘 다) 범주화하여 언어 경계와 물리적 책 경계에서의 비율 점프 크기를 측정했습니다.

3. 주요 기여

• 비지도 발견: 커리어의 라벨에 접근하지 않고 원시 카운트에 적합된 생성 모델이 A/B 분할을 독립적으로 회복 (ARI = 0.383) 함을 입증하여, 이 구분이 데이터 구조의 내재적 속성임을 증명했습니다.
• 기능적 분류: 문자 쌍이 균일하게 행동하지 않고 범주적 (Categorical), 중간 (Intermediate), **자유 변이 (Free Variation)**라는 세 가지 구별된 기능적 체제로 분리됨을 확인했습니다.
• 코디콜로지와의 분리: 동일한 시그네처 내의 언어 전환이 물리적 시그네처 경계보다 훨씬 큰 통계적 점프를 생성한다는 통계적 증거를 제시하여, 물리적 구조가 변이의 주요 원인이 아님을 배제했습니다.
• 예측 능력: A/B 라벨을 알면 보이지 않는 장의 문자 쌍 통계를 높은 정확도로 예측할 수 있음을 확립하여, 단순한 설명을 넘어 예측으로 나아갔습니다.

4. 주요 결과

통계적 견고성

• 크래머의 V: 11 개의 문자 쌍 중 6 개가 1,000 개의 무작위 라벨 순열보다 높은 크래머의 V 값을 보였습니다. 평균 크래머의 V(0.136) 는 셔플된 기준선 (0.025) 보다 유의하게 높았습니다.
• 시뮬레이션 기각:
  • 단일 마르코프 모델은 관찰된 장 간 분산이나 경계 효과를 재현하지 못했습니다 (200 회 시뮬레이션 중 0 회 일치).
  • 분할 마르코프 모델은 집계 통계를 일치시켰지만, 실제 필사본의 높은 장 수준 분산과 경계의 날카로움을 재현하지는 못했습니다.

비지도 및 생성적 회복

• 클러스터링: 비율 행렬에 대한 K-means 클러스터링은 조정된 랜덤 지수 (ARI) 0.208 을 산출했습니다 (유의적, $p < 0.001$). "노이즈"가 많은 쌍을 제거하면 ARI 가 0.456 으로 증가했습니다.
• 베타 - 이항 혼합: 베이지안 정보 기준 (BIC) 을 기반으로 모델은 $k=2$를 최적의 구성 요소 수로 선택했습니다.
  • 모델은 185 장 중 **113 장 (61%)**을 두 체제 중 하나에 90% 이상의 사후 확신으로 할당했습니다.
  • 회복된 분할은 커리어의 수동 할당과 일치했습니다 (ARI = 0.383).

예측 검증

• 정확도: 지도식 분류기는 홀드아웃 장 라벨을 예측하는 데 89.2% 의 정확도를 달성했습니다 (교차 검증).
• 유의성: 500 개의 라벨 순열 중 0 개가 동등한 정확도를 달성했습니다 ($p < 0.002$).
• 설명된 분산: A/B 라벨은 보이지 않는 장의 문자 쌍 비율 분산의 **29.3%**를 설명했습니다 ($R^2 = 0.293$).
• 공간적 비대칭성: 순방향 공간 분할 (초기 $\to$ 후기) 은 잘 수행되었습니다 (79.6%), 반면 역방향 분할 (후기 $\to$ 초기) 은 실패했습니다 (41.3%). 이는 후기 장이 주로 B 이기 때문에 발생하는 클래스 불균형 때문이며, 신호는 실재하지만 학습 세트 구성에 민감함을 확인시켜 주었습니다.

문자 쌍 체제

연구는 11 개의 쌍을 세 가지 체제로 분류했습니다:

1. 범주적 (예: d/l, or/ar): 체제 간 거의 이진적인 전환; 클러스터링에 필수적.
2. 중간 (예: ol/al, k/t): 중간 정도의 선호도 변화; 경계 신호를 전달.
3. 자유 변이 (예: o/a, ch/sh): A/B 체제에 대한 거의 0 의 의존성; 아마도 이형적 변이를 나타냄.

• 이상치에 대한 주석: e/ch 쌍은 전역 상관관계가 거의 0 이었지만 가장 강력한 국소 경계 효과를 보였는데, 이는 그 변이가 이진 체제以外的 요인 (예: 단어 위치) 에 의해 조건 지어졌음을 시사합니다.

5. 의의

이 논문은 커리어 A/B 구분이 물리적 구조나 무작위 노이즈의 산물이 아니라, 보이니치 필사본의 진실하고 내재적이며 예측 가능한 속성임을 입증한 첫 번째 엄격한 정량적 확인을 제공합니다.

• 해독에 대한 함의: 보이니치 문자 체계에 대한 어떤 이론도 특정 문자 쌍이 체제 간에 범주적으로 전환하는 반면 다른 것들은 자유롭게 변이하는 이중 체제 구조를 설명해야 합니다.
• 텍스트의 본질: 결과는 필사본이 단일 동질적 텍스트가 아니라, 이진 A/B 분할이 주요 변이 축이지만 전체 분산의 약 29% 만 설명하므로 추가 하위 체제나 기울기가 존재함을 시사합니다.
• 방법론적 발전: 이 연구는 암호해석에서 베타 - 이항 혼합 모델과 비지도 학습의 유효성을 입증하여, 수동 라벨링에 의존하지 않고 해독되지 않은 문자 체계에서 언어적 가설을 검증할 수 있는 틀을 제공합니다.