The Digital Afterlife of Empires: Four Language Models Converge on the Same Imperial Cartography of Writing

기술 요약: 제국의 디지털 사후세계 (The Digital Afterlife of Empires)

문제 제기
대규모 언어 모델(LLM)은 세계의 문자 체계를 극단적인 불평등 속에서 처리한다. 역사적 제국(예: 라틴, 키릴, 아랍 문자)의 스크립트는 효율적으로 처리되는 반면, 식민 지배를 받았거나 소외된 공동체의 스크립트는 심각한 디지털 배제를 겪는다. 본 논문은 현대의 디지털 인프라와 LLM이 역사적 제국에 의해 가해진 구조적 불평등을 재현하는지 조사한다. 구체적으로, 본 연구는 (Fukui, 2026)의 동반 연구에서 '제국적 개입에 의한 구조적 편차'로 기록된 문자의 "끊어진 문화적 시계(broken cultural clocks)"가, 특정 아키텍처 설계의 선택이 아니라 공유된 학습 코퍼스를 통해 현대 언어 모델의 잠재 공간(latent space) 속에 지속되고 있는지 질문한다.

방법론
본 연구는 43,000년의 역사를 아우르는 300개의 문자 체계를 기록한 **글로벌 스크립트 데이터베이스(GSD)**에 적용되는 7개 축의 도구인 **디지털 스크립트 표현 지수(DSRI)**를 구축한다. DSRI는 다음의 영역에서 디지털 존재감을 측정한다:

1. 토큰 효율성 비율 (TER): 네 가지 토크나이저(tiktoken, Mistral, Qwen, Phi-4)를 사용하여 병렬 텍스트(UDHR, eBible) 및 위키피디아 코퍼스를 대상으로 라틴 문자 기준 대비 글리프 클러스터(grapheme cluster)를 표현하는 데 필요한 토큰 수를 측정함.
2. 유니코드 커버리지: 인코딩 상태, 코드 포인트 범위 및 버전 관리.
3. 웹 코퍼스 볼륨: 위키피디아 문서 수 및 CC-100 코퍼스의 바이트 수로부터 도출됨.
4. LLM 생성 충실도: 10개의 이진 유형학적 질문(예: 방향성, 종교적 용도)에 대해 GSD의 실제 데이터(ground truth)를 바탕으로 답변의 정확도를 측정함.
5. OCR 지원: Tesseract, Google Cloud Vision, Azure에서의 문자 오류율.
6. 기계 번역 커버리지: Google, NLLB-200, DeepL의 이진 지원 여부.
7. 입력 방식 가용성: iOS, Android, Windows, macOS에서의 네이티브 키보드/IME 지원 여부.

단일 LLM을 도구이자 객체로 사용하는 순환성을 해결하기 위해, 본 연구는 교차 아키텍처 검증 프로토콜을 채택한다. 네 개의 독립적인 LLM 제품군(Claude Haiku 4.5, GPT-4o, Grok-3-mini, DeepSeek-V3)에 3,000개의 동일한 유형학적 프롬프트(300개 스크립트 × 10개 특징)를 질의하여 12,000개의 응답을 얻었다.

통계 분석에는 다음이 포함된다:

• 직렬 매개 모델링 (Serial Mediation Modeling): 제국적 개입 → 화자 인구 → 웹 코퍼스 볼륨 → 토크나이저 효율성으로 이어지는 경로를 테스트함.
• 구조 방정식 모델링 (SEM): 병렬 텍스트 측정이 가능한 스크립트의 한계치인 $n=45$에서 모델 적합도를 평가함.
• 수렴 분석 (Convergence Analysis): 모델 쌍 간의 오류 편차(가양성 및 가음성 비율)의 스피어만 상관관계를 계산하여 아키텍처에 독립적인 편향을 식별함.
• 민감도 체크 (Sensitivity Checks): "종교적 용도" 특징을 제외하여, 수렴이 단일 논쟁적 ground-truth 코딩에 의해 주도되는지 테스트함.

주요 결과

1. 디지털 배제 깔때기: 300개 스크립트 중 단 29개(9.7%)만이 현대 디지털 인프라에 의해 완전히 지원된다. 158개의 살아있는 스크립트 중 60개(38.0%)가 완전한 지원을 받지 못한다. 이러한 배제는 아프리카, 남/동남아시아, 오세아니아의 스크립트가 불균형적으로 영향을 받는 식민지적 지형을 따른다.
2. "디지털 세금": 토크나이저 효율성은 측정된 45개 스크립트 전반에서 31.7배의 차이를 보인다 (라틴 문자 기준 = 1.0; Limbu 문자 = 31.7배). 이러한 격차는 네 가지 독립적인 토크나이저에서 일관되게 나타나며, 이는 구현상의 문제가 아닌 구조적 원인임을 시사한다. 높은 토큰 비용을 갖는 스크립트는 자연어 웹 코퍼스(예: 위키피디아 문단)가 부족한 경우가 많아 배제를 심화시킨다.
3. 인과적 매개: 제국적 개입과 토크나이저 비효율성 사이의 관계는 화자 인구와 웹 코퍼스 볼륨에 의해 완전히 매개된다. 제국이 토크나이저에 미치는 직접적인 효과는 0과 구별할 수 없다 ($\beta = -0.22, p = 0.39$). 구조 방정식 모델은 $n=45$에서 거의 완벽한 적합도를 보인다 (CFI = 1.01, RMSEA = 0.00), 이때 디지털 존재감이 기여하는 증분 $\Delta R^2$은 0.366이다.
4. 교차 아키텍처 수렴: 네 개의 독립적인 LLM은 기저율 기대치에서 벗어날 때 매우 높은 상관관계의 오류 패턴($\rho = 0.85–0.98$)을 보인다. 이러한 수렴은 "종교" 특징을 제외하더라도 지속되며, 이는 편향이 단일 모델의 문제가 아니라 공유된 텍스트 기질(substrate)에 존재함을 시사한다.
5. 만장일치의 오류: 네 모델 모두 172개의 스크립트-특징 항목에 대해 동일하게 틀린 답을 내놓았다. 과잉 귀속(존재하지 않는 특징을 부여함)이 과소 인식보다 3.9:1의 비율로 더 높게 나타났다. "종교적 용도"라는 특징은 이러한 오류의 43.6%를 집중시킨다. 이를 제외하더라도 비대칭성은 1.77:1로 유지되며 ($p=0.008$), 이는 비서구적 스크립트가 '고대', '상형 문자', 또는 '종교적' 기원이라는 템플릿에 체계적으로 매핑되는 다채널적 편향이 존재함을 나타낸다.
6. 두 가지 독립적인 상흔: 본 연구는 스크립트의 구조적 파괴(분자 시계 편차)와 스크립트 사용 공동체의 인구학적 파괴(byte-fallback 상태) 사이의 통계적 독립성을 발견했다. 제국은 스크립트의 형태를 변형하고, 그 스크립트를 사용하는 공동체를 파괴함으로써 두 가지 모두를 가한다.

의의 및 주장
본 논문은 "제국"이 디지털 시대에 그 폭력을 재현하기 위해 별도의 황제를 필요로 하지 않는다고 주장한다. 식민지 역사의 구조적 불평등은 전 세계 웹의 통계적 분포 속에 침전되었다. LLM은 이 코퍼스로 훈련되기 때문에, 특정 아키텍처나 이를 만든 조직과 관계없이 이러한 편향을 "수학적 충실도"를 가지고 상속하고 재현한다.

이러한 결과는 편향이 특정 모델 설계나 정렬(alignment) 절차의 결과라는 관점에 도전한다. 대신, 본 논문은 컴퓨터적 동화(computational assimilation)—다수 스크립트의 특성을 소수 스크립트에 체계적으로 과잉 귀속시키는 현상—이 텍스트 기질 자체의 속성이라고 상정한다. 네 개의 독립적인 모델이 보이는 수렴은 "문자의 제국적 지도 제작"이 알고리즘이 아닌 데이터에 인코딩되어 있음을 보여준다.

저자들은 $n=45$의 표본 크기가 디지털 배제 그 자체에 의해 부과된 "지평선"임을 인정하며, 통계적 취약성으로 인해 인과 매개 결과를 확정적이라기보다 "제안적"인 것으로 조심스럽게 규정한다. 그러나 교차 아키텍처 수렴은 이 편향이 구조적이며 모델보다 상위 단계에 있다는 강력하고 독립적인 증거를 제공한다.

본 논문은 개별 모델의 미세 조정(fine-tuning)만으로는 해결할 수 없다고 결론짓는다. 편향이 코퍼스에 위치하기 때문에, 개입은 상위 단계에서 이루어져야 한다. 즉, 모든 유니코드 스크립트를 포함하도록 토크나이저를 확장하고, 빈도 기반의 어휘 할당을 수정하며, 무엇보다도 이 공동체들이 디지털 목소리를 낼 수 없도록 만든 제국이 가한 인구학적, 제도적 피해를 해결해야 한다. "제국의 디지털 사후세계"는 악의가 아니라, 비중립적인 코퍼스 위에서 수행되는 빈도 기반 학습이라는 방법론에 의해 보존된다.