Scripts Through Time: A Survey of the Evolving Role of Transliteration in NLP

1. 문제 정의 (Problem)

자연어 처리 (NLP) 에서 **크로스 - 링구얼 전이 (Cross-lingual transfer)**는 저자원 언어의 성능을 고자원 언어 (주로 영어) 의 능력을 활용하여 향상시키는 핵심 동력입니다. 그러나 **스크립트 장벽 (Script Barrier)**으로 인해 전이 학습의 효율성이 크게 저해됩니다.

• 어휘적 중첩의 부재: 서로 다른 문자 체계 (예: 힌디어의 데바나가리 문자 vs 영어의 라틴 문자) 를 사용하는 언어 간에는 어휘적 중첩 (Lexical Overlap) 이 거의 없습니다.
• 표현 공간의 분리: 서로 다른 스크립트에서 생성된 토큰 표현은 선형적으로 완전히 분리될 수 있을 정도로 차이가 커서, 모델이 공통된 표현 공간을 학습하는 데 어려움을 겪습니다.
• 로마자 변환의 모호성: 로마자 변환 (Transliteration) 은 스크립트 장벽을 극복하는 대안으로 제시되지만, 1 대 1 매핑이 아닌 경우가 많아 (예: 동음이의어, 철자 변이) 정보 손실과 모호성을 초래할 수 있습니다. 특히 한자 (Logographic) 언어의 경우 음운론적 변환이 의미 손실을 유발할 수 있습니다.

2. 방법론 및 접근 방식 (Methodology)

이 논문은 로마자 변환을 NLP 모델에 통합하는 다양한 전략을 분류하고 분석합니다.

A. 통합 전략의 분류 (Taxonomy of Integration Approaches)

논문은 변환된 데이터를 모델에 통합하는 4 가지 주요 수준을 제시합니다 (그림 3 참조):

1. 데이터 수준 (Data-level):

   • 직접 변환 (Direct Transliteration): 전체 학습 코퍼스를 로마자로 변환하여 기존 아키텍처로 학습.
   • 데이터 증강 (Augmentation): 원본 데이터와 변환된 데이터를 혼합하여 학습.
   • 어휘 확장 (Vocabulary Augmentation): 토크나이저의 어휘를 변환된 형태로 확장.

2. 입력 수준 (Input-level):

   • 직접 연결 (Direct Concatenation): 원본 문장과 변환된 문장을 <SEP> 등으로 연결하여 입력. (계산 비용 증가)
   • 임베딩 퓨전 (Embedding Fusion): 원본과 변환된 토큰의 임베딩을 벡터 수준에서 합산하거나 평균하여 입력. (시퀀스 길이 유지)

3. 아키텍처 수준 (Architecture-level):

   • 멀티 인코더 (Multi-Encoder): 각 스크립트별로 별도의 인코더를 사용하여 상호작용.
   • 스크립트 어댑터 (Script Adapters): 멀티링구얼 모델 위에 원본 스크립트와 변환 스크립트 전용의 병렬 어댑터를 학습시킨 후 융합.
   • 정렬 목적 함수 (Alignment Objectives): 원본과 변환된 표현 간의 거리를 최소화하는 대비 손실 (Contrastive Loss) 을 추가하여 표현 정렬 유도.

4. 추론 수준 (Inference-level):

   • 멀티 소스 앙상블 (Multi-source Ensemble): 서로 다른 변환 형태를 입력으로 하는 여러 모델을 학습하고 결과를 평균.
   • 스크립트별 프론트픽스 (Script-specific Prefix): 입력 앞에 스크립트 유형을 나타내는 특수 토큰을 추가하여 단일 모델이 컨텍스트에 따라 처리.
   • LLM 프롬프팅: 대규모 언어 모델 (LLM) 에서 인-컨텍스트 학습을 위해 원본과 변환된 텍스트를 프롬프트에 포함.

B. 주요 분석 및 비교

• Sun et al. (2022) 의 비교 연구: 다양한 아키텍처 (직접 연결, 멀티 인코더, 앙상블 등) 를 비교한 결과, **멀티 소스 셀프 앙상블 (Multi-Source Self-Ensemble)**이 가장 효과적이었으며, 복잡한 아키텍처 변경 없이도 기존 시스템을 개선할 수 있음을 보였습니다.
• Lee et al. (2024) 의 어댑터 연구: 단순 변환은 '거짓 긍정 (False Positive)'을 유발할 수 있으나, 스크립트 어댑터를 사용하면 어휘 중첩 증가와 의미적 정밀도 유지 사이의 균형을 잡을 수 있습니다.
• Jung et al. (2026) 의 토크나이저 분석: 로마자 변환이 가장 효과적인 이유는 제한된 문자 집합과 교차 언어 음운론 정보를 결합하여 더 길고 의미 일관성이 있는 서브워드 (Subword) 토큰을 형성하기 때문입니다.

3. 주요 기여 (Key Contributions)

1. 체계적인 분류 체계 (Taxonomy): 로마자 변환을 사용하는 5 가지 진화하는 동기 (OOV 해결, 코드 - 믹싱 처리, 크로스 - 링구얼 전이, 효율성, 멀티 - 스크립트 인식) 를 제시했습니다.
2. 통합 방법론에 대한 포괄적 개요: 데이터 전처리, 병렬 보조 입력, 고급 멀티 - 스크립트 아키텍처 등 다양한 통합 방식을 정리했습니다.
3. 실용적 가이드라인 제공: 언어의 관련성, 자원 가용성, 하위 작업 (NLU vs NLG) 에 따라 가장 적합한 전략을 선택할 수 있는 구체적인 권장 사항을 제시했습니다.
4. 로마자화 (Romanization) 의 역할 재정의: 단순한 언어적 유사성 이상으로, 토큰 비옥도 (Token Fertility) 감소, 추론 비용 절감, 코드 - 믹싱 데이터 처리 등 실용적 이점 때문에 로마자 변환이 우세하게 사용됨을 분석했습니다.
5. LLM 시대의 로마자 변환: 최신 LLM 은 내부적으로 **잠재적 로마자화 (Latent Romanization)**를 수행하며, 변환이 여전히 필요할 수 있음을 시사하는 새로운 관점을 제시했습니다.

4. 결과 및 통찰 (Results & Insights)

• 언어 관련성에 따른 효과: 고자원 언어와 스크립트가 다른 저자원 언어 (예: 튀르키예어와 위구르어) 간 전이 시 로마자 변환이 어휘 중첩을 극대화하여 성능을 크게 향상시킵니다. 반면, 기존에 학습된 스크립트 간 연결을 끊는 경우 (예: 민그렐리아어를 라틴어로 변환하여 조지아어와의 연결 끊기) 성능이 저하될 수 있습니다.
• 생성 작업 (Generative Tasks) 의 한계: 이해 (NLU) 에는 유리하지만, 생성 (NLG) 에서는 원본 스크립트로의 역변환 (Back-transliteration) 과정이 필요하며 정보 손실 위험이 있습니다. 이를 해결하기 위해 허프만 기반의 가역적 변환이나 스크립트 어댑터가 제안되었습니다.
• 로마자화의 우세성: 많은 연구에서 로마자 (Latin) 스크립트가 선호되는 이유는:
  1. 대부분의 LLM 이 영어 중심이며 라틴 문자 처리에 최적화됨.
  2. 비라틴 문자의 높은 토큰 비옥도를 2~4 배 감소시켜 추론 시간 및 API 비용 절감.
  3. 글로벌화된 코드 - 믹싱 데이터 (Arabizi 등) 와의 호환성.
  4. 고품질 언어별 변환 도구의 부재로 인한 실용성.
• LLM 의 내부 메커니즘: 최근 연구 (Saji et al., 2025) 에 따르면, 영어 중심 LLM 은 중간 레이어에서 비라틴 토큰을 라틴 문자로 **잠재적으로 변환 (Latent Romanization)**하는 경향이 있으며, 이는 모델이 변환 과정을 내부화하고 있음을 시사합니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 로마자 변환이 단순한 전처리 도구를 넘어, 스크립트 장벽을 극복하는 핵심 메커니즘으로 진화했음을 보여줍니다.

• 실용적 가치: 저자원 언어 처리, 코드 - 믹싱 텍스트 분석, 추론 비용 최적화 등 현대 NLP 의 실용적 과제 해결에 필수적입니다.
• 한계와 미래 방향: 현재 연구는 주로 인코더 기반 모델 (NER, POS 태깅) 에 집중되어 있으며, 최근 주류인 디코더 전용 LLM에서의 최적 활용법과 변환의 내부 작동 원리에 대한 해석 가능성 (Interpretability) 연구가 부족합니다.
• 결론: 로마자 변환은 만능 해결책은 아니지만 (모호성, 정보 손실 위험), 적절한 전략 (어댑터, 정렬 목적 함수, 가역적 변환 등) 과 함께 사용될 때 다국어 모델의 성능을 획기적으로 향상시킬 수 있는 강력한 도구입니다. 특히 LLM 시대에 내재된 잠재적 로마자화 현상을 이해하는 것이 향후 연구의 중요한 방향이 될 것입니다.