기술 요약: 문자의 도상성(Iconicity) 대 자의성(Arbitrariness): 아랍어 NLP 관점에서의 연구

문제 정의

언어학 이론에서는 표기 형태와 의미 사이의 관계가 자의적인지 혹은 도상적인지(체계적인지)에 대해 오랫동안 논쟁해 왔다. 아랍 문자(Arabic script)의 경우, 많은 글자가 공통된 기본 형태(rasm)를 공유하고 점(dot)의 배치만으로 구분된다는 점에서 이 논쟁을 검증할 수 있다. 기존 연구는 점을 제거한 "점 없는(dotless)" 아랍어가 NLP 성능을 유지한다는 것을 입증했으나, 이러한 성공이 원래의 역사적으로 동기화된 rasm 그룹핑(도상성)을 보존하기 때문인지, 아니면 모델이 매핑의 논리와 상관없이 임의적이지만 안정적인 축소 기호 체계에 적응할 수 있기 때문인지(자의성)는 불분 clclear했다.

본 연구가 다루는 핵심 질문은 다음과 같다: 점 없는 아랍어의 성공이 원래의 rasm 그룹핑이 가진 시각적/철자적 구조를 보존하는 데 의존하는가, 아니면 무작위로 재매핑된 문자가 동일한 축소된 집합을 사용하더라도 유사한 성능을 달elle할 수 있는가?

방법론

저자들은 표준 점 있는 아랍어, 표준 점 없는 아랍어, 그리고 무작위로 재매핑된 아랍어를 비교함으로써 전통적인 철자 구조의 필요성을 테스트하기 위한 통제된 실험 프레임워크를 제안한다.

1. 매핑 생성:

   • 연구는 19개의 점 없는 rasm을 고정된 출력 기호 집합으로 활용한다.
   • 특정 글자들(예: H, H, H)이 단일 rasm에 매핑되는 표준적인 점 없는 매핑 대신, 저자들은 2,000개의 무작위 문자 매핑을 생성했다.
   • 이 무작위 매핑들은 원래 rasm의 그룹 크기는 유지하지만, 각 그룹에 서로 다른 글자를 임의로 할당한다.
   • 2,000개의 순열 중에서 엔트로피 지표를 기준으로 네 가지 대표 매핑을 선정하였다: 최고 문자 엔트로피(HCE), 최저 문자 엔트로피(LCE), 최고 단어 엔트로피(HWE), 최저 단어 엔트로피(LWE).

2. 토큰화 전략:
   강건성을 확보하기 위해 다섯 가지 토큰화 체계에 걸쳐 실험을 수행하였다:

   • 단어 토크나이저 (Word Tokenizer)
   • 문자 토크나이저 (Character Tokenizer)
   • Farasa 형태소 토크나이저 (Farasa Morphological Tokenizer)
   • 분리된 글자 토크나이저 (Disjoint-Letters Tokenizer)
   • SentencePiece Byte Pair Encoding (BPE)

3. 태스크 및 평가:
   표현 방식은 다섯 가지 distinct한 NLP 태스크에 대해 평가되었다:

   • 언어 모델링 (Language Modeling): 퍼플렉시티(perplexity), 어휘 크기, 학습 효율성을 기준으로 평가된 인과적 트랜스포머(Causal Transformer) 모델.
   • 텍스트 분류 (Text Classification): 시 구절(Poem meter) 분류, 감성 분석(LABR 데이터셋), 뉴스 주제 분류(Sanad 데이터셋).
   • 시퀀스 레이블링 (Sequence Labeling): 품사 태깅(POS tagging) 및 개체명 인식(NER).
   • 기계 번역 (Machine Translation): 디코딩 후 원래의 스크립트로 복원하는 과정을 포함한 아랍어-영어 번역.
   • 텍스트 복원 (Text Restoration): 재매핑된 텍스트로부터 원래의 점 있는 스크립트를 재구성하기 위해 RNN 기반 모델을 학습시켜 가역성을 평가함.

4. 통계적 분석:
   연구는 언어의 근본적인 통계적 규칙성을 결정하기 위해 지프의 법칙(Zipf's Law, 순위-빈도 분포)과 히프의 법칙(Heap's Law, 어휘 성장)을 분석하였다.

주요 결과

1. 자의성 대 도상성

주요 발견은 원래의 문자 구분을 보존하거나 전통적인 rasm 기반의 그룹핑을 유지하는 것이 강력한 NLP 성능을 내는 데 필수적이지 않다는 것이다.

• 무작위 재매핑(고엔트로피 및 저엔트로피 모두)은 모든 태스크에서 표준 점 있는 텍스트 및 점 없는 텍스트 베이스라인과 비교하여 경쟁력 있는 성능을 보였다.
• 여러 사례에서 무작위 매핑은 표준 점 없는 베이스라인과 대등하거나 오히려 더 나은 성능을 보였으며, 이는 모델이 글자 형태의 시각적 도상성보다는 안정적인 분포 구조에 더 의존함을 시사한다.

2. 효율성 이득

임의의 재매핑, 특히 낮은 엔트로피(LCE 및 LWE)를 가진 경우 상당한 계산적 이점을 제공했다:

• 어휘 감소: 무작위 매핑은 표준 점 있는 텍스트에 비해 어휘 크기를 최대 50%까지 줄였다.
• 모델 크기 및 학습 비용: 축소된 어휘는 더 작은 모델 크기로 이어졌으며, 퍼플렉시티의 미미한 증가와 함께 학습 시간을 크게 단축했다 (예: 언어 모델링에서 LWE는 점 있는 텍스트 대비 학습 시간을 약 40% 단축함).
• OOV 비율: 낮은 엔트로피 매핑(LCE, LWE)은 가장 낮은 미등록 단어(OOV) 비율(약 5.04%)을 달성하여, 미학습 단어 형태에 대한 일반화 능력이 향상되었음을 보여주었다.

3. 태스크별 성능

• 언어 모델링: 표준 점 있는 텍스트가 가장 낮은 퍼플렉시티를 달성했지만, 무작위 매핑 또한 경쟁력 있는 점수를 유지했다. 문자 수준 토큰화에서는 모든 표현 방식에서 퍼플렉시티가 거의 균일하게 나타나, 해당 입도(granularity)에서는 재매핑의 영향이 미미함을 보여주었다.
• 분류 (감성/주제/시): 무작위 매핑은 높은 정확도를 유지했다. 예를 들어, 뉴스 주제 분류에서 어휘 압축에도 불구하고 정확도는 0.973–0.981 사이로 안정적이었다. 음운론에 민감한 작업인 시 구절 분류에서, 고엔트로피 무작위 매핑(HCE, HWE)은 점 있는 베이스라인(0.960)에 매우 근접한 정확도(0.955)를 달성했다.
• 시퀀스 레이블링 (POS/NER): 구문적 및 의미적 정보가 효과적으로 캡처되었다. HWE와 HCE 매핑은 베이스라인과 거의 동일한 정확도를 유지했으나, LCE와 LWE는 어휘 감소에도 불구하고 1~2.7%의 완만한 하락만을 보였다.
• 복원: 재매핑된 텍스트로부터 원래의 점 있는 스크립트를 신뢰성 있게 재구성할 수 있었다. 복원 모델은 낮은 에러율(예: 고도로 압축된 LCE 매핑에 대해 CER = 0.0235)을 달성하여 이 과정의 가역성을 확인했다.

4. 통계적 규칙성

지프의 법칙과 히프의 법칙 분석 결과, 무작위 매핑을 포함한 모든 매핑이 언어의 멱법칙(power-law) 분포를 보존했다. 저엔트로피 매핑이 롱테일(long tail)에서 더 가파른 쇠퇴를 보였으나(더 높은 압축을 의미), NLP에 필요한 근본적인 통계적 구조는 온전하게 유지되었다.

의의 및 주장

본 논문은 계산적 NLP 관점에서 아랍어 문자의 형태-기능 관계는 대체로 자의적이다라고 주장한다. 점 없는 아랍어의 성공은 역사적으로 동기화된 시각적 그룹핑을 보존하는 것에 달려 있는 것이 아니라, 매핑 자체의 안정성에 달려 있다.

저자들은 다음과 같이 단언한다:

1. 시각적 도상성은 NLP에 필수적이지 않다: 모델은 언어 구조를 학습하기 위해 "올바른" 시각적 그룹핑을 요구하지 않으며, 임의적이고 일관된 재매핑에도 적응할 수 있다.
2. 효율성-성능 트레이드오프: 무작위 재매핑 전략은 정확도를 크게 훼손하지 않으면서 어휘 크기, 모델 복잡도, 학습 비용을 줄이는 실행 가능한 경로를 제공한다.
3. 가역성: 임의 매핑을 통한 압축은 정보의 비가역적 손실을 초-래하지 않으며, 학습된 모델을 통해 원래의 스크립트를 정확하게 복원할 수 있다.

결론적으로, 본 연구는 아랍어 스크립트의 "도상성"은 머신러닝 모델에게 기능적 필수 사항이 아니며, 모델은 철자 설계 원칙보다 안정적인 분포 패턴을 우선시한다는 점을 밝히고 있다.