기술적 요약: 번역의 실종? 라틴어에서 오크어로의 문법적 성 변화 탐구

1. 문제 제기

본 논문은 속라틴어에서 중세 오크어에 이르는 문법적 성의 역사적 진화를 다루며, 특히 삼분 체계 (남성, 여성, 중성) 에서 이분 체계 (남성, 여성) 로의 전환에 초점을 맞춥니다. 역사 언어학은 라틴어 중성 명사들이 대부분 남성 성으로 흡수되었음을 확립하고 있으나, 오크어에서 이 재배정을 규정한 구체적 요인들 (의미론적, 음운론적, 형태론적 여부) 은 여전히 충분히 연구되지 않았습니다.

본 연구는 저자원 역사적 환경의 제약 하에서 수행됩니다. 중세 오크어는 다음과 같은 특징을 가집니다:

• 데이터 부족: 주석이 달린 코퍼스가 제한적입니다.
• 철자 불안정성: 표준화된 규범의 부재로 인해 텍스트 내 및 텍스트 간에 광범위한 철자 변이가 존재합니다.
• 방언 분열: 통합된 표준어가 부재합니다.

핵심 연구 질문은 다음과 같습니다:

1. RQ1 (어휘적): 라틴어 중성 계열에서 유래한 오크어 명사의 문법적 성을 단어 수준 특징 (음운론적 및 형태론적) 만으로 예측할 수 있는 정도는 어느 정도입니까?
2. RQ2 (문맥적): 성 정보는 어휘적 특징과 문장 수준 문맥 사이에 어떻게 분포하며, 이러한 정보원들이 모델 예측에 어떻게 기여합니까?

2. 방법론

데이터 및 전처리

본 연구는 Lo Codi(법률), Chanson de la Croisade Albigeoise(시), 그리고 DOM Dictionary Project라는 세 가지 주석된 자료를 활용합니다. 데이터셋은 문법적 성 레이블이 포함된 라틴어 - 오크어 어근 쌍으로 구성됩니다.

• 토큰화 전략: 표준 토크나이저가 역사적 철자 노이즈에 실패한다는 점을 인식하여, 저자들은 하이브리드 토큰화 정책을 제안합니다. 이는 오크어에 적응된 바이트 페어 인코딩 (BPE) 과 단어 수준의 폴백을 결합합니다. 이 접근법은 표준 WordPiece 또는 서브워드 전용 분할에 비해 0 의 미등록 단어 (OOV) 비율과 우수한 마스킹 토큰 복구를 달성합니다.
• 임베딩 선택: FastText, mBERT, ByT5 에 대한 비교 연구는 중세 오크어 변이와 교차 언어 구조를 포착하는 데 가장 효과적인 백본으로 mBERT를 식별했습니다.
• 도메인 적응: mBERT 모델은 코퍼스에 더 잘 적합하도록 원시 오크어 텍스트에서 도메인 적응형 마스킹 언어 모델링 (MLM) 파인튜닝을 거쳤습니다.

실험 프레임워크

저자는 해석 가능한 딥러닝 프레임워크를 사용하여 어근 내부 신호와 문맥 신호를 분리합니다.

A. 어휘 수준 예측 (RQ1)

• 입력: 분리된 오크어 어근과 해당 라틴어 어근.
• 특징:
  • 형태론적/음운론적: 초기 서브스트링, 접미사 문자 n-gram(1~4), 음절 수, 그리고 VC(모음 - 자음) 템플릿.
  • 강세 대리: 강세 위치 (최종/역두/역삼) 의 휴리스틱 근사치.
  • 임베딩: mBERT, ByT5, FastText 의 고정된 표현.
• 모델: 선형 모델 (로지스틱 회귀) 에서 비선형 앙상블 (랜덤 포레스트, XGBoost) 및 신경 아키텍처 (FFN, BiLSTM, 어텐션 기반 모델) 에 이르는 다양한 분류기 세트.
• 검증: 동일한 어근의 철자 변이 간 데이터 누수를 방지하기 위한 어근 그룹화 10 교차 검증.

B. 문맥적 예측 (RQ2)

• 입력: 대상 명사가 포함된 오크어 문장과 연결된 라틴어 어근.
• 구성:
  1. 단어 전용: 분리된 임베딩과 라틴어 메타데이터 사용.
  2. 문맥 중심: 전체 문장 인코딩에 대한 명사 조건부 어텐션 사용.
  3. 마스킹된 문맥: 대상 명사를 [MASK]로 교체하여 모델이 주변 일치 단서 (관사, 형용사) 에만 기반하여 성을 예측하도록 함.
• 분석: 특징 귀속을 위해 SHAP 값을 사용하고, 특정 품사 (예: 관사, 형용사) 의 예측 기여도를 정량화하기 위해 품사 조건부 가림 (occlusion) 을 사용합니다.

3. 주요 결과

어휘 수준 성능

• 모델 성능: 신경 시퀀스 모델, 특히 멀티헤드 셀프 어텐션 (MHSA) 을 갖춘 2× BiLSTM이 얕은 베이스라인을 능가했습니다. 가장 좋은 구성은 불균형을 처리하기 위해 포커스 로스 (focal loss) 와 클래스 가중치를 적용한 mBERT 임베딩을 사용했습니다.
• 특징 중요도: 제거 시 가장 큰 성능 저하 (1.6~1.8 마크로 F1 포인트) 를 초래한 접미사 문자 n-gram(특히 라틴어 및 오크어 어미) 이 가장 예측력 있는 특징임이 제거 실험을 통해 밝혀졌습니다. 길이 및 메타 특징은 2 차 기여자였습니다. 강세 대리치는 미미한 영향을 미쳤습니다.
• 베이스라인: 최상의 어휘 전용 모델은 mBERT 를 사용하여 0.8224의 마크로 F1 을 달성했습니다.

문맥적 영향

• 성능 향상: 문장 수준 문맥을 통합하면 성능이 크게 향상되었습니다. 문맥 중심 모델은 단어 전용 베이스라인 (0.665) 보다 상당한 증가인 0.929의 마크로 F1 을 달성했습니다.
• 마스킹된 문맥: 명사가 마스킹되었음에도 불구하고 모델은 0.902의 마크로 F1 을 달성하여 주변 일치 단서 (관사, 형용사) 가 강력한 성 정보를 전달함을 보여주었습니다.
• 의미 분해: 어근 표현이 모호한 경우 (예: ome), 문맥 모델은 일치 토큰 (예: 관사 aquill) 을 활용하여 예측을 올바른 성으로 성공적으로 전환했습니다.
• 귀속: SHAP 및 가림 분석은 명사, 관사, 형용사가 가장 신뢰할 수 있는 긍정적 문맥 증거를 제공하며, 접속사와 전치사는 부정적이거나 무시할 수 있는 신호에 기여함을 확인했습니다.

성 변화 패턴

• 데이터는 라틴어 중성이 오크어 남성 (3,055 건) 과 여성 (1,448 건) 으로 흡수되었음을 확인시켜 줍니다.
• 어미 -um은 남성 결과와 강력하게 연관되어 있지만, 역설적으로 여성으로 전환된 명사들에서 가장 흔한 어미라는 점은, 형태론적 단서를 고려하지 않고는 단순 빈도 수만으로는 이 변화를 설명할 수 없음을 강조합니다.

4. 의의 및 기여

본 논문은 NLP 및 역사 언어학 분야에 다음과 같은 기여를 주장합니다:

1. 저자원 역사를 위한 해석 가능한 프레임워크: 노이즈가 많고 자원이 부족한 역사적 언어에 특화되어, 문법적 성 예측에서 어근 내부 신호와 문맥 신호를 분리하는 일반적 프레임워크를 도입합니다.
2. 토큰화 혁신: 표준 토큰화 전략이 중세 오크어에는 불충분함을 입증하고, 철자 변이 및 철자 노이즈에 대한 견고성을 향상시키는 하이브리드 토큰화 정책을 제안합니다.
3. 성 분포 정량화: 이 연구는 형태론적 접미사가 주요 구조적 인코딩을 제공하지만, 문장 수준 일치(관사, 형용사) 가 의미 분해 및 어휘적 모호성 해결에 필수적임을 보여 성 정보의 분포를 특징짓습니다.
4. 자원 가용성: 저자들은 역사적 NLP 에 대한 추가 연구를 촉진하기 위해 코드베이스, 데이터셋, 결과를 공개합니다.

5. 한계

저자들은 겸손하게 여러 제약 조건을 인정합니다:

• 데이터 불균형: 데이터셋은 상대적으로 작으며 성 분포가 편향되어 있습니다 (남성 대 여성 약 2:1). 완화 기술에도 불구하고 소수 클래스의 일반화를 제한할 수 있습니다.
• 휴리스틱 전처리: 퍼지 매칭 임계값 및 강세 위치 대리치와 같은 핵심 구성 요소는 휴리스틱하게 설정되었으며 노이즈를 도입할 수 있습니다.
• 태깅 정확도: 품사 (PoS) 귀속은 약 71% 정확도의 자동 태깅에 의존하므로 귀속 결과에 편향을 초래할 수 있습니다.
• 범위: 연구 결과는 중세 오크어에서의 성의 공시적 예측과 라틴어에서 오크어로의 중성 붕괴에 관한 것입니다. 본 논문은 역사적 재배정을 무엇이 주도했는지에 대한 공시적 질문에 대해 결정적으로 해결했다고 주장하지 않으며, 이는 다른 실험 설계와 병렬 역사적 데이터가 필요하다고 명시합니다.