1. 연구 문제 (Problem)

이중 언어 화자는 독서 시 두 언어가 동시에 활성화되는 현상을 보입니다.

• 유사어 (Cognates/Friends): 두 언어에서 형태와 의미가 유사한 단어 (예: Dutch 'winter' - English 'winter') 는 처리가 촉진 (facilitation) 됩니다.
• 가짜 친구 (False Friends/Interlingual Homographs): 형태는 같지만 의미가 다른 단어 (예: Dutch 'brand'는 '불', English 'brand'는 '브랜드') 는 간섭 (interference) 이 발생하거나 효과가 없습니다.

기존의 이중 언어 언어 모델 연구들은 대부분 모든 겹치는 형태를 공유하는 어휘 (Full Overlap) 를 사용하는데, 이것이 인간의 인지 메커니즘을 얼마나 잘 반영하는지, 그리고 어휘 공유 방식 (Vocabulary Sharing) 이 교차 언어 활성화 패턴에 어떤 영향을 미치는지가 명확하지 않았습니다.

2. 방법론 (Methodology)

2.1. 실험 설계: 어휘 공유 조건 (Vocabulary Conditions)

저자들은 네덜란드어와 영어로 구성된 4 가지 다른 어휘 공유 조건을 가진 causal Transformer 모델 (GPT-2 small 구성) 을 훈련시켰습니다. 겹치는 단어의 임베딩 (embedding) 처리 방식을 조작했습니다.

1. Full Overlap (A): 두 언어에 모두 나타나는 모든 겹치는 형태는 단일 공유 임베딩을 가집니다.
2. Friends Overlap (B): 유사어 (Cognates) 와 차용어만 공유 임베딩을 가지며, 가짜 친구는 언어별 고유 임베딩을 가집니다.
3. False Friends Overlap (C): 가짜 친구만 공유 임베딩을 가지며, 유사어는 언어별 고유 임베딩을 가집니다.
4. Minimal Overlap (D): 구두점과 고유명사를 제외하고 모든 겹치는 형태는 언어별 고유 임베딩을 가집니다 (완전한 분리).

2.2. 데이터 및 훈련

• 데이터: 75% 네덜란드어 (L1), 25% 영어 (L2) 로 구성된 불균형 코퍼스 (Wikipedia, OpenSubtitles, 웹 크롤링 데이터 등) 를 사용했습니다.
• 훈련 방식: 각 에포크에서 먼저 네덜란드어 데이터를, 그 다음 영어 데이터를 순차적으로 노출시켰습니다.
• 평가 자극 (Stimuli): 인간 이중 언어 화자의 읽기 시간을 측정한 기존 심리언어학 연구 (Bultena et al., 2014; Huisman, 2025) 의 자극을 사용했습니다.
  • 유사어 실험: 영어 문장 내 유사어 vs 통제어.
  • 가짜 친구 실험: 네덜란드어 문장 내 가짜 친구 vs 통제어.

2.3. 평가 지표

• Surprisal (놀라움): 단어의 예측 불가능성 ($-\log_2 p(w|context)$). 인간 처리 용이성과 반비례합니다.
• 임베딩 유사도: 두 언어 간 문맥 및 단어 임베딩의 코사인 유사도.
• 회귀 분석: 단어 빈도 (Sentence-language frequency vs. Other-language frequency) 가 Surprisal 에 미치는 영향을 분석하여 '누적 빈도 가설 (Cumulative Frequency Hypothesis)'을 검증했습니다.

3. 주요 결과 (Key Results)

3.1. 언어 분리 및 교차 언어 효과

• 모델은 기본적으로 두 언어를 분리하여 처리했습니다.
• 공유 임베딩 조건 (A, B, C): 임베딩이 공유될 때만 교차 언어 효과가 나타났습니다.
  • 유사어 (Friends): 공유 임베딩 조건 (Full, Friends Overlap) 에서 통제어 대비 Surprisal 이 유의미하게 낮아졌습니다 (처리 촉진).
  • 가짜 친구 (False Friends): 공유 임베딩 조건 (Full, False Friends Overlap) 에서도 통제어 대비 Surprisal 이 낮아졌습니다. 이는 인간 데이터 (가짜 친구는 촉진되지 않거나 간섭이 발생함) 와는 다른 결과입니다.

3.2. 빈도의 역할 (Frequency vs. Consistency)

• 회귀 분석 결과, Surprisal 감소 (촉진 효과) 는 주로 단어의 빈도 (Frequency) 에 의해 설명되었습니다.
• 형태 - 의미 매핑의 일관성 (즉, 유사어인지 가짜 친구인지) 보다는 공유 임베딩으로 인해 두 언어의 데이터가 합쳐지면서 증가한 유효 빈도가 예측력을 높인 주요 요인이었습니다.
• 특히 'Friends Overlap' 조건에서만 유사어에 대한 촉진 효과는 관찰되었으나, 가짜 친구에 대한 촉진 효과는 관찰되지 않아 인간의 심리언어학적 패턴 (유사어 촉진, 가짜 친구 비촉진/간섭) 을 가장 잘 재현했습니다.

3.3. 문맥 분석

• 동일한 단어에 대한 문맥 임베딩의 유사도는 어휘 조건에 관계없이 두 언어 간에 낮게 유지되었습니다. 이는 모델이 문맥을 언어별로 구분하여 처리함을 시사합니다.

4. 주요 기여 (Key Contributions)

1. 어휘 설계의 중요성 규명: 이중 언어 모델의 교차 언어 전이 현상이 모델 아키텍처 자체보다는 어휘 (Vocabulary) 의 임베딩 공유 방식에 의해 결정됨을 입증했습니다.
2. 인간 유사성 조건 제시: 모든 겹치는 형태를 공유하는 일반적인 방식 (Full Overlap) 은 인간 데이터를 잘 설명하지 못하며, **유사어만 공유하고 가짜 친구는 분리하는 방식 (Friends Overlap)**이 인간의 이중 언어 처리 패턴 (유사어 촉진, 가짜 친구 비촉진) 을 가장 잘 모사함을 발견했습니다.
3. 빈도 효과의 분리: 교차 언어 활성화가 의미적 일관성 때문이 아니라, 단순히 **공유된 어휘를 통해 증가한 빈도 (Cumulative Frequency)**에 기인할 수 있음을 통계적으로 증명했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 모델의 한계: 현재 언어 모델은 명시적인 어휘 공유 규칙 (예: 유사어만 공유) 을 적용하지 않는 한, 인간처럼 가짜 친구에서 간섭을 보이거나 유사어에서 선택적 촉진을 보이지 않습니다. 이는 모델이 의미적 경쟁 (semantic competition) 보다는 분포적 빈도 (distributional frequency) 에 더 의존하고 있음을 시사합니다.
• 인지 모델링에 대한 시사점: 신경망 언어 모델이 이중 언어 읽기를 설명하는 데 유용한 도구가 될 수 있지만, 어휘 겹침을 어떻게 인코딩하느냐가 인간 행동과의 정렬 (alignment) 에 결정적입니다.
• 향후 연구: 단순한 빈도 효과를 넘어, 의미적 경쟁을 직접적으로 탐지할 수 있는 태스크나 주의를 활용한 분석이 필요하며, BIA+ 모델 (이중 언어 단어 인식 모델) 과의 비교 연구가 요구됩니다.

요약하자면, 이 연구는 이중 언어 언어 모델이 단순히 데이터를 공유한다고 해서 인간처럼 언어를 처리하는 것이 아니며, 유사어와 가짜 친구를 구분하여 어휘를 설계할 때만 인간과 유사한 교차 언어 활성화 패턴을 보인다는 것을 밝혔습니다. 이는 언어 모델의 인지적 타당성을 높이기 위해 어휘 설계가 필수적임을 강조합니다.