Multilingual LLMs Struggle to Link Orthography and Semantics in Bilingual Word Processing

이 논문은 다국어 대형 언어 모델 (LLM) 이 영어-스페인어, 프랑스어, 독일어 간의 동형어 (interlingual homographs) 를 처리할 때 의미 이해보다는 철자 유사성에 과도하게 의존하여 의미 분해에 실패하고, 문맥 내에서도 언어별로 다른 전략을 사용하는 등 이중어 단어 처리에서 철자와 의미의 연결에 어려움을 겪는다는 것을 밝힙니다.

핵심

🧠 핵심 주제: AI 의 '언어 뇌'는 인간과 다를까?

사람은 두 가지 언어를 할 때, 뇌속에 하나의 통합된 사전을 가지고 있습니다. 예를 들어, 영어와 독일어를 아는 사람이 'Gift'라는 단어를 보면, 영어에서는 '선물'이지만 독일어에서는 '독 (Poison)'이라는 것을 문맥에 따라 바로 구분합니다.

하지만 이 연구는 **최신 AI 모델들 (LLM)**이 이 작업을 어떻게 처리하는지, 특히 **단어 모양은 비슷하지만 뜻이 완전히 다른 '가짜 친구 (Interlingual Homographs)'**를 만날 때 어떻게 반응하는지 확인했습니다.

🎭 3 가지 단어의 종류 (비유로 이해하기)

연구진은 세 가지 종류의 단어를 AI 에게 테스트했습니다.

1. 친구 같은 단어 (Cognates, 동계어):
   • 예시: 영어 'Soup' vs 스페인어 'Sopa' (둘 다 '국'이라는 뜻).
   • 비유: 쌍둥이입니다. 생김새도 같고, 성격 (뜻) 도 똑같아요. AI 가 이걸 보면 아주 쉽게 "아, 같은 말이구나!"라고 알아봅니다.
2. 완전히 다른 단어 (Non-cognates):
   • 예시: 영어 'Pot' vs 스페인어 'Olla' (뜻은 같지만 글자가 다름).
   • 비유: 이름은 다르지만 같은 사람입니다. AI 는 이걸 구분하는 데 조금 애를 먹지만, 뜻만 알면 해결합니다.
3. 가짜 친구 (Interlingual Homographs, 인터링구얼 호모그래프):
   • 예시: 영어 'Gift' (선물) vs 독일어 'Gift' (독).
   • 비유: 위장한 사기꾼입니다. 겉모습 (글자) 은 똑같지만, 속은 완전히 다릅니다. AI 가 가장 혼란스러워하는 부분입니다.

---

🔍 실험 결과: AI 는 무엇을 잘하고 무엇을 못할까?

1. 혼자 있을 때 (문맥 없이 단어만 제시)

• 쌍둥이 (동계어) 는 잘 알아봄: AI 는 'Soup'과 'Sopa'가 같은 뜻이라는 걸 거의 100% 정확히 맞췄습니다.
• 가짜 친구는 엉뚱한 답을 함: 'Gift'라는 단어를 보고 AI 는 문맥 없이 "이건 '선물'이야!"라고 단정 짓거나, 반대로 "독이야!"라고 말하며 아예 무작위 추측 (랜덤) 보다도 못 하는 결과를 보였습니다.
• 원인: AI 는 **단어의 '모양' (글자)**에만 너무 집착합니다. 뜻이 아니라, "글자가 비슷하니까 같은 뜻이겠지?"라고 착각하는 경향이 강합니다.

2. 문장 속에 있을 때 (문맥이 있을 때)

• 문맥이 중요하지만, AI 는 편향되어 있음:
  • 문장이 영어로 되어 있으면, AI 는 비영어권 단어 (예: 스페인어 'Balón') 가 나오더라도 영어의 뜻으로 해석하려는 경향이 강했습니다.
  • 마치 영어가 AI 의 '모국어'처럼 작동해서, 다른 언어가 와도 영어 식으로 해석해버리는 것입니다.
  • 반면, 인간은 문맥을 보고 "아, 이 문장은 스페인어 문장이니까 이 단어는 스페인어 뜻이야!"라고 바로 파악합니다.

3. 뜻과 모양의 연결 고리 끊어짐

• 가장 놀라운 점은, AI 는 단어의 '모양'과 '뜻'을 연결하는 능력이 부족하다는 것입니다.
  • 인간은 글자를 보면 뜻이 자연스럽게 떠오릅니다.
  • 하지만 AI 는 "글자가 비슷하면 뜻도 비슷할 거야"라고 생각하다가, 뜻이 전혀 다른 가짜 친구를 만나면 완전히 길을 잃어버립니다.
  • 마치 책의 표지 (모양) 만 보고 내용 (뜻) 을 추측하다가, 속이 꽉 찬 책과 빈 책이 섞여있을 때 혼란을 겪는 상황과 같습니다.

---

💡 결론: AI 는 아직 '진짜' 언어를 이해하지 못한다

이 연구는 다음과 같은 중요한 메시지를 줍니다:

1. AI 는 '통계'를 할 뿐, '이해'를 하지 않는다: AI 는 단어의 모양이 비슷하면 뜻도 비슷할 것이라고 확률적으로 계산할 뿐, 그 단어가 실제 세상에서 어떤 의미를 가지는지 (Grounding) 는 모릅니다.
2. 영어 중심의 편향: AI 는 훈련 데이터에서 영어가 너무 많아서, 다른 언어를 볼 때도 무의식적으로 영어의 눈으로 해석하려 합니다.
3. 향후 과제: AI 가 인간처럼 자연스럽게 여러 언어를 오가며 대화하려면, 단순히 글자를 맞추는 것을 넘어 문맥과 뜻의 관계를 진짜로 이해하도록 훈련해야 합니다.

📝 한 줄 요약

"AI 는 단어의 겉모습 (글자) 에 속아, 뜻이 다른 '가짜 친구'를 진짜 친구로 착각하거나, 문맥을 무시하고 무조건 영어로 해석하는 경향이 있습니다. 아직 AI 는 인간의 언어 뇌처럼 '뜻'과 '모양'을 완벽하게 연결하지 못합니다."

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 인간의 이중 언어 처리 (Bilingual Processing) 는 통합된 어휘 체계 (Integrated Mental Lexicon) 내에서 이루어지며, '동음이의어 (Cognates, 철자와 의미가 모두 유사한 단어)'는 처리가 용이하지만, '이종 언어 동형어 (Interlingual Homographs, 철자는 같으나 의미가 다른 단어)'는 처리에 방해가 되는 것으로 알려져 있습니다.
• 문제: 최근 LLM 은 영어 중심의 데이터로 훈련되어 다양한 언어를 처리할 수 있게 되었으나, 이러한 모델이 인간의 인지 과정과 유사하게 철자와 의미의 관계를 얼마나 잘 연결하는지, 특히 이종 언어 동형어를 문맥에서 어떻게 해석하는지에 대한 연구는 부족합니다.
• 핵심 질문: 다국어 LLM 은 철자적 유사성 (Orthographic similarity) 에만 의존하여 동형어의 의미를 잘못 해석하는가? 문맥 (Sentence context) 이 이러한 오해를 해결하는 데 효과적인가?

2. 방법론 (Methodology)

연구진은 영어 - 스페인어, 영어 - 프랑스어, 영어 - 독일어 쌍을 대상으로 세 가지 실험 과제를 설계하여 5 개의 오픈소스 다국어 LLM(BLOOMZ, LLaMA-2, LLaMA-3, LLaMA-3.1, Mistral) 을 평가했습니다.

• 데이터셋 구축:
  • 동음이의어 (Cognates): 철자와 의미가 모두 유사한 단어 쌍.
  • 비동음이의어 (Non-cognates): 철자는 다르지만 의미가 같은 단어 쌍.
  • 이종 언어 동형어 (Interlingual Homographs): 철자는 같지만 의미가 다른 단어 쌍 (예: 영어 'gift'(선물) vs 독일어 'gift'(독)).
  • 각 단어 쌍에 대해 저의제 (Low) 및 고의제 (High) 문맥 제약 문장을 생성했습니다.
• 실험 과제:
  1. 단어 쌍 구별 (Word Pair Disambiguation): 두 단어가 같은 의미인지 다른 의미인지 판단 (True/False).
  2. 의미 판단 (Semantic Judgment): 주어진 단어의 올바른 의미를 선택 (정답/오답).
  3. 문장 이해 및 모호성 해소 (Sentence Comprehension): 문맥이 다른 언어로 제시된 동형어가 포함된 문장에서, 모델이 문맥을 통해 올바른 의미를 추론하는지 분석 (언어 식별, 의미 인식, 문장 수정 능력 평가).

3. 주요 결과 (Key Results)

A. 단어 쌍 구별 및 철자 의존성

• 동음이의어 (Cognates) 처리: 대부분의 모델이 철자와 의미가 유사한 동음이의어를 매우 정확하게 식별했습니다 (약 90% 이상). 이는 '동음이의어 촉진 효과 (Cognate Facilitation Effect)'가 LLM 에도 적용됨을 시사합니다.
• 이종 언어 동형어 (Homographs) 처리: 모델들은 철자가 같은 동형어의 의미를 구별하는 데 심각한 어려움을 겪었습니다. 많은 모델 (Mistral, LLaMA-3 등) 이 무작위 추측 (Random Baseline) 보다 낮은 성능을 보였습니다.
• 철자 의존성: 모델은 의미적 이해보다는 **철자적 유사성 (Orthographic Similarity)**에 크게 의존하는 것으로 나타났습니다. 철자가 완전히 동일한 동형어보다 철자가 부분적으로만 일치하는 경우 모델의 성능이 오히려 더 좋았습니다.

B. 의미 저장 및 검색 능력

• 의미 판단 과제: 모델들은 단어의 철자적 유사성과 관계없이 동음이의어, 비동음이의어, 동형어 모두에서 의미 검색 능력이 낮았습니다 (평균 정확도 약 50~60%).
• 상관관계 부재: 단어 쌍 구별 능력과 의미 판단 능력 사이에는 통계적으로 유의미한 상관관계가 없었습니다. 즉, 모델이 철자를 잘 구별한다고 해서 단어의 의미를 제대로 이해하는 것은 아니라는 것을 의미합니다.

C. 문맥과 모호성 해소 (Sentence Context)

• 언어 편향: 모델은 문맥이 영어일 때는 영어 의미를, 비영어권 문맥일 때도 여전히 영어 의미를 우선시하는 경향이 강했습니다.
• 수정 전략 (Correction Types):
  • 비영어권 동형어: 문맥을 활용하여 단어의 언어를 식별하고 올바른 의미를 추론하는 '수정 유형 2(Correction Type 2)' 전략을 주로 사용했습니다 (약 47%).
  • 영어 동형어: 문맥을 무시하고 단어 자체의 의미 (영어 의미) 를 그대로 사용하는 경우가 많았으며, 문맥 기반 수정이 거의 일어나지 않았습니다.
• 결론: 모델은 비영어권 문맥을 이해하는 데 한계가 있으며, 특히 영어 단어 처리 시 문맥적 단서를 활용하지 못합니다.

4. 주요 기여 (Key Contributions)

1. LLM 의 이종 언어 동형어 처리 한계 규명: 다국어 LLM 이 철자적 유사성에 과도하게 의존하여 이종 언어 동형어의 의미를 오해한다는 것을 실험적으로 증명했습니다.
2. 심리언어학적 이론과의 비교: 인간의 이중 언어 처리를 설명하는 BIA+(Bilingual Interactive Activation Plus) 모델을 LLM 분석에 적용하여, LLM 이 인간의 '통합 어휘 체계'와 유사한 메커니즘을 가지지만, 의미적 연결 (Grounding) 이 부족하다는 점을 밝혔습니다.
3. 새로운 평가 프레임워크 제시: 단어의 철자, 의미, 문맥적 제약 (Semantic Constraint) 을 결합한 3 단계 실험 과제를 통해 LLM 의 다국어 처리 능력을 다각도로 평가하는 방법론을 제시했습니다.
4. 데이터셋 및 코드 공개: 영어 - 스페인어/프랑스어/독일어 쌍에 대한 동음이의어, 비동음이의어, 동형어 데이터셋과 분석 코드를 공개하여 후속 연구를 지원했습니다.

5. 의의 및 시사점 (Significance)

• 모델 설계의 개선 필요성: 현재 LLM 은 단순한 통계적 패턴 매칭 (Stochastic Parrots) 에 머무르고 있으며, 단어와 세계 (Word-to-World) 간의 의미적 연결 (Grounding) 이 부족합니다. 이는 다국어 환경에서의 정확한 의미 해석을 방해합니다.
• 다국어 AI 시스템 개발: 모델이 철자적 유사성뿐만 아니라 문맥적 단서와 의미적 연결을 강화하도록 훈련해야 합니다. 특히 비영어권 언어의 문맥을 이해하고, 동형어의 모호성을 해결할 수 있는 능력을 향상시켜야 합니다.
• 인지과학적 통찰: LLM 의 오류 패턴을 분석함으로써 인간의 이중 언어 처리 메커니즘과 인공지능의 처리 방식 사이의 유사점과 차이점을 이해하는 데 기여합니다.

요약하자면, 이 연구는 다국어 LLM 이 철자가 같은 단어 (동형어) 를 처리할 때 의미보다는 철자적 유사성에 의존하여 실패하는 경향이 있음을 보여주었으며, 이는 모델이 단어의 의미와 세계를 연결하는 'Grounding'이 부족하기 때문임을 시사합니다.