Are Language Models Borrowing-Blind? A Multilingual Evaluation of Loanword Identification across 10 Languages

이 논문은 10 개 언어를 대상으로 한 평가를 통해 사전 훈련된 언어 모델이 명시적 지시와 맥락 정보에도 불구하고 차용어와 고유어를 구분하는 데 실패하며, 이는 소수 언어의 언어 보존 및 NLP 도구 개발에 중요한 시사점을 제공한다는 것을 보여줍니다.

핵심

🍽️ 비유: "외국식 레스토랑의 메뉴판"

생각해 보세요. 한국 식당 메뉴판에 **'스파게티', '카레', '버터'**가 적혀 있다고 칩시다.

• 스파게티는 원래 이탈리아에서 왔지만, 지금은 한국인 누구나 "우리 음식"처럼 생각합니다. (완전한 차용어)
• 버터도 마찬가지입니다.
• 하지만 만약 메뉴판에 갑자기 **"Hello, how are you?"**라고 영어로 적혀 있다면? 이건 한국 음식이 아니라, 식당 주인이 영어를 섞어 쓴 **코드 스위칭 (Code-switching)**일 가능성이 높습니다.

이 논문은 **AI(언어 모델)**에게 이 메뉴판을 보여주고, "어떤 게 원래 한국 음식이고, 어떤 게 외국에서 빌려온 음식인지, 혹은 그냥 영어를 섞어 쓴 것인지 구별해 봐"라고 시켰습니다.

🔍 실험 결과: AI 는 "차용어 맹인 (Borrowing-Blind)"입니다!

연구진은 10 개 언어 (중국어, 프랑스어, 독일어, 한국어 등) 로 실험을 했습니다. 결과는 놀랍게도 AI 는 이 구별을 거의 못 했습니다.

1. 직접 물어봐도 못 해요: "이 단어는 외국에서 왔니?"라고 AI 에게 직접 물어도, AI 는 "아니요"라고 하거나 엉뚱한 답을 합니다.
2. 예시를 보여줘도 못 해요: 몇 가지 예시를 보여주고 (Few-shot) 다시 시켜도 결과는 비슷했습니다.
3. 학습을 시켜도 완벽하지 않아요: AI 를 특별히 훈련 (Fine-tuning) 시켰더니 성능은 조금 나아졌지만, 여전히 실수가 많았습니다.

🕵️‍♂️ AI 가 왜 헷갈려 할까요? (세 가지 주요 실수)

연구진은 AI 가 왜 실패하는지 세 가지 이유를 찾아냈습니다.

1. "외국인 옷"을 입은 친척을 외국인이라고 함 (코드 스위칭 오인)

• 상황: 문장 중간에 갑자기 영어 단어가 튀어나온 경우 (예: "오늘 진짜 Really 좋았어").
• AI 의 실수: AI 는 "이건 외국에서 빌려온 단어 (차용어) 다!"라고 딱 잘라 말합니다.
• 현실: 사실 이건 그냥 대화 중에 영어를 섞어 쓴 것 (코드 스위칭) 일 뿐, 한국말에 완전히 녹아든 단어는 아닙니다. AI 는 문맥을 이해하지 못하고, 단순히 "영단어가 나왔으니 차용어겠지"라고 생각합니다.

2. "이름표"를 보고 외국어를 판단함 (고유명사 오인)

• 상황: 'NASA', '파리', 'PISA' 같은 고유명사나 전문 용어가 나올 때.
• AI 의 실수: "이건 외국에서 온 거야!"라고 잘못 분류합니다.
• 현실: '파리'는 프랑스 도시 이름이지만, 한국말 문장에서도 자연스럽게 쓰이는 고유명사일 뿐입니다. AI 는 **단어의 모양 (철자)**만 보고 "이건 외국어 같아"라고 판단하는 경향이 있습니다.

3. "과학 용어"를 너무 쉽게 의심함 (그리스/라틴어 오인)

• 상황: '철학 (Philosophy)', '비료 (Nitrates)'처럼 그리스어나 라틴어에서 유래한 단어.
• AI 의 실수: "이건 원래 외국에서 온 거니까 차용어야!"라고 생각합니다.
• 현실: 이 단어들은 수백 년 전부터 우리 언어에 완전히 녹아들어, 이제 우리말처럼 쓰입니다. 하지만 AI 는 **어원 (역사)**만 보고 "아직도 외국어야"라고 판단합니다.

💡 이 연구가 왜 중요할까요?

이 연구는 **"AI 가 언어를 얼마나 잘 이해하는지"**에 대한 중요한 교훈을 줍니다.

• 약소 언어의 위기: 만약 AI 가 소수 언어 (주변 언어) 를 다룰 때, 그 언어에 섞인 외국어 (차용어) 를 제대로 못 구별한다면, 그 언어의 순수한 어휘를 지키는 데 실패할 수 있습니다.
• AI 의 편향: AI 는 마치 "외국어 (차용어) 를 더 좋아하고, 원래 말 (토착어) 을 무시하는" 편향을 가지고 있습니다. 이는 AI 가 학습한 데이터가 주로 영어 등 강세 언어에 치우쳐 있기 때문입니다.

🎁 결론: AI 는 아직 "언어 순수주의자"가 아닙니다

이 논문은 AI 가 **"외국에서 온 단어"**와 **"우리 언어에 완전히 녹아든 단어"**를 구별하는 데는 아직 매우 서툴다는 것을 보여줍니다.

AI 는 단어의 **모양 (철자)**이나 역사적 유래만 보고 판단할 뿐, **사람들이 실제로 어떻게 그 단어를 쓰는지 (사회적 맥락)**를 깊이 이해하지 못합니다.

한 줄 요약:

"AI 는 외국에서 온 손님과 우리 집 친척을 구별하지 못해, 모두 '외국인'이라고 오해하거나, 반대로 진짜 외국인을 '우리 집 사람'으로 착각하는 언어 맹인 상태입니다. 앞으로 더 똑똑해지려면 단어의 '모양'보다 '사용되는 맥락'을 배워야 합니다."

기술 요약

논문 요약: 언어 모델은 차용어 (Loanword) 식별에 무감각한가? 10 개 언어에 대한 다국어 평가

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 언어 접촉을 통해 한 언어에서 다른 언어로 유입된 단어 (차용어) 는 시간이 지남에 따라 수용 언어의 어휘에 통합됩니다. 이중언어 화자나 소수 언어 공동체에서는 지배적인 언어로부터 차용어가 유입되어 모어 어휘가 사라지거나 언어 전이 (language shift) 가 가속화되는 현상이 발생합니다.
• 문제: 계산 언어학 (CL) 과 자연어 처리 (NLP) 분야에서 차용어 식별은 언어 보존, 교육, 다국어 모델 개발에 중요함에도 불구하고, 기존 연구는 소수의 언어나 제한된 측면 (단어 목록 기반 등) 에만 집중되어 왔습니다.
• 핵심 질문: 사전 학습된 대규모 언어 모델 (LLM) 과 현대 NLP 시스템이 차용어와 고유 어휘를 명확히 구분할 수 있는 능력을 갖추고 있는가? 특히, 명시적인 지시와 문맥 정보를 제공받았을 때 이러한 식별이 가능한가?

2. 방법론 (Methodology)

이 연구는 10 개 언어 (중국어, 프랑스어, 독일어, 그리스어, 아이슬란드어, 이탈리아어, 북부 쿠르드어, 포르투갈어, 러시아어, 스페인어) 로 구성된 ConLoan 데이터셋을 기반으로 두 가지 접근 방식을 통해 모델을 평가했습니다.

• 데이터셋: ConLoan 은 차용어와 고유 대안어를 대비적으로 쌍 (pair) 으로 구성한 다국어 데이터셋입니다.
• 평가 대상 모델:
  1. 대규모 언어 모델 (LLMs): Gemini-2.5-Flash-Lite, GPT-4.1 (OpenAI), Meta-Llama-3-8B-Instruct.
  2. 다국어 인코더 모델: mBERT, XLM-RoBERTa (base/large), ELECTRA-base multilingual.
• 실험 설정:
  • LLM 평가:
    • Zero-shot / Few-shot: 예시 유무에 따른 성능 비교.
    • 프롬프트 변형: 차용어 정의의 세밀함에 따라 3 가지 프롬프트 적용 (1. 기본 지시, 2. 어원적 정의, 3. 사용 기반 정의 - 화자 의도 및 모국어 화자의 관점 강조).
  • 인코더 모델 평가:
    • Zero-shot: 모델 학습 없이 고정된 특징 추출기로 사용 (규칙 기반 매핑).
    • Fine-tuning: ConLoan 데이터셋의 80/20 분할로 토큰 분류 (BIO tagging) 헤드를 추가하여 미세 조정.
• 평가 지표: seqeval 라이브러리를 사용하여 엔티티 스패너 (span) 수준에서 정밀도 (Precision), 재현율 (Recall), F1 점수를 계산.

3. 주요 기여 (Key Contributions)

1. LLM 의 차용어 식별 능력 직접 평가: 다양한 프롬프트와 설정을 통해 일반 목적의 LLM 들이 차용어를 명시적으로 식별하는 데 실패함을 입증.
2. 미세 조정 (Fine-tuning) 의 효과 분석: 다양한 아키텍처와 학습 접근법이 이 태스크에서 어떻게 작동하는지 정량적/정성적으로 분석. 미세 조정으로 성능은 향상되었으나, 여전히 해결되지 않은 과제로 남음을 보임.

4. 실험 결과 (Results)

• LLM 성능:

  • 모든 설정에서 LLM 의 F1 점수는 0.70 미만으로 매우 낮았습니다.
  • 모델별: Gemini 가 평균 0.466 으로 가장 우수했고, OpenAI(0.41), Llama(0.23) 순이었습니다.
  • 프롬프트 영향: 차용어 정의를 더 구체화할수록 (Prompt 3) 성능이 오히려 하락하는 경향을 보였습니다. 특히 Few-shot 설정에서 Llama 는 지시 형식을 무시하고 자유 형식 텍스트를 생성하여 파싱 오류가 발생, F1 점수가 급격히 떨어졌습니다.
  • 언어별 차이: 중국어, 프랑스어, 이탈리아어는 상대적으로 높은 점수를 보인 반면, 독일어, 아이슬란드어, 포르투갈어는 형태론적 굴절과 차용어의 높은 통합도로 인해 성능이 낮았습니다.

• 인코더 모델 (Encoder) 성능:

  • Zero-shot: 학습되지 않은 모델들은 평균 F1 점수가 0.02 미만으로 거의 무작위 수준에 머물렀습니다.
  • Fine-tuning: 미세 조정 후 성능이 비약적으로 향상되었습니다.
    • XLM-RoBERTa-Large가 평균 0.8513의 최고 F1 점수를 기록했습니다.
    • 로망스어군 (프랑스어, 이탈리아어 등) 에서 0.9 이상의 높은 점수를 보였으며, 중국어, 아이슬란드어 등 기존에 성능이 낮았던 언어에서도 0.7~0.8 수준으로 크게 개선되었습니다.

5. 오류 분석 (Analysis)

모델들은 다음과 같은 체계적인 오류를 보였습니다:

• 코드스위칭 (Code-switching) vs 차용어: 모델은 문맥상 일시적인 코드스위칭 (예: 쿠르드어 문장 내 영어 단어 'really') 을 차용어로 잘못 분류하거나, 반대로 모국어 화자 간에 관용적으로 쓰이는 차용어 (예: 프랑스어 'deal') 를 코드스위칭으로 오인하는 경향이 있었습니다.
• 고유명사 (Named Entities): 국가명, 조직명, 약어 (NASA 등) 가 외국어 기원으로 오인되어 차용어로 잘못 분류되는 경우가 많았습니다.
• 과학/기술 용어 및 그리스 - 라틴 어근: 역사적으로 차용되었으나 완전히 통합된 전문 용어 (예: 'nitrates', 'filosofia') 를 모델들은 어원적 근거만으로 차용어로 과다 식별하거나 (LLM), 형태론적 규칙성 때문에 고유어로 과소 식별하는 (미세 조정 모델) 양극단 오류를 보였습니다.

6. 의의 및 결론 (Significance & Conclusion)

• 결론: 현재 LLM 과 사전 학습 모델들은 차용어와 고유 어휘를 구분하는 데 있어 "차용어 식별 무감각 (Borrowing-Blind)" 상태입니다. 미세 조정이 성능을 크게 향상시키지만, 여전히 표층적 형태 (철자, 어원) 에 과도하게 의존하며 사회적 언어학적 통합 (sociolinguistic integration) 과 화자의 의도를 이해하지 못합니다.
• 의의:
  • 소수 언어 및 언어 보존: 지배적 언어의 압력을 받는 소수 언어 공동체의 어휘 보존 및 교육 도구 개발에 NLP 시스템이 아직 한계가 있음을 시사합니다.
  • 향후 과제: 단순한 형태적 식별을 넘어, 화자의 의도, 담화 맥락, 어휘의 통합 정도 (continuum) 를 고려한 더 정교한 태스크 정의와 데이터셋 구축이 필요함을 강조합니다.

이 연구는 현대 NLP 시스템이 언어의 역사적, 사회적 맥락을 얼마나 깊이 이해하는지에 대한 중요한 통찰을 제공하며, 다국어 모델 개발 시 차용어 처리의 중요성을 재조명합니다.