Far Out: Evaluating Language Models on Slang in Australian and Indian English

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 은 표준 영어 (Standard American/British English) 에서는 뛰어난 성능을 보이지만, 비표준 영어 변이형 (Non-standard English varieties) 을 처리할 때 체계적인 성능 격차를 보입니다. 특히 속어 (Slang) 는 특정 공동체, 문화, 시기에 종속적이고 역동적인 언어 현상으로, 다양한 영어 변이형 (예: 호주 영어, 인도 영어) 에서의 속어 이해 능력은 아직 충분히 탐구되지 않았습니다. 기존 연구는 주로 표준 미국 영어에 집중하거나 영어 변이형 간의 차이를 구분하지 못하여, 지리적·문화적 맥락에 따라 의미가 달라지는 속어에 대한 모델의 이해 부족을 간과해 왔습니다.

이 논문은 인도 영어 (en-IN) 와 호주 영어 (en-AU) 의 속어를 이해하는 최신 LLM 의 능력을 체계적으로 평가하고, 생성 (Generative) 과 판별 (Discriminative) 작업 간의 비대칭성을 규명하는 것을 목표로 합니다.

2. 방법론 (Methodology)

2.1 데이터셋 구축

연구진은 두 가지 상호 보완적인 데이터셋을 구축했습니다:

• WEB 데이터셋: Urban Dictionary 와 Wiktionary 에서 수집한 실제 웹 기반 속어 사용 예시 377 개 (인도 영어 64 개, 호주 영어 313 개). 원어민 화자에 의해 검증 및 필터링되었습니다.
• GEN 데이터셋: WEB 데이터셋의 정의와 예시를 바탕으로 Google Gemini Pro 2.5 를 활용하여 생성된 1,492 개의 시나리오. 각 속어 단어가 자연스럽게 사용될 수 있는 다양한 상황을 인공적으로 생성했습니다.

2.2 평가 태스크

모델의 속어 이해 능력을 측정하기 위해 세 가지 태스크를 수행했습니다:

1. 타겟 단어 예측 (TWP, Target Word Prediction): 문장에서 속어 부분을 마스킹 (Blank) 하고, 모델이 어휘 전체에서 해당 단어를 생성하도록 요청 (Open-vocabulary).
2. 가이드드 타겟 단어 예측 (TWP*): TWP 와 동일하지만, 프롬프트에 특정 언어 변이형 (en-IN 또는 en-AU) 에 적합한 속어를 생성하라는 명시적 지시를 추가.
3. 타겟 단어 선택 (TWS, Target Word Selection): 마스킹된 문장과 함께 정답 1 개와 오답 3 개 (동일 변이형에서 무작위 추출) 로 구성된 4 지 선다형 문제. 모델이 가장 적합한 답을 선택하도록 요청.

2.3 실험 설정

• 평가 대상 모델: 7 개의 사전 학습된 모델 (BERT-Base, RoBERTa-Large, XLM-RoBERTa-Large 등 인코더 3 개; Granite, Llama-3.2, Olmo-2, Qwen3 등 디코더 4 개). 파라미터 수는 110M~8B 범위.
• 평가 지표: 정확도 (Accuracy) 와 유사도 (Similarity, Sentence-BERT 임베딩 간 코사인 유사도).

3. 주요 기여 (Key Contributions)

1. 최초의 체계적 평가 연구: 인코더 및 디코더 모델을 활용하여 영어 변이형 (인도/호주) 의 속어 이해를 타겟 단어 선택 및 예측 태스크로 평가한 최초의 연구입니다.
2. 새로운 평가 데이터셋 공개: 웹 기반 (WEB) 과 합성 생성 (GEN) 으로 구성된 377 개의 고유 속어 구와 1,492 개의 시나리오를 포함하는 데이터셋을 구축했습니다.
3. 성능 분석 및 통찰: 다양한 모델 아키텍처와 규모를 대상으로 속어 이해의 한계와 생성 vs 판별 능력의 비대칭성을 규명했습니다.

4. 주요 결과 (Key Results)

4.1 태스크별 성능 차이 (생성 vs 판별)

• 생성 태스크 (TWP/TWP*) 의 낮은 성능: 오픈 보이스 (Open-vocabulary) 환경에서 올바른 속어를 생성하는 것은 매우 어려웠습니다. 평균 정확도는 0.02~0.04 수준에 그쳤습니다.
• 판별 태스크 (TWS) 의 높은 성능: 다중 선택형 (Multiple-choice) 으로 변경된 경우 평균 정확도가 0.49 로 크게 향상되었습니다. 이는 모델이 속어를 '생성'하는 능력은 부족하지만, 주어진 옵션 중 올바른 것을 '식별'하는 능력은 상대적으로 높음을 시사합니다.

4.2 도메인 및 언어 변이형 영향

• 도메인 효과: 웹 기반 데이터 (WEB) 에서의 성능이 합성 데이터 (GEN) 보다 전반적으로 높았습니다. 이는 훈련 데이터에 웹 기반 속어 예시가 포함되어 있을 가능성 (Data Contamination) 을 시사합니다.
• 언어 변이형 효과: 모든 모델과 데이터셋을 평균했을 때, 인도 영어 (en-IN) 가 호주 영어 (en-AU) 보다 성능이 더 좋았습니다. 특히 TWS 태스크에서 en-IN 의 정확도가 en-AU 대비 0.10 포인트 높게 나타났습니다. 이는 훈련 데이터에서 en-IN 의 표현 패턴이 더 많이 반영되었거나, 스타일적 중복이 더 많았을 가능성을 보여줍니다.

4.3 오류 분석 (Error Analysis)

모델의 실패 원인을 분석한 결과, 완전한 의미 오류보다는 지역적/문화적 적합성 부재가 주된 원인이었습니다. 주요 오류 유형:

• 문자적 해석 (Literalisation): 속어의 비유적 의미를 무시하고 문자 그대로의 표준 단어로 대체.
• 일반적 대체 (Generic Substitution): 지역적 특색을 잃고 보편적인 단어로 대체.
• 의미적 편이 (Semantic Drift): 주제 범위는 유지하지만 미묘한 뉘앙스나 의도가 다른 단어로 대체.
• 맥락 오해 (Contextual Misinterpretation): 상황적 단서를 잘못 해석하여 문맥을 바꾸는 오류.

5. 의의 및 결론 (Significance & Conclusion)

이 연구는 현대 LLM 이 표준 언어를 넘어선 언어 다양성, 특히 속어와 같은 비표준 변이형을 이해하는 데 있어 근본적인 한계가 있음을 입증했습니다.

• 생성과 판별의 비대칭성: 모델은 속어를 생성하는 능력 (Generative competency) 에 비해, 주어진 옵션 중 올바른 것을 고르는 능력 (Discriminative competency) 이 월등히 뛰어납니다. 이는 모델이 속어의 개념적 의미는 학습했지만, 문화적으로 내재된 구체적인 표현을 적절히 활용하지 못함을 의미합니다.
• 포용적 NLP 의 필요성: 콘텐츠 관리, 교육 도구 등 다양한 분야에서 LLM 이 배포됨에 따라, 비표준 영어 화자에 대한 편향과 서비스 저하가 발생할 수 있습니다.
• 향후 방향: 언어 다양성을 고려한 더 포괄적인 훈련 데이터 수집, 변이형 인식 (Variety-aware) 학습 목표 설정, 그리고 진화하는 언어 현상에 적응할 수 있는 지속 학습 (Continual Learning) 접근법의 필요성을 강조합니다.

결론적으로, 기술적으로 풍부한 언어인 영어조차도 지역별 속어에 대해서는 모델의 이해도가 제한적이며, 이를 해결하기 위해서는 문화적 맥락을 고려한 새로운 평가 기준과 데이터셋이 필수적입니다.