기술 요약: 저자원 LLM에서의 문화적 얽힘이 있는 동형이의어 (Culturally Entangled Homographs)

문제 정의

본 논문은 뱅골어(Bangla)에서 나타나는 매우 구체적이고 미개척된 단어 의미 중의성 해소(WSD)의 변형인 **문화적 얽힘이 있는 동형이의어(Culturally Entangled Homographs, CEH)**를 다룹다. 표준적인 WSD가 서로 다른 어휘적 정의를 가진 경쟁적 의미를 다루는 것과 달리, CEH는 하나의 단어 형태가 동시에 **인명(Personal Name)**과 **문화적 맥락을 가진 일반 명사(Culturally Loaded Common Noun)**로 기능하는 경우를 포함한다 (예: Maya가 여성의 이름인 동시에 "애정 어린 자비"를 뜻하는 경우; Arif가 소년의 이름인 동시에 수피즘 신학에서 "신성한 직관적 지식을 소유한 자"를 뜻하는 경우).

CEH를 해결하기 위해서는 표면적인 어휘 통계가 아닌 문화적 및 화용론적 지식이 필요하다. 저자들은 현재의 거대언어모델(LLM)들이 언어 특화 사전 학습을 거쳤음에도 불구하고, **체계적인 지배적 의미 편향(Systematic Dominant-Meaning Bias)**을 겪고 있다고 주장한다. 즉, 모델들은 일반 명사로서의 의미를 기본값으로 선택하며 인명으로서의 해석을 인식하지 못하는데, 이는 언어적 유창함에도 불구하고 진정한 문화적 접지(Cultural Grounding)가 결여되어 있음을 나타낸다.

방법론

1. 데이터셋 구축 (Bangla CEH 벤치마크)

저자들은 1,516개의 전문가 검증 문장과 3,032개의 레이블링된 출현 사례를 포함하는 벤치마크를 구축하였다.

• 구조: 각 문장은 두 번의 서로 다른 해석(예: 한 번은 이름, 한 번은 개념/감정/영적 상태)을 가진 대상 단어를 포함한다.
• 주석(Annotation): 모든 출현 사례에는 6가지의 문화적으로 근거한 범주(이름, 개념, 감정, 정서적 상태, 집단적 상태, 영적 상태)가 할당되며, 레이블에 대한 문화적 추론을 담은 자연어 설명이 동반된다.
• 생성 및 검증: 다양성을 확보하기 위해 세 가지 최첨단 모델(Claude Fable 5, Kimi K3, Gemini 3.5 Flash)을 사용하여 문장을 생성하였다. 이후 교차 모델 라운드 로빈 체크를 거친 뒤, 최종 권위자인 두 명의 원어민 뱅골어 화자가 수동 검토를 수행하는 2단계 검증 프로토콜을 적용하였다.

2. 실험 체제

본 연구는 네 가지 단계적으로 높아지는 감독 수준 하에서 모델을 평가한다:

1. 제로샷 프롬프팅 (Zero-Shot Prompting): 예시 없이 외부 도움 없이의 문화적 접지 능력을 측정한다.
2. 퓨샷 프롬프팅 (Few-Shot Prompting): 문맥 내 예시 제시가 얽힌 의미를 인식하는 데 도움이 되는지 테스트한다.
3. 문화적 사고 사슬 (Cultural Chain-of-Thought, C-CoT): 모델이 결정을 내리기 전, 두 후보 해석(이름 vs 개념) 모두에 대해 명시적으로 논증하도록 하는 대조적 프롬프팅 전략이다. 이는 파라미터 업데이트 없이 지배적 의미 편향을 상쇄하는 것을 목표로 한다.
4. 지식 증류 (Knowledge Distillation, KD) 미세 조정: 인간이 검증한 문화적 설명을 사용하여 소규모 모델(1~3B 파라미터)을 QLoRA로 미세 조정한다. 결정적으로, 훈련 목표는 레이블만이 아니라 전체 추론 과정과 그 뒤의 레이블이며, 이를 통해 모델이 문화적 추론 패턴을 내재화하도록 강제한다.

3. 평가 대상 모델

평가는 오픈 소스와 폐쇄형 모델을 혼합하여 수행되었다:

• 오픈 소스: Qwen2.5-1.5B, Llama-3.2-3B, Gemma-3-1B, Ministral-3B, 그리고 TituLLM(뱅골어 특화 모델).
• 폐쇄형 소스: GPT-4o-mini.

4. 평가 지표

• 레이블 트랙 (Label Track): Exact Match (EM), 평균 점수, Macro/Micro F1, 환각률(Hallucination Rate), 그리고 지배적 편향률(Dominant-Bias Rate) (이름 레이블을 놓치는 빈도).
• 추론 트랙 (Reasoning Track): 골드 설명(Gold Explanations) 대비 chrF 및 BERTScore, 그리고 Human-as-a-Judge 및 LLM-as-a-Judge 평가.

주요 결과

1. 체계적인 지배적 의미 편향

제로샷 프롬프팅 하에서 모든 오픈 소스 모델은 일반 명사 해석에 대한 심각한 편향을 보였다.

• 편향률: Ministral의 62.5%에서 **Gemma 및 TituLLM의 100%**까지 나타났다.
• TituLLM의 실패: 뱅골어 특화 모델임에도 불구하고 모든 프롬프팅 체제(Zero-shot, Few-shot, C-CoT)에서 실패하였으며, 일부 입력에서는 100% 환각을 일으켰다. 이는 언어 특화 사전 학습만으로는 문화적 접지를 부여할 수 없음을 입증한다.
• GPT-4o-mini: 상대적으로 강세를 보였으나(EM 43.87%, 편향 16.35%), 과업 요구 사항에 비하면 여전히 상당한 어려움을 겪었다.

2. 프롬프팅의 한계

• 퓨샷 (Few-Shot): 일부 모델(예: Gemma의 EM이 0.91%에서 31.29%로 상승)의 성능을 개선했으나, 모든 모델의 핵심 편향을 해결하지는 못했다.
• C-CoT: 엇갈린 결과를 보였다. Qwen2.5-1.5B의 경우 편향을 거의 제거했으나(63.46%에서 2.88%로 감소), Llama-3.2-3B의 경우 오히려 성능이 저하되었다(편향이 75%로 증가). 또한 TituLLM에서도 성능이 저하되었다. 이는 C-CoT가 모델 의존적이며, 모델이 형식 붕괴 없이 긴 추론 사슬을 유지할 수 있는 능력이 필요함을 시사한다.

3. 지식 증류의 성공

문화적 추론 궤적을 사용하여 소형 모델을 미세 조정하는 것이 가장 큰 개선을 가져왔다:

• 성능 도약: 모든 미세 조정된 모델이 82% 이상의 Exact Match를 기록했으며, 지배적 의미 편향을 5% 미만으로 줄였다.
• 추론 품질: 추론에 대한 BERTScore가 급격히 향상되었다 (예: Qwen의 경우 0.178에서 0.784로 상승). 이는 모델이 표면적 매핑을 암기하는 것이 아니라 문화적으로 레이블을 정당화하는 법을 배웠음을 나타낸다.
• TituLLM의 반전: 이전에 실패했던 뱅골어 특화 모델이 미세 조정 후 가장 강력한 시스템(EM 87.91%, 편향 4.2%)이 되어, 미세 조정된 일반 모델들과 프롬프팅만 사용한 GPT-4o-mini를 능가하였다.

의의 및 주장

본 논문은 저자원이면서 문화적으로 풍부한 언어를 위한 진정한 문화적 접지의 진단 도구를 제공한다고 주장한다. 주요 기여는 다음과 같다:

1. CEH의 공식화: 표면적 어휘 능력으로부터 문화적 접지를 분리하여 정의함.
2. 벤치마크 공개: 토큰 단위의 문화적 범주와 추론 설명을 포함하는 데이터셋 제공.
3. 실증적 증거: 언어 특화 사전 학습이 불충분함을 입증함. 즉, 뱅골어 특화 모델이라도 특정 문화적 감독 없이는 완전히 실패할 수 있음.
4. 실질적 해결책: 소규모 파라미터 효율적 미세 조정을 통해 작은 모델에 문화적 추론을 증류하는 것이 높은 성능에 도달하는 유효한 경로임을 보여줌. 이 접근법은 작은 오픈 모델이 문화적으로 복잡한 과업에서 더 큰 독점 모델을 능가할 수 있게 한다.

저자들은 저자원 및 문화적 자산이 풍부한 언어의 경우, 콤팩트한 언어 특화 모델과 소수의 문화적 추론 궤적을 결 der하고 이를 파라미터 효율적 미세 조정으로 적응시키는 전략이 가장 효과적이라고 결론짓는다. 또한 단어 선택의 수동적 특성(단일 주석자의 지식 반영)과 희귀한 문화적 레이블에 대한 지속적인 어려움(롱테일 데이터 부족)을 한계점으로 인정한다.