When Meaning Travels: A Granular Lens on Hybrid-MoE's Role in Idiomatic Understanding for Language Models

기술 요약: 의미가 이동할 때: 관용적 이해를 위한 Hybrid-MoE의 역할에 대한 미세한 관점

문제 정의
관용구(Idioms)는 문화적 가치, 역사적 맥락, 창의적 표현의 핵심적인 통로 역할을 하지만, 계산 모델링 측면에서는 지속적인 과제를 안겨준다. 관용구의 의미는 비구성적(non-compositional)이며 문화적 근거에 깊이 뿌리박고 있어, 문자 그대로의 해석을 거부하는 경우가 많다. 대규모 언어 모델(LLM)과 시각-언어 모델(VLM)이 발전해 왔음에도 불구하고, 힌디어, 벵골어, 태국어와 같은 저자원 동남아시아 언어의 문화 특수적 어휘 패턴을 정확하게 해독하는 것은 여전히 어렵다. 기존의 벤치마크(예: FLUTE, V-FLUTE)는 이러한 언어들에 필요한 다중 모달적 깊이나 문화적 뉘앙스가 부족한 경우가 많으며, 표준 밀집 구조(standard dense architectures)는 계산 비용이 많이 든다. 또한, Mixture-of-Experts(MoE) 프레임워크에서 단순히 top-k 전문가 선택에만 의존하는 것은 관용구 설명과 같은 복잡한 화용론적 과제에 필요한 표현력을 제한할 수 있다.

방법론
저자들은 두 가지 접근 방식, 즉 새로운 데이터셋 구축과 새로운 아키텍처 프레임워크 개발을 제안한다.

1. Varnika 데이터셋: 저자들은 기존의 Mediom 코퍼스를 재구성 및 증강하여 Varnika를 구축하였다. 이는 힌디어, 벵골어, 태국어를 포함하는 3,533개의 인스턴스로 구성된 멀티모달 관용구 코퍼스이다. 기존 자원들과 달리, Varnika는 각 관용구에 유머(Humor), 조롱(Ridicule), 애정(Affection), 열망(Aspiration), 공포(Fear), 슬픔(Sorrow), 기만(Deception)이라는 7가지의 화용론적 "관용적 톤(idiomatic tones)"을 부여하여 풍부하게 만들었다. 이 데이터셋은 문학 및 기록물에서 선별된 텍스트와 시각적 표현의 쌍을 포함하며, 피어 리뷰와 전문가 문화 검증(Cohen's kappa 0.65 달성)을 거친 2단계 과정을 통해 검증되었다.

2. HybridMoE 프레임워크: 관용적 이해의 복잡성을 해결하기 위해, 논문은 멀티모달 하이퍼네트워크 기반 아키텍처인 HybridMoE를 도입한다.

   • 아키텍처: 모델은 텍스트(BERT 활용)와 이미지(ViT 활용)를 임베딩으로 인코딩한다. 이들은 **관용적 속성 신호(Idiomatic Property Signals, IPS)**에 의해 강화되며, IPS는 관용구 특유의 단서들을 포착하기 위해 교차 모달 임베딩을 선택적으로 조건화한다.
   • 하이브리드 전문가 라우팅(Hybrid Expert Routing): 프레임워크는 각각 4개의 전문가 네트워크를 포함하는 3개의 병렬 Hybrid-MoE 모듈을 사용한다. 표준 MoE가 토큰을 희소한 전문가 부분 집합으로 라우팅하는 것과 달리, HybridMoE는 제어된 하이브리드화(controlled hybridization) 전략을 채택한다. 이는 학습 가능한 게이팅 함수와 평균 풀(mean-pull) 전략을 통해 선택된 전문가와 선택되지 않은 전문가 모두의 출력을 통합함으로써, 전문가의 희소성을 완화하고 전문가 간 지식 공유를 가능하게 한다.
   • 평가 지표: 저자들은 두 가지 새로운 지표를 제안한다.
     • 관용 검증(Idiomatic Validation, IV) 점수: (i) 문자적 번역 충실도(BLEU), (ii) 시각-의미 정렬(CLIP 코사인 유사도), (iii) 관용적 의미 유지(BERTScore)를 측정하는 3단계 파이프라인이다. 최종 점수는 이 구성 요소들의 기하 평균이다.
     • IDIO-TONE 점수: 예측된 관용적 톤 레이블과 실제 정답 레이블 사이의 일치도를 평가하기 위해 증류된 DeepSeek-R1 모델을 사용하는 레이블 기반 지표(F1-score)이다.

주요 기여

• Varnika 데이터셋: 미세한 톤 주석과 시각적 근거를 특징으로 하는 저자원 언어(힌디어, 벵골어, 태국어)를 위한 멀티모달 자원으로, 기존의 교차 언어 관용구 데이터셋의 공백을 메운다.
• HybridMoE 아키텍처: 관용적 구조에 대한 추론을 향상시키기 위해 전역적으로 공유되는 하이퍼네트워크 및 IPS를 전문가 특화 모듈과 결려한 새로운 프레임워크를 제공한다.
• 평가 프레임워크: 문자적 충실도, 시각적 정렬, 화용적 톤의 일관성을 체계적으로 정량화하기 위한 IV 점수와 IDIO-TONE 점수를 도입하였다.
• 실증적 검증: 제안된 프레임워크의 효용성을 입증하기 위해 다양한 VLM(예: Qwen2.5-VL-7B, Gemma3, SmolVLM)에 걸친 포괄적인 벤치마킹을 수행하였다.

결과
실증적 평가 결과, HybridMoE 프레임워크는 표준 미세 조정된 VLM보다 유의미한 성능 향상을 보였다.

• 성능 향상: Qwen2.5-VL-7B-Instruct에 적용했을 때, HybridMoE는 ROUGE-L을 0.36에서 0.41로, BLEU-3를 16.51에서 21.48로, BERTScore를 0.93에서 0.95로 개선하였다.
• IV 점수: Qwen2.5-VL-7B + HybridMoE 구성은 가장 높은 IV 점수인 0.82를 기록하며, 표준 미세 조정 베이스라인을 능가하였다.
• 일반화 가능성: 프레임워크는 SmolVLM 및 Gemma3를 포함한 다양한 모델에서 이득을 관찰함으로써 아키텍처 불가지론적(architecture-agnostic) 개선을 입증하였다. 언어 특화 모델(예: 힌디어용 Ganga, 태국어용 Typhoon) 또한 Varnika로 학습되었을 때 관용적 의미를 추론할 수 있는 능력을 보여주었다.
• 톤(Tone)의 한계: 의미적 및 문자적 지표는 개선되었으나, IDIO-TONE 점수는 중간 수준(~0.30에서 0.55 사이)에 머물렀다. 이는 정교한 화용적 톤을 포착하는 것이 고급 모델에게도 여전히 상당한 도전 과제임을 나타낸다.

의의 및 주장
본 논문은 HybridMoE가 IPS와 통합될 때 다국어 멀티모달 환경에서 비유적 언어와 문화적으로 내재된 의미의 표현을 효과적으로 향상시킨다고 주장한다. 저자들은 자신들의 연구가 시각적 근거를 문화적 톤과 명시적으로 연결함으로써 저자원 언어 처리의 격차를 해소한다고 상정한다. 결과는 동적 전문가 라우팅과 교차 모달 근거화가 의미적, 문화적, 맥락적 표현의 분리(disentanglement)를 개선할 수 있음을 시사하며, 보다 포용적이고 문화적으로 인식 있는 AI를 향한 경로를 제시한다. 그러나 저자들은 HybridMoE가 추상화를 개선하기는 하지만, 명확한 시각적 은유가 부족한 고도로 추상적인 관용구에 대해 문화적 추론과 지각적 근거 사이의 간극을 완전히 해결하지는 못한다는 점을 겸허히 인정하고 있다.