When Meaning Travels: A Granular Lens on Hybrid-MoE's Role in Idiomatic Understanding for Language Models

技術要約：意味が旅するとき：言語モデルにおける慣用句理解のためのHybrid-MoEの役割に関する粒度の高い視点

問題提起
慣用句は、文化的価値、歴史的背景、そして創造的な表現の重要な導管であるが、計算論的モデリングにおいては持続的な課題となっている。それらは非構成的であり、文化的接地（グラウンディング）に深く根ざしており、しばしば直訳的な解釈を拒む。大規模言語モデル（LLM）や視覚言語モデル（VLM）は進歩しているものの、文化特有の語彙パターン、特にヒンディー語、ベンガル語、タイ語といった低リソースの東南アジア言語における正確な解解読は依然として困難である。既存のベンチマーク（例：FLUTE、V-FLUTE）は、これらの言語に求められるマルチモーダルな深さや文化的ニュアンスを欠いていることが多く、標準的な高密度アーキテクチャは計算コストが高い。さらに、Mixture-of-Experts（MoE）フレームワークにおける従来のtop-kエキスパート選択のみに依存することは、慣用句の説明のような複雑な語用論的タスクに必要な表現力を制約する可能性がある。

手法
著者らは、新しいデータセットの構築と、新しいアーキテクチャ・フレームワークの開発という二段構えのアプローチを提案している。

1. Varnikaデータセット： 著者らは既存のMediomコーパスを再構築および拡張し、ヒンディー語、ベンガル語、タイ語を含む3,533のインスタンスからなるマルチモーダル慣用句コーパスであるVarnikaを作成した。従来の資源とは異なり、Varnikaは各慣用句に7つの語用論的な「慣用的なトーン」（ユーモア、嘲笑、愛情、熱望、恐怖、悲しみ、欺瞞）を付与している。このデータセットには、文学およびアーカイブ資料から精選されたテキストと視覚表現のペアが含まれており、ピアレビューと専門家による文化的検証（Cohen's kappa = 0.65を達成）を含む二段階のプロセスを経て検証されている。

2. HybridMoEフレームワーク： 慣用句理解の複雑さに対処するため、本論文ではマルチモーダル・ハイパーネットワークに基づくアーキテクチャであるHybridMoEを導入する。

   • アーキテクチャ： モデルはテキスト（BERT経由）と画像（ViT経由）をエンコーディングして埋め込みを作成する。これらは、慣用句固有のキューを捉えるために、クロスモーダル埋め込みを選択的に条件付ける**慣用特性シグナル（IPS）**によって強化される。
   • ハイブリッド・エキスパート・ルーティング： 本フレームワークは、それぞれ4つのエキスパートネットワークを含む3つの並列なHybrid-MoEモジュールを採用している。標準的なMoEがトークンをスパースなエキスパートのサブセットにルーティングするのに対し、HybridMoEは制御されたハイブリッド化戦略を採用している。これは、学習可能なゲーティング関数と平均プル（mean-pull）戦略を介して、選択されたエキスパートと選択されなかったエキスパートの両方の出力を統合し、エキスパートのスパース性を緩和しながら、エキスパート間の知識共有を可能にする。
   • 評価指標： 著者らは2つの新しい指標を提案している。
     • 慣用検証（IV）スコア： (i) 直訳の忠実度（BLEU）、(ii) 視覚的・意味的整合性（CLIPコサイン類似度）、(iii) 慣用的な意味の保持（BERTScore）を測定する三段階のパイプライン。最終スコアはこれらの構成要素の幾何平均である。
     • IDIO-TONEスコア： 蒸留されたDeepSeek-R1モデルを用いたラベルベースの指標であり、予測された慣用的なトーンのラベルと正解ラベルとの間の整合性（F1スコア）を評価する。

主な貢献

• Varnikaデータセット： 微細なトーンの注釈と視覚的接地を備えた、低リソース言語（ヒンディー語、ベンガル語、タイ語）のためのマルチモーダルなリソースであり、既存のクロスリンガル慣用句データセットのギャップを埋めるものである。
• HybridMoEアーキテクチャ： 慣用的な構成に関する推論を強化するために、エキスパート固有のモジュールとグローバルに共有されたハイパーネットワーク、およびIPSを組み合わせた新しいフレームワーク。
• 評価フレームワーク： 直訳の忠実度、視覚的整合性、および語用論的なトーンの一貫性を体系的に定量化するためのIVスコアおよびIDIO-TONEスコアの導入。
• 実証的検証： 複数のVLM（例：Qwen2.5-VL-7B、Gemma3、SmolVLM）にわたる包括的なベンチマークにより、提案されたフレームワークの有効性を実証している。

結果
実証的な評価により、HybridMoEフレームワークが標準的なファインチューニング済みVLMに対して有意な性能向上をもたらすことが示された。

• 性能向上： Qwen2.5-VL-7B-Instructに適用した場合、HybridMoEはROUGE-Lを0.36から0.41へ、BLEU-3を16.51から21.48へ、BERTScoreを0.93から0.95へと向上させた。
• IVスコア： Qwen2.5-VL-7B + HybridMoEの構成は、標準的なファインチューニングのベースラインを上回る最高のIVスコア0.82を達成した。
• 汎用性： 本フレームワークはアーキテクチャに依存しない改善を示し、SmolVLMやGemma3を含む多様なモデルにおいて向上が観察された。言語固有のモデル（ヒンディー語のGanga、タイ語のTyphoonなど）も、Varnikaで学習された際に慣用的な意味を推論する能力を示した。
• トーンにおける限界： 意味的および直訳的な指標は改善されたものの、IDIO-TONEスコアは中程度（約0.30から0.55の範囲）にとどまり、高度なモデルであっても、微妙な語用論的トーンを捉えることは依然として大きな課題であることを示している。

意義と主張
本論文は、IPSを統合したHybridMoEが、マルチリンガル・マルチモーダルな設定において、比喩的言語と文化的に埋め込まれた意味の表現を効果的に強化すると主張している。著者らは、視覚的接地と文化的トナリティを明示的に結びつけるデータセットを提供することで、低リソース言語処理のギャップを埋めることを意図している。結果は、動的なエキスパート・ルーティングとクロスモーダルな接地が、意味的、文化的、および文脈的な表現の分離（disentanglement）を改善できることを示唆しており、より包括的で文化的に認識能力の高いAIへの道筋を提示している。しかし、著者らは、HybridMoEは抽象化を改善するものの、明確な視覚的メタファーを欠く高度に抽象的な慣用句に対する、文化的推論と知覚的接地との間の隔たりを完全には解決できていないことを謙虚に認めている。