ViCLIP-OT: The First Foundation Vision-Language Model for Vietnamese Image-Text Retrieval with Optimal Transport

この論文は、CLIP 型の対照学習に類似性グラフ正則化付き最適輸送（SIGROT）損失を統合し、ベトナム語の画像・テキスト検索において既存モデルを凌駕する性能を示した、ベトナム語初の基盤視覚言語モデル「ViCLIP-OT」を提案するものです。

要約

この論文は、**「ベトナム語の画像と言葉を、まるで魔法のように結びつける新しい AI」**について書かれています。

タイトルは『ViCLIP-OT』。少し難しそうですが、実はとても面白いアイデアが詰まっています。わかりやすく、日常の例え話を使って解説しましょう。

🌏 背景：なぜこの研究が必要なの？

まず、今の AI 界には「CLIP（クリップ）」という超有名な先生がいます。この先生は、英語の画像と文章のペアを何億組も見て勉強したので、「猫の画像」と「猫」という言葉が同じ意味だと、完璧に理解しています。

しかし、ベトナム語のような、データが少ない言語では、この先生はあまり得意ではありません。

• 問題点: ベトナム語の「猫の画像」と「猫」という文章を結びつけるデータが英語に比べて圧倒的に少ない。
• 今の解決策: 無理やりベトナム語を英語に翻訳して、英語の先生に教える方法。
• 欠点: 翻訳するとニュアンスが崩れたり、ベトナム語特有の「味」が失われたりします。

そこで、この論文の著者たちは、**「ベトナム語に特化した新しい先生（ViCLIP-OT）」**を作りました。

---

🧩 核心：どうやってすごい性能を出したの？

この新しい先生は、2 つのすごいテクニックを組み合わせています。

1. 従来の「ペアリング学習」（CLIP のやり方）

まず、基本的な勉強法は同じです。「この画像」と「この文章」はセットだぞ！と教えます。

• 例え: 写真と説明文を「お揃いのペア」として認識させること。

2. 新発想の「交通整理と地図の活用」（OT: 最適輸送）

ここがこの論文の最大の特徴です。従来のやり方では、1 対 1 のペアだけを重視していましたが、ViCLIP-OT は**「全体の関係性」**まで見ています。

• シチュエーション: 教室で「赤い服の女の子」と「青い服の男の子」の写真を並べ、それぞれに文章を割り当てる場面を想像してください。
• 従来の方法: 「赤い服の女の子」の写真と「赤い服の女の子」という文章を、ただひたすら近づけようとします。
• ViCLIP-OT の方法（OT）:
  • まず、クラス全体の「似ている関係」を地図（グラフ）に描きます。「赤い服の女の子」と「赤い服の男の子」は似ているし、「青い服の男の子」と「青い服の女の子」も似ている、といった**「グループごとのつながり」**を把握します。
  • 次に、**「最適輸送（Optimal Transport）」**という数学のテクニックを使って、画像と言葉を「最も効率的に、かつ全体としてバランスよく」結びつけます。
  • 例え: 単に「1 対 1」でくっつけるのではなく、**「クラス全体のバランスを見ながら、誰が誰に一番似ているか、混乱せずに整列させる」**ようなイメージです。

これにより、画像と言葉の間に「すき間（ギャップ）」ができにくくなり、より自然に結びつくようになります。

---

📊 結果：どれくらいすごいのか？

ベトナムの 3 つのテストで、この新しい先生（ViCLIP-OT）は、既存の英語ベースの先生たちを大きく凌駕しました。

• 成績: 画像から文章を探すテストや、文章から画像を探すテストで、従来モデルより 5%〜11% も高い正解率を叩き出しました。
• ゼロショット（未経験）能力: 一度も見たことのない新しいベトナム語の画像や文章に対しても、非常に上手に反応できました。
• 空間の美しさ: 画像と言葉を「同じ空間（埋め込み空間）」に配置したとき、従来のモデルだと「画像のエリア」と「言葉のエリア」が離れてしまっていたのが、ViCLIP-OT では**「混ざり合って、きれいにまとまっている」**ことが確認できました。

---

💡 まとめ：何が新しいの？

この論文は、**「ベトナム語という、データが少ない言語でも、AI が画像と言葉を深く理解できるようにした」**という画期的な成果です。

• 従来の方法: 翻訳して無理やり英語のルールに合わせる（不自然）。
• ViCLIP-OT の方法: ベトナム語の「文脈」や「関係性」を、数学的な「交通整理（最適輸送）」を使って、自然に整理して学習させる。

まるで、**「翻訳機を使わずに、現地の人が現地の感覚で、写真と言葉の関係を理解する」**ような感覚に近いかもしれません。

この技術は、ベトナムだけでなく、世界中の「データが少ない言語」や「マイナーな言語」でも使える可能性を秘めており、今後の AI 開発にとって非常に重要な一歩です。

一言で言えば：

「ベトナム語の画像と言葉を、数学の『交通整理』を使って、より自然で正確に結びつける、新しい AI の誕生！」

技術概要

ViCLIP-OT: 最適輸送を用いたベトナム語画像・テキスト検索のための最初の基盤視覚言語モデル

この論文は、低資源言語であるベトナム語における画像・テキスト検索（Image-Text Retrieval）の課題に対処し、ViCLIP-OTという新しい基盤視覚言語モデルを提案するものです。既存のモデルが英語などの高資源言語に最適化されているのに対し、ベトナム語のような言語では大規模なデータセットや事前学習モデルが不足しているという問題点を解決し、最適輸送（Optimal Transport）の概念を導入することで、モダリティ間のギャップを埋め、検索精度を大幅に向上させています。

以下に、論文の技術的概要を問題定義、手法、主要な貢献、実験結果、そして意義の観点から詳細にまとめます。

1. 問題定義と背景

• 現状の課題: 画像・テキスト検索は多メディアシステムにおいて重要ですが、既存の視覚言語モデル（CLIP や ALIGN など）は主に英語などの高資源言語で訓練されており、ベトナム語のような低資源言語では性能が不十分です。
• ベトナム語特有の困難:
  • 大規模な画像・キャプション対データセットの不足。
  • 既存の CLIP 風トレーニングの直接的な適用が困難。
  • 英語への翻訳を介したアプローチは、翻訳ノイズや言語固有の意味の喪失を招く。
• 既存手法の限界: 従来の対照学習（Contrastive Learning）は「インスタンスレベル（個々のペア）」の整合性には優れていますが、バッチ内のサンプル間の「関係性構造（例：類似した視覚概念を持つ複数のキャプション）」を明示的に利用せず、モダリティ間の分布レベルの整合性（Distribution-level alignment）が不十分な場合があります。

2. 提案手法：ViCLIP-OT

ViCLIP-OT は、CLIP 風の対照学習と、**類似性グラフ正則化付き最適輸送（SIGROT: Similarity-Graph Regularized Optimal Transport）**を統合したハイブリッドな学習枠組みです。

2.1 アーキテクチャ

• 双エンコーダ構造:
  • 画像エンコーダ: 大規模画像データセットで自己蒸留（Self-distillation）により事前学習された DINOv3 ベースの Vision Transformer (ViT) を採用。
  • テキストエンコーダ: 大規模なベトナム語コーパスで事前学習された Vietnamese Sentence-BERT (SBERT) を採用。
  • 両エンコーダは画像とテキストを共有埋め込み空間にマッピングします。

2.2 学習目的（ハイブリッド損失関数）

モデルは以下の 2 つの損失関数の組み合わせで最適化されます。

1. 対照損失（CLIP または SigLIP）:
   • 標準的な CLIP 損失または SigLIP 損失を使用し、バッチ内の正解ペアを近づけ、不正解ペアを遠ざけるインスタンスレベルの整合性を学習します。
2. SIGROT 損失（提案核心）:
   • 動機: インスタンスレベルの整合性に加え、バッチ内のサンプル間の「関係性構造」を捉えることで、グローバルなモダリティ間の一貫性を強化します。
   • 類似性グラフの構築: 事前計算された埋め込み（Qwen3-VL-Embedding-2B などを使用）に基づき、テキスト - テキスト、画像 - 画像、およびクロスモーダリティ間の類似性行列を計算し、これらを統合して「類似性グラフ（Similarity Graph）」を生成します。
   • 最適輸送（OT）の適用: 画像とテキストの埋め込み間の輸送計画（Transport Plan）を、この類似性グラフを正則化項として用いて求めます。
     • 非平衡最適輸送（Unbalanced OT）を採用し、ノイズのあるペアや背景の混入に対処できるよう、マージン制約を緩和しています。
     • 輸送計画と類似性グラフ分布との間の KL 発散を最小化することで、バッチ全体での分布レベルの整合性を強制します。

2.3 学習戦略

• ハイブリッド目的関数: $L = \lambda L_{contrastive} + L_{SIGROT}$
• 微調整: 画像エンコーダの最後の数層（実験では 13 層）を解放して微調整し、ベトナム語固有のドメインギャップに適応させています。

3. 主要な貢献

1. ベトナム語初の基盤視覚言語モデル: 大規模な規模でベトナム語の画像・テキスト検索用に設計された初の基盤モデル（ViCLIP-OT）の提案。
2. SIGROT 損失の提案: バッチ内のサンプル間の関係性構造を活用した最適輸送に基づく損失関数により、クロスモーダルな整合性を強化し、モダリティギャップを軽減。
3. 広範な評価と SOTA 性能: 3 つのベトナム語ベンチマーク（UIT-OpenViIC, KTVIC, Crossmodal-3600）における実験で、CLIP や SigLIP ベースラインを凌駕する性能を達成。特にゼロショット設定での汎化能力が顕著です。

4. 実験結果

実験は、 UIT-OpenViIC（ドメイン内）、KTVIC、Crossmodal-3600（ゼロショット）の 3 つのデータセットで行われました。

• UIT-OpenViIC（ドメイン内評価）:
  • ViCLIP-OT は平均 Recall@K で 67.34% を達成し、CLIP ベースライン（61.59%）を 5.75 ポイント 上回りました。
  • SigLIP ベースラインと比較しても大幅な改善が見られ、ゼロショット評価では Qwen3-VL-Embedding-2B などの多言語モデルを大きく凌駕しました。
• ゼロショット評価（KTVIC, Crossmodal-3600）:
  • Crossmodal-3600: ViCLIP-OT は平均 Recall@K で 56.85% を達成し、CLIP（45.13%）を 11.72 ポイント 上回りました。
  • KTVIC: 重複除去後のテストセットでも、CLIP や SigLIP よりも一貫して高い性能を示しました。
• 埋め込み空間の分析:
  • モダリティギャップの縮小: UMAP 可視化と定量的指標（Modality gap）により、SIGROT を導入することで画像とテキストの埋め込みがより密に結合し、空間的な分離が減少することが確認されました。
  • アライメントの向上: 一致するペアの類似度（Alignment score）が向上しました。
• 視覚的解釈性（GradCAM）:
  • ViCLIP-OT は、クエリに関連する具体的なオブジェクト（例：「アオザイを着た少女」や「リンゴを持つ男性」）に注意を集中させる傾向があり、背景ノイズに惑わされにくいことが GradCAM により示されました。

5. 意義と結論

• 低資源言語への適用可能性: 最適輸送に基づく構造的正則化は、大規模データが不足している言語環境においても、クロスモーダル検索の精度を向上させる有効かつスケーラブルな戦略であることを示しました。
• 実用性: ベトナム語および他の未代表言語におけるインテリジェントな多メディア検索システムの構築に実用的なインパクトを与えます。
• オープンソース: 事前学習済みモデルとコードは公開されており、再現性と将来の研究を支援しています。

この研究は、単なる翻訳ベースのアプローチの限界を超え、対象言語に特化した基盤モデルと、分布レベルの整合性を考慮した新しい学習手法（SIGROT）の組み合わせが、低資源言語のマルチモーダルタスクにおいて決定的な優位性を持つことを実証しました。