PinCLIP: Large-scale Foundational Multimodal Representation at Pinterest

Pinterest は、VLM（視覚言語モデル）の強みを推薦システムに統合し、画像とテキストの整合性学習と隣接アライメント目的を備えたハイブリッド Vision Transformer 構造「PinCLIP」を開発することで、検索精度の向上、コールドスタート問題の解決、そしてエンゲージメントの大幅な増加を実現しました。

要約

Pinterest 社が開発した新しい技術「PinCLIP（ピンクリップ）」について、難しい専門用語を使わず、日常の例え話を使ってわかりやすく解説します。

🎨 PinCLIP とは？「Pinterest の超能力な目」

Pinterest は、写真やアイデアを収集する「デジタルの壁紙（ボード）」のような場所です。ユーザーは「おしゃれな靴が欲しい」「夕食のレシピを探したい」といった検索をしたり、気に入った写真を見つけて保存（リピン）したりします。

しかし、Pinterest には**「数億枚もの写真」と「数億人のユーザー」がいます。この膨大な情報の中から、あなたが本当に欲しがっているものを瞬時に見つけるのは、まるで「巨大な図書館で、本の内容を一言も読まずに、表紙の絵だけで『あなたが今探している物語』を見つける」**ような難しい作業です。

これまでのシステムは、写真と文章を別々に理解していましたが、PinCLIPは、**「写真」と「言葉」を完全に融合させた、まるで人間のように文脈を理解する「超能力な目」**のようなものです。

---

🔍 3 つの大きな工夫（どうやってすごいのか？）

PinCLIP が他のシステムと違うのは、以下の 3 つの「魔法」を使っているからです。

1. 「写真」と「言葉」を仲介する「翻訳者」

• これまでのやり方: 写真を見て「犬だ」と認識し、別で文章を読んで「ゴールデンレトリーバー」と認識し、最後に「あ、同じだ！」と判断していました。
• PinCLIP のやり方: 写真と文章を**「最初から一緒に」**学習します。
  • 例え話: 料理のレシピ（文章）と、出来上がった料理の写真を見ながら、**「この写真の香ばしさは、この文章の『焼く』という言葉と繋がっている」**と、最初から一体となって理解する料理人です。
  • これにより、「金色の靴」という言葉と、実際に金色の靴が写っている写真の結びつきが、これまで以上に強くなります。

2. 「友達関係」を学ぶ「社交的な先生」

• これまでのやり方: 「この写真」と「この文章」が合っているかだけを勉強していました。
• PinCLIP のやり方: **「同じボードに保存された写真同士」**の関係も勉強します。
  • 例え話: 料理教室で、A さんが「パスタ」と「トマトソース」を一緒に保存していたとします。PinCLIP は、「あ、この 2 つは『友達』なんだな」と学びます。
  • もしあなたが「パスタ」を検索したら、単に「パスタの写真」だけでなく、「トマトソース」や「パスタに合うワイン」の写真も、**「同じ趣味を持つ人たちが一緒に保存している」**という文脈から提案できるようになります。これを「隣接するピンの整列（Neighbor Alignment）」と呼びます。

3. 「冷たいスタート」を温める「魔法の暖炉」

• 問題点: 新しく投稿された写真（特に広告や新しいクリエイターの作品）は、誰も保存していないので、Pinterest のシステムは「これが何だかわからない」と判断し、誰も見せてもらえません。これを**「コールドスタート（冷たいスタート）」**問題と呼びます。
• PinCLIP の解決策: 写真の見た目と文章の意味を深く理解しているため、**「誰も保存したことがない新しい写真」**でも、「これは『おしゃれなカフェ』の写真だ」と瞬時に判断できます。
  • 結果: 新鮮なコンテンツがすぐに適切な人のもとに届くようになり、新しい広告のクリック率が**8.7%も上がり、新しい投稿の保存数が15%**も増えました。まるで、新しいお店がオープンした瞬間に、すぐにファンが集まるようなものです。

---

🚀 実際の効果は？

この技術を実際に Pinterest に導入したところ、以下のような素晴らしい成果が出ました。

• 検索精度の向上: 「金色の革靴」と検索すると、本当に金色で革の靴がズラッと並びます。従来のシステムより20% 以上も精度が良くなりました。
• ユーザーの満足度: ホームフィード（トップページ）や検索結果で、ユーザーがより多くの写真に「いいね（リピン）」をするようになりました。
• ビジネスへの貢献: 広告主にとって、新しい広告がより多くの人に見られるようになり、クリック率（CTR）が5% 以上向上しました。

💡 まとめ

PinCLIP は、単なる「画像認識」や「検索技術」の進化ではありません。
「写真の美しさ」と「言葉の意味」を、人間が持つ「文脈（つながり）」の感覚で理解し、新しいアイデアをすぐに発見できるようにする、Pinterest の新しい心臓部です。

これにより、Pinterest は単なる写真集ではなく、**「あなたの興味を先回りして満たしてくれる、賢いパートナー」**へと進化しました。

技術概要

PinCLIP: Pinterest における大規模基盤マルチモーダル表現

1. 背景と課題 (Problem)

大規模言語モデル（LLM）や視覚言語モデル（VLM）の発展は目覚ましいものですが、これらを推薦システム（RecSys）や検索システムに統合するには以下の課題が存在します。

• 学習目的の不一致: 現代の LLM/VLM は「次のトークンの予測」という生成タスクで訓練されるのに対し、推薦システムは「ユーザーのエンゲージメント予測」という識別タスク（クロスエントロピー損失など）で最適化されます。
• スケーラビリティとレイテンシ: 数十億パラメータを持つ大規模モデルは、リアルタイムで大量のトラフィックを処理する推薦システムにおいて、計算コストとレイテンシの面で実用的な課題となります。
• マルチモーダルデータの活用不足: 既存の推薦システムの研究はテキストデータに偏っており、画像や動画などの視覚情報の活用が不十分です。また、学術的な小規模データセットでの評価が多く、実世界の巨大なスケールでの展開事例が不足していました。

Pinterest は、これらの課題を克服し、ユーザーのエンゲージメント向上と「コールドスタート（新規コンテンツの配信）」問題を解決するための大規模なマルチモーダル表現学習モデル「PinCLIP」を開発しました。

2. 手法とアーキテクチャ (Methodology)

PinCLIP は、VLM を活用したハイブリッドな Vision Transformer アーキテクチャを採用し、画像とテキストの深い融合を実現しています。

2.1 モデルアーキテクチャ

• ハイブリッド Vision Transformer:
  • 画像エンコーダ: 社内事前学習済みモデル（Funnel Vision Transformer トランクと畳み込みステム）を使用。Funnel 操作により計算コストとメモリ使用量を削減しつつ、強力な特徴抽出を可能にしています。
  • テキストエンコーダ: 多言語対応の SigLIP ベースのモデルを使用。
  • 融合エンコーダ: 画像トークンとテキストトークンを結合し、小型の Transformer アグリゲータ（2 レイヤー）で深層融合を行います。その後、マルチヘッドアテンションを用いて単一の埋め込みベクトルに圧縮します。
• Matryoshka 表現学習 (MRL):
  • 埋め込みベクトルの次元を段階的に（例：64d, 128d, 256d）最適化し、上位の次元だけで十分な性能を発揮するように訓練します。これにより、検索段階で必要な精度に応じてベクトルの長さを変更でき、インフラコストを大幅に削減できます。
• 量子化:
  • 推論コスト削減のため、浮動小数点（float16）から int8 へのポストトレーニング量子化（PTQ）を適用し、埋め込みサイズを 50% に圧縮しています。

2.2 学習目的 (Objectives)
従来の画像 - テキスト対照学習に加え、Pinterest 特有のグラフ構造を活用した新しい目的関数を導入しています。

1. 画像 - テキスト整合性 (Image-to-Text Alignment):
   • Pin の画像と、タイトル、説明文、自動生成キャプション、検索クエリ、アノテーションなどの多様なテキスト信号を対照学習（SigLIP のシグモイド損失）で整合させます。
2. Pin 間整合性 (Pin-to-Pin Alignment):
   • 独自のアプローチ: ユーザーが同じボード（Board）に保存した Pin 同士は意味的に類似しているという仮説に基づき、Pin-Board グラフ上で「隣接する Pin ペア」を正例として学習します。これにより、画像とテキストの直接的な対応だけでなく、コンテンツ間の構造的な文脈（トピックの類似性）を捉えることができます。

2.3 データとトレーニング効率

• データ: 約 8.9 億のユニークな画像（Pin）と、高品質なテキスト信号（タイトル、説明、AI 生成キャプション、検索クエリなど）を使用。画像とテキストの整合性が低いペアはフィルタリングしています。
• 効率化: 64 個の H100 GPU を使用し、約 60 億枚の画像を処理。FlashAttention-2 やアクティベーション・チェックポイント、画像エンコーダの一部層の凍結（Freezing）などを採用し、トレーニングスループットを向上させ、メモリ使用量を削減しています。

3. 主な貢献 (Key Contributions)

1. 大規模実世界データでの VLM 活用: 数億人のユーザーを持つ実サービス（Pinterest）において、事前学習済み VLM を活用したマルチモーダル表現学習を成功させました。
2. 実用的な構築レシピの提示: 大規模画像データセットにおけるデータ選定、モデルアーキテクチャ、学習目的、効率化、そして本番環境への導入（Productionization）までの実践的なノウハウを公開しました。
3. 画期的な性能向上: 強力なベースライン（Qwen など）に対し、オフライン評価で 20% 以上の改善を達成しました。
4. コールドスタート問題の解決: 学習された表現が新規コンテンツの発見に極めて有効であることを実証しました。

4. 結果 (Results)

4.1 オフライン評価

• 検索・推薦タスク: PinText（画像 - テキスト検索）、Related Pins（画像 - 画像検索）、Search（テキスト - 画像検索）などのタスクにおいて、既存の社内モデルや Qwen、CLIP などの最先端モデルを大幅に上回りました。
  • 例：Search タスクでの Recall@10 は、従来のテキストベースモデルに対し 35.1% から 44.5% へ、マルチモーダル検索では 26.2% から 47.1% へ向上。
• アブレーション研究:
  • モデルサイズを大きくするほど性能が向上。
  • データセットサイズを増やすことで性能が向上。
  • 画像エンコーダの最終 12 レイヤーを凍結しない（微調整する）ことで、トレーニング効率と性能の両面で最適化されました。

4.2 オンライン A/B テスト
Pinterest の主要な表面（ホームフィード、関連 Pin、検索、広告）での実運用テストで、以下のビジネスインパクトを確認しました。

• エンゲージメントの向上: ホームフィード、関連 Pin、検索のすべての表面で、リピン（Repins）数が有意に増加しました。
• コールドスタートの解決:
  • オーガニックコンテンツ: 28 日以内の「フレッシュコンテンツ」のリピン数が約15% 増加。
  • 広告: 14 日以内の新規広告のクリック数が8.7% 増加。
• 広告パフォーマンス: 広告のクリック率（CTR）が5.02% 向上し、広告主のコスト（CPC）は 0.59% 削減されました。
• 候補生成器としての効果: PinCLIP を候補生成（Candidate Generation）に使用した結果、検索の満足度（Fulfillment Rate）やサイト全体のフレッシュコンテンツのリピン数が大幅に改善されました。

5. 意義と結論 (Significance)

PinCLIP は、大規模な VLM を単に「使う」だけでなく、推薦システムの実用的な制約（レイテンシ、コスト、学習目的の不一致）を克服するために、アーキテクチャ、学習目的、データ戦略を最適化した画期的なアプローチです。

• 技術的意義: 画像とテキストの対照学習に加え、ユーザー行動に基づく「Pin 間の関係性」を学習に組み込むことで、より文脈に即した表現を獲得しました。また、Matryoshka 表現や量子化による効率化は、大規模モデルの実運用における重要な指針となります。
• ビジネス的意義: 新規コンテンツ（コールドスタート）の発見能力を劇的に向上させ、プラットフォーム全体のエンゲージメントと広告収益を同時に増加させる成功事例となりました。

この論文は、大規模マルチモーダルモデルを産業レベルの推薦システムに統合するための包括的なロードマップを提供しており、今後の推薦システム開発における重要なベンチマークとなっています。