テクニカルサマリー：MTEB-PT、ポルトガル語文エンコーダーのためのベンチマーク

問題提起

ポルトガル語は世界で最も広く話されている言語の一つであるにもかかわらず、テキスト埋め込み（text embedding）の評価においては著しく過小評価されている。現在の評価手法は英語中心、あるいは広範な多言語集計（MMTEBなど）に大きく依存しており、言語固有の挙動を明らかにできていない。その結果、どの埋め込みモデルがポルトガル語に対して真に効果的なのか、タスクファミリーごとにランキングがどのように変化するのか、そして多言語としての性能がポルトガル語特有の堅牢性に信頼性を持って反映されるのかが不明確である。既存のポルトガル語評価は、狭いタスクのサブセット（例：意味的類似性（STS）のみ、または特定のNLIタスクのみ）に限定されており、統一されたマルチタスクのフレームワークを欠いている。

メソドロジー

ベンチマーク構築 (MTEB-PT)

著者らは、MMTEBエコシステムから派生したポルトガル語のベンチマークスライスであるMTEB-PTを導入する。これは、4つの異なるタスクファミリーにわたる14の既存データセットで構成されている：

1. 意味的類似性 (STS): ペアの意味的類似性を評価する3つのデータセット（例：Assin2STS、SICK-BR-STS）。
2. 分類 (Classification): 意図検出、感情分析、毒性、ヘイトスピーチをカバーする5つのデータセット。
3. 検索 (Retrieval): 非対称なクエリ・ドキュメント・ランキングを含む3つのデータセット（例：WebFAQRetrieval、WikipediaRetrievalMultilingual）。
4. リランキング (Reranking): 候補の再順序付けに焦点を当てた3つのデータセット（例：WikipediaRerankingMultilingual）。

選択基準として、MMTEB/MMTEBエコシステムに既に統合されており、十分な品質を持つ、公開可能でオープンライセンスのデータセットを優先した。このベンチマークには、対称的なタスク（STS）と、非対称かつ長文脈のタスク（検索/リランキング）の両方が含まれており、モデルの能力を厳格にテストする。

評価プロトコル

本研究では、17のモデル（オープンソース、クローズドソース、およびコミュニティモデル）を統一されたプロトコルの下で評価している：

• 入力フォーマット: ドキュメント化されている場合、モデル固有の推論テンプレート（例：E5ファミリーモデルの query: および passage: プレフィックス）を遵守し、それ以外は生のテキストを使用する。
• 指標:
  • STS: コサイン類似度に基づくSpearmanの順位相関係数。
  • 分類: 固定された埋め込みに対するロジスティック回帰。
  • 検索: nDCG@10。
  • リランキング: タスクに応じて平均適合精度（MAP）またはnDCG@10。
• 次元削減 (Dimensional Truncation): ストレージとレイテンシの効率性を評価するため、埋め込みの次元を（フルサイズから64次元まで）減少させた際の性能低下の分析を行う。

ポルトガル語のファインチューニングとMRL

強力なベースラインを確立するため、著者らは3つの代表的なバックボンモデル（multilingual-e5-large、bertimbau-large、modbertbr）を以下の手法を用いてファインチューニングした：

• データ: ポルトガル語のSTSペア、NLI含意ペア、および検索指向のポジティブペア（MLDRより）の組み合わせ。
• 目的: スコア付きペアにはCoSENTを用い、ポジティブペアにはMultiple Negatives Ranking Lossを用いた対照学習による教師あり学習。
• 手法: Matryoshka Representation Learning (MRL) を適用し、再学習なしで段階的な次元削減（64、128、256、512、およびフル次元）をサポートできるようにした。

主な貢献

1. MTEB-PT ベンチマーク: MMTEBフレームワーク内の14のデータセットから構築された、STS、分類、検索、リランキングを網羅する初の統一されたポルトガル語ベンチマーク。
2. 体系的な評価: 17のモデルを包括的に比較し、ポルトガル語の性能はタスクに強く依存すること、および多言語のランキングがポルトガル語特有の結果を一様に予測するわけではないことを明らかにした。
3. 強力なポルトガル語ベースライン: 将来の研究の参照点となる、MRLで訓練されたポルトガル語適応モデル（e5-large-matryoshka、bertimbau-large-matryoshka、modbertbr-matryoshka）のリリース。
4. 次元効率の分析: 圧縮下でポルトガル語の埋め込みがどのように品質を保持するかについての調査を行い、MRL訓練モデルが積極的な次元削減下でも競争力を維持できることを示した。

結果

タスク依存の性能

• STS: ポルトガル語特有のファインチューニングが最も顕著な利点をもたらす。e5-large-matryoshka や serafim-900m のようなモデルは、一般的な多言語モデルを凌駕する。
• 分類: モデル間の性能差はより小さい。汎用的な多言語エンコーダーがポルトガル語特化型モデルと同等、あるいはそれ以上の性能を示すことが多く、これは分類がSTSほど微細な文章の整列に敏感ではないことを示唆している。
• 検索 & リランキング: これらの非対称かつ長文脈のタスクは、STSのランキングから最も大きな乖離を示す。クローズドソースのモデルや検索指向の多言語エンコーダー（例：qwen3-embedding-0.6b、text-embedding-3-large）が優位である。コンテキスト制限が短いモデル（例：128トークン）は、ここでは著しく苦戦する。
• 多言語 vs. ポルトガル語のランキング: 一部の構造は保持されるものの、多言語のランキングはポルトガル語の性能を予測する信頼できる指標ではない。この不一致は、検索に最適化されたモデルが対称的な意味的類似性に最適化されたモデルを上回る、検索およびリランキングにおいて最も顕著である。

ファインチューニングとMRLの影響

• 適応: ポルトガル語の事前学習済みエンコーダー（bertimbau-large など）を対照学習でファインチューニングすることは、特にSTSにおいて、文章埋め込み能力を劇的に向上させる。
• MRLの利点: MRLで訓練されたモデルは、次元削減下でも堅牢性を維持する。e5-large-matryoshka はSTSで最も強い利点を示すが、適応されたモデルは非ファインチューニングのバックボーンと比較して検索性能も向上する。ただし、トップティアの検索最適化モデルを完全に置き換えるまでには至らない。

次元削減 (Dimensional Truncation)

• 対称的タスク (STS/分類): 埋め込みの次元を減少させても、性能は比較的安定している。
• 非対称的タスク (検索/リランキング): これらのタスクは削減に対してより敏感である。しかし、MRL訓練モデルは非MRLベースラインよりも緩やかに性能が低下するため、ストレージ制約のあるデプロイメントにおいて実行可能なトレードオフを提供する。

意義と主張

本論文は、多言語の平均的な性能は、ポルトガル語用の文章エンコーダーを選択するには不十分であると主張している。著者らは以下を強調している：

• タスクの多様性が不可欠: STSに強いモデルは検索に失敗する可能性があり、その逆も同様である。選択は具体的なアプリケーション領域に基づいて行う必要がある。
• 言語特有の適応が重要: 多言語モデルは強力であるが、ポルトガル語のデータ（特に対称的タスクにおいて）でファインチューニングを行うことで、測定可能な改善が得られる。
• コンテキスト長がボトルネック: 長文脈のサポートは、検索およびリランキングのタスクにおける決定的な要因であり、多言語能力に関わらず、短文脈モデルは性能が低くなる。
• 効率化は可能: MRLを通じて、次元制約下でも競争力を維持するコンパクトで高品質なポルトガル語の埋め込みを得ることができ、低リソース環境でのデプロイを容易にする。

著者らは、MTEB-PTが、集計された多言語メトリクスの限界を超え、ポルトガル語の文章エンコーダーを評価するための、タスク多様性に富んだ必要な基盤を提供すると結論付けている。彼らは、この領域における再現可能な研究を支援するために、ベンチマーク、ファインチューニングされたモデル、およびコードを公開している。