技術概要：DySem

問題定義

意味的テキスト類似性（STS）の計算は、意味検索、クラスタリング、情報検索などのアプリケーションの基盤となる自然言語処理における基礎的なタスクである。現在、大規模言語モデル（LLM）を利用する手法は、通常、テキストペア間の類似性を計算するために、固定された高次元ベクトルとして最後の層の隠れ状態を抽出することに依存している。著者らは、このパラダイムが主に以下の 2 つの限界に苦しんでいると主張している：

1. 最適でない表現：LLM の最後の隠れ層は次のトークンの予測のために最適化されており、核心的な意味をより広範で無関係な知識と絡み合わせた一般化された情報を符号化している。その結果、純粋な意味的類似性の計算には、最も効果的なコンポーネントではない可能性がある。
2. 冗長性とノイズ：LLM の隠れ状態の次元は非常に大きい場合が多く（例：4096 以上）、著しい冗長性とノイズをもたらす。類似性計算に全次元を使用することは不要な計算オーバーヘッドを招き、以前の研究では次元削減後も意味的完全性が保持されることを示唆している。

既存のアプローチは、通常、すべてのテキストを同じ固定された最後の層の隠れ状態と全次元を使用してベクトルにマッピングしており、モデルの内部動的構造や個々のテキストペアの特定の意味的ニーズを活用できていない。

手法：DySem

著者らは、静的で固定次元の表現から、動的でサンプル固有の意味次元へと移行する、新しいトレーニング不要のフレームワークDySemを提案する。この手法は 3 つの段階で動作する：

1. 多言語合意による意味コンポーネントの抽出

テキスト $x$ の核心的な意味を特定し、言語固有の表面的なアーティファクトをフィルタリングするために、DySem は多言語合意戦略を採用する：

• 翻訳：入力テキストを事前に定義された $m$ 個の目標言語に翻訳する。
• プロンプト：各言語バージョンを、特定のテンプレート（標準的な英語プロンプトまたは言語固有のプロンプト）を使用して LLM に処理させ、内部状態ベクトルを抽出する。
• コンポーネント選択：最終隠れ状態（$h^L_n$）を使用する代わりに、この手法は内部コンポーネント、具体的には累積アテンション出力（$A^L_n$）と累積 FFN 出力（$F^L_n$）を評価する。
• 合意の特定：次元がすべての言語バージョンで一貫して活性化（正の値）されている場合、その次元は「意味コンポーネントセット」の一部とみなされる。著者らは、この共活性化に基づいて合意インデックスセット $I(x)$ を定義する。
• 次元のランキング：共活性化されたセット内で、次元を言語間での平均活性化値によってランキングし、上位 $k$ 個の次元を選択して意味コンポーネントセット $S(x)$ を形成する。

2. 結合意味セットの構築

与えられたテキストペア $(x, y)$ に対して、DySem は個々の意味コンポーネントセットの和集合を取ることで、ペア依存の結合意味セット $U(x, y)$ を構築する：
$$U(x, y) = S(x) \cup S(y)$$
この動的なアライメントにより、比較がどちらのテキストにも関連する次元を捉え、無関係な背景ノイズを効果的にフィルタリングし、共有された意味概念に焦点を当てることが保証される。

3. 柔軟な次元での類似性計算

類似性は、結合意味セット $U(x, y)$ 上で制限されたコサイン類似性を使用して計算される。ベクトルはこの共有次元部分集合に射影され、類似性は以下のように計算される：
$$\text{sim}(x, y) = \cos(v_U(x), v_U(y))$$
重要なのは、計算に使用されるベクトルの次元数が、固定された事前に定義されたサイズではなく、特定の入力ペアによって柔軟に決定される点である。

主要な貢献

• 動的意味抽出：本論文は、静的な最後の層の隠れ状態を超えて、LLM 内の動的でサンプル固有の意味コンポーネントを解明する手法を導入する。
• 多言語合意：核心的な意味は翻訳を超えて不変であるという直観を活用し、言語固有のノイズから意味次元を分離する。
• 柔軟な次元：このフレームワークは、モデルのトレーニングなしに、全隠れ状態サイズと比較して著しく少ない次元（多くの場合 1,000 以下）を使用して高品質な STS を達成できることを示す。
• 内部コンポーネント分析：この研究は内部コンポーネントを体系的に評価し、累積アテンション出力（$A^L_n$）が、標準的な隠れ状態や FFN 出力と比較して、優れた意味表現を提供することを発見した。

実験結果

7 つの標準的な STS ベンチマーク（STS12–STS16、STS-B、SICK-R）において、10 種類の異なる LLM（LLaMA2/3.1、Qwen2.5/3、Phi3 ファミリー、ベースモデルおよび指示調整済みモデルの両方を含む）を用いて広範な実験が行われた。

• 性能：DySem は、PromptEOL、AlignedWVA、およびさまざまな対照的プロンプト手法を含む最近のベースラインを一貫して上回った。例えば、Qwen3-8B モデルにおいて、DySem は平均スコア80.54を達成し、AlignedWVA を 5.75 ポイント、PromptEOL を 11.63 ポイント上回った。
• 効率性：著しく低い次元（モデルとプロンプト戦略に応じて平均 658 から 1240 次元）を使用しているにもかかわらず、DySem は全 4096 次元ベクトルを使用する手法と比較して、優位または競争力のある結果を達成した。
• コンポーネントの有効性：アブレーション研究により、選択された意味コンポーネントがランダムな次元選択を著しく上回ることが確認された。さらに、累積アテンション出力が STS タスクにとって最も信頼性の高い内部表現であることが特定された。
• プロンプト感受性：この手法は、異なるプロンプト戦略（英語対言語固有）およびベクトル構築方法（ソース対平均）において頑健性を示し、言語固有のプロンプトと平均ベクトルの組み合わせがしばしば最良の結果をもたらした。

意義と主張

本論文は、DySem が内部モデルモジュールを直接マイニングすることにより、テキストの表現と LLM による関係評価のための新たな方向性を提供すると主張している。その意義は以下の点にある：

1. トレーニング不要の効率性：意味的類似性を向上させるトレーニング不要のアプローチを提供し、微調整なしに任意の事前学習済み LLM に適用可能にする。
2. 次元削減：意味タスクに全次元の隠れ状態を使用する必要性に挑戦し、コンパクトで動的な次元の部分集合が十分であり、しばしばより効果的であることを示す。
3. 汎用性：このフレームワークは、類似性計算やテキスト検索の前に適用できる一般的な処理ステップとして提示されており、インデックス作成や検索などの下流アプリケーションにおける計算オーバーヘッドを削減する可能性がある。

著者らは限界を認め、初期エンコードコストには、必要な翻訳と独立したフォワードパスに起因する $O(m)$ の推論オーバーヘッドが含まれており、単一パスエンコーダーと比較して大規模スケールのコールドスタートアプリケーションにおいて課題となる可能性があると指摘している。ただし、このコストはオフラインのデータベース構築フェーズに集中しており、オンラインクエリは効率的であると主張している。