🤖 machine learning

Native Hierarchical and Compositional Representations with Subspace Embeddings

本論文は、従来のベクトル埋め込みを微分可能な線形部分空間に置き換えることで、効率的なベクトル探索との互換性を維持しつつ、幾何学的な包含関係や線形代数的な演算を通じて階層性、構成性、および論理的含意をネイティブにモデリングすることを可能にする、表現学習への新しいアプローチを提案する。

原著者： Gabriel Moreira, Zita Marinho, Manuel Marques, João Paulo Costeira, Chenyan Xiong

公開日 2026-06-01

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Gabriel Moreira, Zita Marinho, Manuel Marques, João Paulo Costeira, Chenyan Xiong

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

膨大なアイデアの図書館を整理しようとしていると想像してみてください。何十年もの間、コンピュータがこれを行ってきた標準的な方法は、あらゆる概念――例えば「犬」、「乗り物」、「悲しみ」など――を、巨大で平坦な地図上の単一の点へと変換することでした。これは、「プードル」を求めた時に「犬」を見つけるといった、類似性を見つけることには非常に優れていますが、「犬は動物の一種である」や「吠えていない犬」といった関係性を理解しようとすると、壁に突き当たります。

平坦な地図の上では、「犬」と「動物」は単に近くにある2つの点に過ぎません。地図は、「犬」が「動物」というより大きな円の中にある、ということを示すのが容易ではありません。また、「〜ではない（NOT）」のような論理にも苦戦し、除外したいはずのものについて考えて混乱してしまうことがよくあります。

この論文は、これらのアイデアを整理するための全く新しい方法を提案しています。「点」ではなく「部屋」を使うのです。

核となるアイデア：点から部屋へ

著者たちは、概念を単一の点としてではなく、**線形部分空間（linear subspaces）として表現することを提案しています。簡単に言えば、概念を床の上の単一の地点ではなく、建物の中の「部屋」**として考えることです。

サイズが重要（汎用性と特殊性）:
- 「マックスという名前のゴールデンレトリバー」のような非常に具体的な概念は、小さくて窮屈な部屋です。
- 「犬」のようなより広い概念は、その中に「マックス」の部屋を入れることができる、より大きな部屋です。
- さらに広い概念である「動物」は、「犬」の部屋を入れることができる巨大なホールです。
- 魔法の仕組み: コンピュータは、大きな部屋（高次元）が一般的な概念を表し、小さな部屋（低次元）が具体的な概念を表すことを学習します。
階層構造（ロシアのマトリョーシカ効果）:
- これらは「部屋」であるため、物理的に一つの部屋の中に別の部屋を入れることができます。「犬」の部屋が「動物」の部屋の中にあれば、コンピュータは即座に「すべての犬は動物である」ということを理解します。これにより、関係性が単なる漠然とした近さに過ぎなかった「平坦な地図」の問題が解決されます。
論理（思考の幾何学）:
- AND（連言）: もし「犬」であり、かつ「吠えている」状態のものを探したい場合、コンピュータは「犬」の部屋と「吠えている」という部屋の**交わり（共通部分）**を探します。それは、これら2つの部屋が重なり合う小さなスペースです。
- OR（選言）: もし「犬」または「猫」を求めるなら、コンピュータはこれら2つの部屋を合体させて、両方をカバーする一つの大きなスペースを作ります。
- NOT（否定）: これがこの論文の最大の画期的な点です。「吠えていない犬」を求めたい場合、コンピュータは「犬」の部屋を見つけ、その部屋の外側（直交補空間）を探します。
- 結果: 標準的なコンピュータモデルは通常「NOT」のクエリに失敗し、除外すべき言葉に気を取られてしまいます。この新しい「部屋」の手法は、特別な訓練をすることなく、人間と同じように自然に「NOT」を処理できます。

どのように実現したか

「部屋のサイズが変わり続ける中で、どうやってコンピュータにこれらの部屋を作るよう教えるのか？」とあなたは思うかもしれません。

通常、部屋のサイズ（次元数）を変えることは、整数間のジャンプを伴うため、コンピュータにとって容易ではない数学の問題となります（次元数は3.5といった中途半端な値にはできません）。著者たちは、**「ソフトな」射影行列（soft projection matrices）**を用いた巧妙なトリックを考案しました。

これは、部屋の次元に対する**「調光スイッチ（ディマー）」**のようなものだと考えてください。コンピュータに「この部屋には正確に5枚の壁がある」と強制させる代わりに、コンピュータは各壁がどれほど「明るい」か、あるいは「重要」かを学習します。必要のない壁はほぼゼロまで暗くし、概念が複雑になればその壁を明るくすることができます。これにより、コンピュータは標準的で高速な数学ツールを使いながら、あらゆる概念に対して最適なサイズを自動的に学習できるのです。

得られた成果

著者たちは、この「部屋の手法」（彼らはこれを部分空間埋め込み / Subspace Embeddingsと呼んでいます）をいくつかのタスクでテストしました。

階層構造: 曲がった空間やボックスを用いた従来の手法を凌駕し、単語の家系図（WordNetなど）を再構成することにおいて極めて高い性能を示しました。
論理と否定: 「赤ではない車」のように、何かではないものを探すよう求められた際、標準的なモデルはほぼランダムな推測レベルまで精度が落ちました。しかし、この「部屋の手法」は、「NOT」のルールを明示的に教えられなくても、論理を正しく理解し、高い精度を維持しました。
速度: これらの「部屋」は複雑に聞こえますが、著者たちはこれらが従来の「点」の手法と同じように圧縮・検索可能であることを示しました。実際、曲がった幾何学を用いる一部の競合する高度な手法よりも、8倍近く高速でした。

まとめ

この論文は、人間が考える方法により近い、**「空間と包含」**を用いた言語理解の方法をコンピュータに導入しています。これは、単なる「点と距離」ではなく、概念を扱うものです。これにより、コンピュータは「プードル」が「犬」の中にあり、「犬」が「動物」の中にあることを自然に理解し、「NOT」というトリッキーな論理も容易に扱うことができます。

最も重要なことは、これが現代の検索エンジンのスピードを損なうことなく、より深い理解のレイヤーを加えつつ実現されているということです。

技術要約：部分空間埋め込みを用いたネイティブな階層的および構成的表現

問題提起

概念をユークリッド空間内の単一の点として表現する従来の稠密ベクトル埋め込みは、自然言語をモデル化する際に根本的な幾何学的限界に直面している。内積による類似性の捕捉には効果的であるものの、ユークリッド空間の平坦で対称的な構造は、含意（entailment）や下位概念（hyponymy）のような階層的かつ非対称な関係をモデル化するには不向きである。標準的な指標であるコサイン類似度は、方向性のある関係（例：「犬」は「動物」を包含するが、「動物」は「犬」を包含しない）を区別できない。さらに、ベクトル空間には論理的な連言、選言、否定のためのネイティブな演算が存在しない。その結果、モデルはしばしば加法的な構成（フレーズをバッグ・オブ・ワーズとして扱うこと）に陥り、「否定への盲目性（negation blindness）」が生じる。これは、概念の除外に失敗し、論理的否定を含むクエリに対する性能を低下させる。既存の代替案である双曲幾ック埋め込みや領域ベースの確率モデル（ボックス、コーンなど）は、硬直した構造的事前分布を課すか、すべての論理演算における閉包性を欠くか、あるいは効率的なユークリッド検索パイプラインとの互換性を犠牲にしている。

手法

著者らは、概念を点ではなく、高次元空間 $\mathbb{R}^d$ 内の線形部分空間（領域）として表現するフレームワークである**部分空間埋め込み（Subspace Embeddings）**を提案する。

核となる幾何学的原理

表現: 概念は、潜在的な基底ベクトルの集合 $\mathbf{X} \in \mathbb{R}^{d \times n}$ のスパンとして定義される。部分空間 $\mathcal{S}$ は、その直交射影演算子 $\mathbf{P} = \mathbf{U}\mathbf{U}^\top$ によって表現される（ここで $\mathbf{U}$ は正規直交基底である）。
階層性と一般性:
- 次元数: 部分空間の実効次元（ランク）は、意味的な一般性を符号化する。より広い概念（例：「動物」）は高次元の部分空間を占め、より特定の概念（例：「犬」）は、それらにネストされた低次元の部分空間を占める。
- 包含: 階層性は、部分空間の包含関係（ $\mathcal{S}_A \subseteq \mathcal{S}_B$ ）を通じてモデル化され、射影行列の積のトレースから導出される正規化包含スコア（Normalized Inclusion Score, NIS）によって定量化される。
論理演算: 論理関係は、部分空間上の線形代数的演算に直接対応する：
- 連言 ( $\land$ ): 部分空間の共通部分（交わり $\mathcal{S}_A \cap \mathcal{S}_B$ ）。
- 選言 ( $\lor$ ): 部分空間の線形和（スパン $\mathcal{S}_A + \mathcal{S}_B$ ）。
- 否定 ( $\neg$ ): 直交補空間 ( $\mathcal{S}^\perp$ )。

技術的実装：微分可能な部分空間

主要な課題は、部分空間のランクが離散的であり、微分不可能であることである。エンドツーエンドの学習を可能にするため、著者らは**ソフト射影演算子（Soft Projection Operators）**を導入している。

ソフト射影器: 硬い射影の代わりに、ティコノフ正則化を用いたソフト射影器 $\tilde{\mathbf{P}} = \mathbf{X}(\mathbf{X}^\top\mathbf{X} + \lambda\mathbf{I})^{-1}\mathbf{X}^\top$ を定義する。
微分可能性: ハイパーパラメータ $\lambda$ は温度パラメータとして機能し、射影器の固有値を $[0, 1)$ の範囲に平滑化する。これにより、モデルは勾配降下法を通じて各部分空間の実効次元を学習することができ、部分空間が基底ベクトルを動的に「追加または削除」することを可能にする。
部分空間射影ヘッド (SPH): トランスフォーマーの隠れ状態を、部分空間をスパンする一連の潜在ベクトルに変換するニューラルモジュールである。これは、プーリングのためのマルチヘッドアテンション（MHA）、ランク拡張のためのMLP（線形従属性を打破してフルランクを実現するため）、およびソフト射影器の計算を利用する。

学習戦略

本フレームワークは、以下の標準的な目的関数を用いてエンドツーエンドで学習される：

階層的再構成: 部分空間の類似度に関するInfoNCE損失。
リンク予測: 正規化包含スコア（NIS）に基づくマージン損失。
自然言語推論 (NLI): NISスコア上のベータ分布と中立性を分類するMLPを用いたハイブリッドアプローチ。

主な貢献

微分可能な部分空間学習: 離散的なランクの非微分性を克服し、データ依存で学習可能な次元を持つ、言語表現を線形部分空間として学習する新しい手法。
創発的な構成的構造: 論理的なルールに対する明示的な監督なしに、論理演算（連言、選言、否定）が表現の幾何学から自然に生じることを実証。
スケーラビリティと互換性: 本手法は標準的なユークリッド・ベクトル検索パイプライン（最大内積探索）との互換性を維持しており、非ユークリッド的な代替案とは異なり、大規模な検索を効率的に行うことが可能。

実験結果

著者らは、3つの軸でフレームワークを検証している：

階層的モデリング (WordNet):
- 再構成: 部分空間埋め込み（SE）は、WordNetの再構成において、ユークリッド（R128）および双曲（Poincaré P10, Lorentz H10）のベースラインを平均適合率（mAP）および平均ランク（MR）の両方で上回り、SOTA（最先端）の性能を達成した。
- 特異性の相関: 学習された部分空間の実効ランクは、概念の分類学的ランクと強いスペアマン相関（ $\rho \approx 0.68$ ）を示しており、次元数が意味的な特異性の指標として創発していることを裏付けている。
- リンク予測: SEモデルは、疎な監督設定（エッジ被覆率0%–25%）においてベースラインを大幅に上回り、F1スコアで最大95.9%に達した。
自然言語推論 (SNI):
- 部分空間埋め込みは、標準的な2-wayおよび3-wayの含意分類タスクにおいて、強力なバイエンコーダ・ベースライン（例：all-MiniLM-L6-v2, mpnet-base-v2）と同等またはわずかに優れた性能を示す。
構成的含意（ゼロショット）:
- 否定の処理: これが最も重要な知見である。標準的なベクトル・ベースラインは、否定を含む仮説に対してランダムに近い性能（AUC 49–69%）まで低下する。対照的に、部分空間埋め込みは、否定のロジックに関する明示的な学習なしに、否定を含むクエリに対して高い識別力（AUC >90%）を維持する。
- 比較: 部分空間は、否定タスクにおいてボックス埋め込みを凌駕する。なぜなら、ボックスの補集合はボックスではないが、部分空間の直交補空間は同一空間内の有効な部分空間であるためである。
効率性:
- 検索速度: 包含スコアをベクトル化された射影行列のドット積として定式化することで、高速な近似探索ライブラリ（例：FAISS）の使用が可能になる。SE128は、ブルートフォース探索を用いる10次元のPoincaréベースラインよりも約8倍高速である。
- 圧縮: 学習された部分空間は急速なスペクトル減衰を示すため、無視できるほどの性能損失で、特異値分解（SVD）による4倍の圧縮が可能である。

意義と主張

本論文は、部分空間埋め込みが、ベクトル検索の効率性と、自然言語の階層的かつ構成的な構造を両立させる、含意の幾何学的に根ざしたモデルを提供すると主張している。

ネイティブな論理: 慣習的な解決策を必要とするか、あるいは否定において失敗する従来のメソッドとは異なり、部分空間埋め込みは線形代数的演算を通じて論理的構成をネイティブに捉える。
解釈可能性: 部分空間の実効次元は、情報の含有量および意味的な特異性の解釈可能な尺度として機能し、それは訓練の幾何学から直接的に創発する。
実用性: 本フレームワークはスケーラビリティを犠牲にしない。標準的なユークリッド検索インフラストラクチャとの互換性を維持しており、大規模なアプリケーションへの適用が可能である。

著者らは、このアプローチが、特に階層的および否定された概念に関する推論を必要とするタスクにおいて、より表現力豊かで解釈可能な表現学習システムへの有望な道筋を示すと結論づけている。