テクニカル・サマリー：テキストにおける意味情報の幾何学的プロファイル

問題提起

テキストにおける情報を定量化する現在の手法は、根本的な限界に直面している。シャノンの情報理論は記号列の不確実性を測定するが、意味内容には意図的に無関心であり、同一のトークン統計量を持つテキストであっても、その意味は劇的に異なる可能性がある。対照的に、現代のペアワイズ指標（BERTScoreやROUGEなど）は、二つのテキスト間の類似性を測定するものであり、単一のテキストが持つ内部的な意味の豊かさを特徴付けるものではない。さらに、意味情報に関する哲学的記述の多くは、現実世界のデータに対する計算可能性を欠いている。

したがって、構文的な予測不可能性ではなく、意味表現（埋め込み）の構造に基づいて意味内容を測定するフレームワークが必要である。同時に、意味情報は単一の普遍的なスカラー値に還元できない可能性があることも認める必要がある。

手法

本論文は、文章埋め込みに基づく幾何学的フレームワークを提案する。$T$ をセグメントに分割されたテキストとし、それらを埋め込みモデル $E$ を介して高次元ベクトル空間に写像する。フレームワークは以下のステップで動作する：

1. 重複排除と意味量子（Semantic Quanta）： 反復による幾何学的歪みを防ぐため、本フレームワークは凝集型クラスタリングを用い、コサイン距離の閾値 $\tau$ を使用して、極めて類似したセグメントをクラスタリングする。各クラスタはセントロイド（重心）に置き換えられ、「意味量子」の集合 $\tilde{T}$ を形成する。閾値 $\tau$ は、明示的な測定解像度パラメータとして機能する。
2. フレーム条件付き一意性： 著者らはまず、6つの公理（パラフレーズ不変性、冗長性の非増加、新規性の単調増加、アイデアの加法性、直交不変性、連続性）に基づくスカラー尺度である「意味情報則（SIL）」、$I_E(T) = \|\mu_T - \mu_0\| \cdot \text{rank}(C_T)$ を導出する。しかし、実証実験により、このスカラーは粗すぎる（ニューラル空間ではランクが飽和し、新規性項が支配的になる）ことが判明した。
3. 三座標プロファイル： SILの粗さを解決するため、フレームワークはプロファイル $P_E(T) = (N, B, I)$ を定義する：
   • 新規性 (Novelty, $N$): 中立的なベースライン平均からの、テキストの平均埋め込みのマハラノビス距離（対数圧縮後）。
   • 幅広さ (Breadth, $B$): 重み付けされたセントロイドからの平均半径コサイン距離を用いた、重複排除されたセントロイド共分散の有効ランク。
   • 統合性 (Integration, $I$): アイデア間の連結性。2-NN（第2近傍法）によるコサイン類似度によって測定される。
4. スカラー要約： 異なる用途には異なる特性が必要であることを認識し、本論文はプロファイルから導出される二つの実用的なスカラーを定義する：
   • $S_{minmax}$: 解析的安定性（リプシッツ連続性）を優先し、理論的解析に適した最小最大正規化を用いる。
   • $S_{rank}$: 順序的堅牢性（ランキングや文書比較における頑健性）を優先し、ランク正規化を用いる。

主要な貢献

1. フレーム条件付き一一意性定理： 本論文は、固定された埋め込みモデルとベースライン内において、6つの自然な公理が、スケール定数を除いて意味情報のスカラー尺度を一意に決定することを証明する。この結果は、意味情報がシャノンのエントロピーのような普遍的な法則ではなく、表現に依存したものであることを確立している。
2. 意味プロファイルと量子： 三座標プロファイル（新規性、幅広さ、統合性）を導入し、「意味量子」を離散的な最小構造単位として定式化した。これにより、クラスタリング閾値 $\tau$ を通じて測定解像度を明示的に定義している。
3. ノーゴー定理（トレードオフの三角形）： プロファイルの主要な理論的貢献として、プロファイルの任意のスカラー要約が、以下の望ましい3つの特性を同時に満たすことはできないという証明を行う：
   • 解析的安定性： パラフレーズや閉じた形式の合成に対する安定性。
   • 順序的堅牢性： テキストのスケールやブートストラップ摂動に対する頑健性。
   • 表現間比較可能性： 異なる埋め込みモデル間で再適合することなく比較可能であること。
     この定理は、これらの特性が互いに排他的であることを示しており、実用的なスカラーは、このトレードオフの三角形の異なる頂点に位置しなければならないことを示している。
4. 幅広さの変分的特徴付け： 幅広さの座標を、決定論的点過程（DPP）の最大事後確率選択の対数行列式へと結びつける。これは、幅広さの理論的基礎を、多様性を最大化する部分集合の対数体積と等価であるとする最適化理論的な基盤を提供する。

実証結果

フレームワークは、23の合成カテゴリ、5つのプロジェクト・グーテンベルク小説、および3つの埋め込みモデルを用いて検証された。

• 順序性能： 推奨構成である重み $(0.5, 3.0, 1.0)$ を持つ $S_{rank}$ と2-NN統合は、点推定として28の順序チェックのうち25を通過した。ベンジャミーニ・ホックバーグ補正後も、21のチェックが有意性を維持した。これは、単語単位のエントロピー、生のユークリッド的新規性、およびBERTScoreベースの新規性信号を含む7つのベースラインを上回った。
• トレードオフの検証： 実証結果はノーゴー定理を裏付けた。$S_{minmax}$ は解析的安定性を達成したが、順序的堅牢性に失敗した（28中21のチェックに失敗）。一方、$S_{rank}$ は順序的堅牢性を達成したが、解析的安定性に失敗した（パラフレーズにより21%のドリフトが発生）。いずれのスカラーも、同時に複数の特性を満たすことはできなかった。
• 幅広さの相関： 507のグーテンベルク章において、幅広さの座標 $B$ は、DPP対数体積とのスピアマン相関係数 $\rho = 0.985$ を示し、変分的特徴付けを検証した。
• モデル間安定性： プロファイルの各座標は、導出されたスカラーよりも異なる埋め込みモデル間で安定していることが判明した（$\rho \in [0.92, 0.98]$）。これは、プロファイルこそが基本となる対象であるという主張を支持している。

意義と主張

本論文は、テキストにおける意味情報は、単一の普遍的な数値としてではなく、表現に依存した構造化されたプロファイルとして理解されるべきであると主張している。

• 理論的転換： 本研究は、意味のための「シャノン流」の普遍的なスカラーの探索から脱却している。代わりに、プロファイルこそが理論的対象であり、スカラー要約は、すべての運用上の要件を同時に満たすことが不可能であるために生じる、実用的な便宜であると断じている。
• 明示的な仮定： 測定装置（埋め込みモデル、セグメンテーション、ベースライン、閾値、正規化参照）を明示的にすることで、本フレームワークは利用者が自らのコミットメントを検査・校正することを可能にし、不一致をフレームワーク自体ではなく、特定の装置の選択に局在化させている。
• 解釈可能性： 三つの座標は、それぞれ異なる意味的直感（一般的な言説からの逸脱、アイデアの多様性、および連結性）に対応しており、単一のスカラーでは混同されてしまう診断（例：忠実な要約か、的外れな要約かの区別）を可能にする。

結論として、本論文は、トレードオフの三角形はプロファイルからスカラーへの写像における構造的特性であり、特定の構成の欠陥ではないと述べている。本フレームワークは、意味構造を単一の値に還元することの固有の限界を認めつつ、意味構造を測定するための厳密かつ計算可能な手法を提供するものである。