技術的概要：意味ではなく選好のための埋め込み

問題定義

現代の集団的意思決定システム（Polis、Remesh、生成型社会選択など）は、固定された候補への投票ではなく、自由形式のテキストを通じて参加者が意見を表明することを可能にしています。これらの意見を集約する自然なアプローチは、テキストをベクトル空間に埋め込み、施設配置や公平なクラスタリングアルゴリズムの適用を可能にすることです。しかし、標準的なテキスト埋め込みモデルは、検索、テキスト類似性、自然言語推論といった意味タスクに基づいて訓練されており、そこでの近接性は共有トピックや表現の類似性を意味します。

特定された核心的な問題は、意味的類似性と選好的類似性の間の不一致です。選好集約において、参加者の発言への同意度は、その発言からの距離に反比例するはずです。標準的な埋め込みはここで失敗します。なぜなら、それらは「ノイズ」特徴（スタイル、表現、トピック）と「選好」特徴（スタンス、価値観）を混同してしまうからです。自然な審議データでは、これらの特徴は観測的に相関しています（同じスタンスを持つ人々はしばしば類似した言葉を使用するため）、この失敗が隠蔽されてしまいます。この相関が崩れる場合——例えば、2 つの発言が同じ表現を共有しながらも対立するスタンスを持っている場合——標準的な埋め込みは、意味的な誤誘導を、選好に整合する代替案よりも類似していると誤ってランク付けしてしまいます。

手法

著者らはこれを不変性の問題として診断します。有効な選好幾何学は、表現やスタイルに対して不変であり、スタンスと価値観に対してのみ敏感でなければなりません。彼らは、埋め込み空間を選好幾何学に整合させるための 2 つの方法を提案します。

1. 形式的枠組みと診断

著者らは、埋め込み空間 $\mathbb{R}^d$ を、スタンスに関連する構造を担う選好部分空間 $S$ と、スタイル/表現を担うノイズ部分空間 $S^\perp$ に分解します。

• 理想点効用: 参加者 $v$ に対する発言 $j$ の効用は、$S$ 内の $v$ の理想点までの負の二乗ユークリッド距離としてモデル化されます。
• コサインの失敗: 標準的なコサイン類似性は、選好項 ($\Delta_S$) とノイズ項 ($\Delta_T$) に加法的に分解されます。自然なデータ上では、$\Delta_T$ が $\Delta_S$ と相関するため、コサインは効果的に見えます。しかし、これらが衝突する「困難な」シナリオでは、$\Delta_T$ が支配的となり、誤りを引き起こします。

2. 非相関選好微調整 (DPT)

幾何学を修正するために、著者らは合成訓練手順を導入します。

• 困難なトリプレットの合成: 彼らは $(a, p, n)$ というトリプレットを生成します。ここで、
  • $a$: アンカー（元の参加者テキスト）。
  • $p$: 選好一致（$a$ と同じスタンス/価値観を持つが、語彙/構造が異なる）。
  • $n$: 意味的誤誘導（$a$ と反対のスタンスを持つが、語彙/構造がほぼ同一）。
• 訓練目的: モデルは、これらのトリプレット上で Bradley-Terry 損失を用いて微調整されます。著者らは定理 1 において、ノイズマージン $\Delta_T$ が選好マージン $\Delta_S$ と反対方向を向く分布上で訓練することは、標準的なコサインに対するリスクを厳密に減少させ、実質的にモデルがノイズ部分空間の重みを下げることを強制すると証明しています。
• 実装: 彼らは、この合成データを用いて事前学習済みエンコーダ（例：Sentence-T5-XL）に低ランク適応 (LoRA) を適用します。

3. トピック別投影埋め込み

トピックごとの投票データが利用可能な場合（審議プラットフォームで一般的）、著者らはより単純なトピック固有の方法を提案します。

• 低ランク投影: エンコーダを微調整する代わりに、凍結された埋め込みを直接選好部分空間 $S$ に投影する低ランク線形写像 $L^\top$ を学習します。
• スコアリング: 効用は、この投影空間内の二乗ユークリッド距離として計算されます。この方法は、ベースモデルの再訓練なしに、凍結されたエンコーダに既に存在する選好信号を回復します。

主要な貢献

1. 不変性の診断: 本論文は、意味的類似性と選好的類似性の不一致を不変性の問題として形式化し、コサインマージンを選好信号とノイズ成分に分解します。
2. 困難なトリプレットの合成と理論: 彼らは、表現とスタンスの相関を破る対話的な困難なトリプレットを生成する手順を導入します。また、そのような分布上で訓練することは、ノイズの寄与を抑制することにより Bradley-Terry リスクを厳密に減少させるという理論的証明を提供します。
3. 実証的検証: この手法は、11 のオンライン審議データセット（Polis、Remesh、生成型社会選択プラットフォームを網羅）における困難なトリプレットと選好予測で大幅な改善を示しました。
4. 投影の効率性: トピック固有の投票が利用可能な場合、凍結された埋め込みの低ランク投影が完全な選好微調整を上回ることを示しており、ベースエンコーダにはノイズ次元によって単に隠蔽されているだけで、必要な信号が既に含まれていることを示唆しています。

結果

• 困難なトリプレットのパフォーマンス: 標準的なエンコーダ（例：Sentence-T5-XL、e5-large-v2）は、困難なトリプレットにおいて偶然レベルまたはそれ以下のパフォーマンスを示します（例：ST5-XL は 48.3% の精度、BGE-large は 6.3% まで低下）。DPT 微調整モデルはパフォーマンスを大幅に回復させます（例：ST5-XL は 80.0% まで上昇；e5-large-v2 は 78.7% まで上昇）。
• 自然データのパフォーマンス: DPT 微調整モデルは自然な審議データのパフォーマンスも向上させ、11 のデータセット全体で平均トリプレット精度 68.6% を達成し、最良のベースライン（微調整されていない ST5-XL の 65.2%）や他の専門モデル（例：StanceAware-SBERT、BGE-SparseCL）を上回りました。
• 投影対微調整: トピック別投影埋め込み（ランク 20）は、自然データで 77.6%、困難なトリプレットで 81.1% の精度を達成し、汎用的な DPT 微調整コサインを上回りました。これは、選好信号が凍結された埋め込み空間内で線形的にアクセス可能であることを示しています。
• データ効率: トピック別投影は、汎用的な DPT ベースラインを上回るために、わずか約 50 のラベル付きトリプレットのみを必要とします。

意義と主張

本論文は、自由形式のテキストに依存する集団的意思決定システムにおいて、標準的な意味的埋め込みは、価値観の整合性よりも表面レベルの類似性を優先するため、不十分であると主張しています。ノイズ（スタイル/表現）を選好（スタンス）から明示的に分離することにより、提案された手法は、参加者のより正確なグループ化と、投票されていない発言に対する効用の推定を可能にします。

著者らは、彼らのアプローチが審議における施設配置や公平なクラスタリングのダウンストリームアプリケーションを支援することを強調しています。具体的には、選好幾何学により、プラットフォームは以下が可能になります。

• 最適な不一致レベルを持つ審議グループを形成する。
• メトリクス社会選択（例：k-メディアン、比例公平性）を用いて、意見を代表的なスレートに集約する。
• 生成型社会選択モデルを誘導し、特定のユーザークラスタをよりよく代表する発言を生成させる。

本論文は、限界について控えめなトーンを維持しています。評価は、較正された絶対距離ではなく、参加者内のランキングに焦点を当てており、埋め込みは選好の経験的近似であり、個人の判断の完璧な表現ではないとしています。また、これらの埋め込みを拘束力のある決定の基礎として使用することには慎重であるよう警告しています。