Coherence Maximization Improves Pluralistic Alignment

技術要約：コヒーレンス（一貫性）の最大化による複数主義的なアライメントの向上

問題提起
AIシステムを多様な人間の価値観（複数主義的なアライメント）に適合させることは、依然として中心的な課題である。「有用性」のような高レベルの原則は方向性を示すものの、具体的な事例に適用する際には避けられない摩擦が生じるため、具体的なケースにおける実践への翻訳には失敗することが多い。現在の手法は「仕様のギャップ」に直面している。抽象的な原則だけでは不十分であるが、特定のペルソナ（例：特定の国籍、政治的属性、またはインタラクション・スタイル）に対する具体的な価値の例を生成するには、広範な人間による監督が必要となる。さらに、標準的なアライメント手順は、事前学習コーパス内に存在する潜在的な価値の多様性を消去してしまう可能性のあるポストトレーニング・データに依存したり、単一の視点を選択したりすることで、多様な集団に奉仕するために必要な分布の複数主義を崩壊させるリスクがある。

手法
著者らは、人間の監督なしにペルソナ固有の価値の例を生成するための**内部コヒーレンス最大化（Internal Coherence Maximization: ICM）**を提案する。この手法は、一貫した価値体系は統計的な規則性を示すという直感に基づいている。すなわち、あるペルソナがある問題に対してある立場をとるならば、その立場は関連する他の問題に対する立場を制約するというものである。

パイプラインは以下の3つのステージで構成される：

1. ペルソナ抽出とアイテム選択： ターゲットとなるクエリから、粗粒度なペルソナの特徴（例：国籍、政治的属性）を抽出する。関連するアイテム（調査質問、回答ペア、または質疑応答ペア）を特定する。
2. ICMに基づくラベル推論： ベースとなる言語モデルを使用し、ラベル間の相互予測可能性によって定義されるコヒーレンス・スコアを最大化することで、これらのアイテムに対するラベルを推論する。アルゴリズムは、ラベルの割り当てに対して探索（シミュレーテッド・アニーリングを使用）を行い、内部の一貫性を最大化する構成を見つけ出す。このプロセスにより、外部からの監督なしに、モデルの事前分布内にある潜在的な価値構造を回収する。
3. インコンテキスト・コンディショニング： 推論されたアイテムとラベルのペアを、ダウンストリームの推論時における数発の例示（few-shot examples）として使用し、モデルを制御する。これは、離散ラベル予測（分類）、ペアワイズ選好選択、および制御されたオープンエンド生成の3つのタスク形式に適用される。

推論が信頼できない（事前学習データにおいて過小代表されている）集団に対しては、著者らは**協調的コヒーレンス抽出（Collaborative Coherence Elicitation）**を導入している。これは、モデルの推論された価値が低い信頼度（高い不確実性）を示す質問を特定し、それらの特定のアイテムに対してのみ人間のアノテーターに照会を行う反復プロセスである。これらの人間のラベルはハードな制約として固定され、その後、残りのラベルを再生成するためにICMが再実行され、新しい制約との一貫性が確保される。

主な貢献

1. 正確さよりもコヒーレンス： 本論文は、インコンテキストの例集合の内部コヒーレンスが、ラベルの個々の正確さよりもダウンストリームの汎化性能をよく予測することを示している。ラベルの正確さが一定である場合、高い相互予測可能性を持つ例は、不整合な例よりも大幅に優れた汎化性能を示す。
2. ゴールド・ラベルとの非監督的パリティ： 人間の監督なしに生成されたICM推論例は、4つのベンチマーク（GlobalOpinionQA, OpinionQA, Persona-Tailoring, OvertonBench）および3つのタスク形式において、ゴールド・スーパーバイズ（人間によるアノテーション）された例と同等の性能を実現した。これは複数のモデルファミリー（Llama-3.1, Qwen-3, OLMo-3）およびスケールにおいて成立している。
3. 標的化された人間によるフィードバックの効率性： 過小代表されているペルソナの場合、不確実性の高い質問に対して人間のフィードバックを収集することは、任意の質問に対して同数のラベルを得るよりも、大幅に優れた汎化をもたらす。このアプローチは、アノテーションの負担を最小限に抑えつつ、モデルの推論された価値構造における系統的なエラーを修正する。

結果

• パフォーマンス： すべてのデータセットにおいて、ICM推論ラベルはゴールド・スーパーバイズ・ラベルと同等のアライメント性能を達成した。例えば、GlobalOpinionQAでは、ICMは71.7%の精度を達成し、ゴールド・スーパーバイズは71.2%であった。OpinionQAでは、81.9%対81.0%であった。どちらもゼロショット・ベースラインを大幅に上回った。
• コヒーレンスの役割： ラベルをランダムに摂動させてICMの精度には一致させたが、コヒーレンスは低くした「正確さ一致（Accuracy-Matched）」ベースラインは、著しく低い性能を示した（しばしばゼロショットレベルまで低下した）。これにより、ラベルの正しさそのものではなく、コヒーレンスが汎化の主要な駆動力であることが孤立化された。
• 堅牢性： コヒーレンスの効果は、モデルのサイズ（7Bから70Bパラメータまで）やファミリーを横断して観察された。より大きなモデルはゴールド・スーパーバイズからの潜在的な利得をより多く回収したが、十分な潜在的価値構造を備えていれば、より小さなモデルであってもICMの恩恵を受けた。
• 協調的抽出： 過小代表されているペルソナ（例：GlobalOpinionQAにおけるナイジェリア）を用いた実験では、最も信頼度の低い質問に対してわずか4つの標的化された人間ラベルを追加するだけで、テスト精度が30パーセントポイント以上向上した。一方、ランダムまたは能動学習のベースラインによる向上は限定的であった。

意義と主張
本論文は、コヒーレンスがスケーラブルな価値仕様のための主要な設計原則であると主張している。事前学習テキスト内の多様な人間の視点を活用することで、ICMは広範な選好の監督を必要とせずに、効果的な価値仕様の構築を可能にする。

著者らは、このアプローチが複数主義的なアライメントへの実用的な経路を提供すると主張している：

• 過小代表されている集団については、人間のアノテーションなしで、ターゲットグループの価値観へとモデルを導くペルソナ固有の例を生成できる。
• 過小代表されているグループに対しては、潜在的なバイアスを修正するために最小限かつ標的を絞った介入のみで、自然に人間のフィードバックと統合できる。
• 個々のラベルの正確さが価値仕様の主要な指標であるという仮定に異を唱え、代わりに価値体系の相互一貫性が汎化にとってより重要であることを示唆している。

本研究の範囲は限定的であり、このアプローチが人間の意図への直接的なアクセスではなく、事前学習テキストにおける統計的パターンに依存していること、また異なるドメインに対してハイパーパラメータの調整が必要になる可能性があることを認めている。しかし、コヒーレンスを最大化することは、従来の教師あり価値アライメントに代わる、実行可能でスケーラブルな代替手段を提供すると位置づけている。