技術的サマリー：合意の罠からの脱出

1. 問題定義：合意の罠

自動化されたコンテンツモデレーションシステムは、従来、人間のラベルに対する合意ベースの指標（例：F1 スコア）を用いて評価されてきた。著者らは、このアプローチが、複数の決定が統治ポリシーと論理的に整合しうる規則支配環境においては失敗すると主張する。そのような「グレーゾーン」において、人間のモデレーターは文脈、先例、解釈的規範を用いて曖昧さを解決し、特定の解決経路を反映するラベルを作成するが、それは underlying な規則構造そのものではない。

モデルがこれらのラベルから学習する場合、解釈経路を再現することになる。その結果、合意ベースの指標は、特定の人間のラベルとは異なるがポリシーに根ざした妥当な決定を罰し、3 つの異なる失敗モードを混同してしまう：

1. モデルエラー：モデルが規則に違反する。
2. モデレーターとの乖離：モデルと人間が異なる妥当な経路を選択した。
3. ポリシーの曖昧さ：規則自体が不十分である。

著者らはこの現象を合意の罠と命名する。これは、ポリシーで正当化可能な結果の集合が集合値（複数の要素を含む）である場合、特に規則遵守を誤ってエラーとして体系的に誤特徴化する原因となる。

2. 手法：正当性フレームワーク

これに対処するため、本論文は評価をポリシーに根ざした正しさとして形式化し、歴史的ラベルとの合意から、明示的な規則階層下での論理的導出可能性へと焦点を移す。

2.1 形式化と指標

このフレームワークは、コンテンツ $C$、規則階層 $R$（プラットフォーム全体の $R_G$ とコミュニティ固有の $R_C$）、および先例コーパス $P$ に対して、提案された決定 $\hat{y}$（例：REMOVE または APPROVE）を評価する。$(C, R, P)$ から $\hat{y}$ への有効な論理的導出が存在する場合、その決定は**正当化可能（defensible）**である。

決定は 3 つのレベルに分類される：

• L1（堅牢に正当化可能）：明示的な規則が決定を直接的かつ明確に承認している。
• L2（妥当に正当化可能）：規則が真に曖昧であるが、決定は合理的に支持されている。
• L3（正当化不可能）：決定を承認する明示的な規則が存在しないか、推論が規則セットに存在しない概念を参照している。

2 つの主要な指標が導入される：

• 正当性指数（Defensibility Index: DI）：L1 または L2 である決定の割合。目標：$\ge 0.90$。
• 曖昧さ指数（Ambiguity Index: AI）：「逆チェック」（反対の決定も導出可能か検証する）がトリガーされる決定の割合。目標：$\le 0.15$。AI は、プラットフォームレベル（$A_{IG}$）とコミュニティレベル（$A_{IC}$）の不十分さに分解される。

2.2 オーディット実装

このフレームワークは、**オーディットモデル（$M_a$）**を用いた構造化されたオーディットを採用する。主観的な品質を評価する標準的な「LLM-as-judge」アプローチとは異なり、$M_a$ は制約付き推論エンジンとして機能する。これはコンテンツ、規則、先例、および提案された決定を受け取り、JSON 形式の推論トレースを生成する：

1. 論理チェーン：推論ステップ。
2. ポリシー引用（$\kappa$）：明示的な規則参照（判決の前にコミットされる）。
3. 先例の重み（$\omega$）：過去の事例の重要性。
4. 逆チェック（$\iota$）：反対の決定も導出可能かどうか。
5. 正当化レベル（$\xi$）：L1、L2、または L3。

この順序付けにより、分類が明示的な統治参照に基づいて行われ、モデルが事前に決定された出力を合理化することを防ぐ。

2.3 確率的正当性シグナル（PDS）

追加のオーディットパスなしに推論の安定性を推定するために、著者はオーディットモデルのトークン対数確率から導出されるPDSを導入する。PDS は、単一のフォワードパスから 3 成分ベクトルを抽出する：

1. $\lambda_\xi$（ラベル対数信頼度）：最終的な正当化レベルの対数確率。
2. $H[\kappa]$（引用スパンエントロピー）：ポリシー引用トークン上のシャノンエントロピー。高いエントロピーは規則選択における不確実性を示す。
3. $\sigma(\rho)$（逆チェック対数オッズ）：逆チェックがトリガーされる対数オッズ。高い値は、モデルが決定が正当化不可能かどうかを確信していないことを示す。

これらの成分は、較正を通じてスカラー $S$ に結合される。このフレームワークは、PDS の分散は主に統治の曖昧さによって駆動され、デコードノイズによるものではないと仮説立てている。

3. 主要な貢献

1. ポリシーに根ざした正しさの形式化：合意ベースの指標を超えて、ポリシーで正当化可能な決定と正当化不可能な決定を分離する DI と AI の導入。
2. 確率的正当性シグナル（PDS）：オーディットモデルの対数確率から抽出され、推論の不安定性と相関するゼロコストの安定性シグナル。
3. 統治ゲート：特定の DI および AI 閾値を満たすコホートに自動執行を制限する運用展開メカニズム。リスク低減を伴う原則的な自動化カバレッジを可能にする。

4. 実証結果

このフレームワークは、複数のコミュニティにわたる193,000 件以上の Reddit モデレーション決定で検証され、プラットフォーム全体およびコミュニティ固有の規則の両方に対してオーディットされた。

4.1 合意と正当性のギャップ

• 指標の乖離：合意ベースの F1 スコアと正当性指数の間には、33〜46.6 パーセントポイントのギャップが存在する。
• 偽陰性の分析：モデルの「偽陰性」（人間のラベルとの不一致）の79.8〜80.6%は、実際にはポリシーに根ざした決定（L1 または L2）であった。これは合意の罠を確認する：標準的な指標は、特定の人間の解釈とは異なる場合に、規則への妥当な遵守を罰する。
• 根本原因：不一致の 19.4% だけが真のモデルエラー（L3）であり、残りは暗黙的な規範の執行またはポリシーの曖昧さであった。

4.2 PDS と安定性

• 人間との整合性：PDS は人間の正当性評価と強く相関する（$\rho = 0.66, p < 10^{-4}$）。
• 曖昧さの検出：逆チェック対数オッズ（$\sigma(\rho)$）は、不一致の場合、一致の場合よりも63% 高い。
• 安定性分析：反復サンプリング（1,000 回複製）は、PDS の分散がサンプリングノイズではなく統治の曖昧さによって駆動されていることを示す。「反転」ケースと「安定」ケース間の不安定性の比率は、10 倍の温度上昇 across しても平坦に保たれる（約 1.6 倍）。これは統治の曖昧さ仮説を支持する。

4.3 規範的不十分性実験

r/AskReddit において、3 つの規則特異性の階層（タイトルのみ、サイドバー、ウィキ）の下で 37,286 件の決定をオーディットした結果、以下のことが明らかになった：

• AI の低減：規則の詳細を追加することで、曖昧さ指数は10.8 パーセントポイント（18.2% から 7.4% へ）減少した。
• DI の安定性：正当性指数は安定したまま（約 97-98%）であり、決定は規則の詳細に関わらず正当化可能であることを示した。変化したのは正当性に関する不確実性であった。
• メカニズム：曖昧な規則は主に正当化不可能（L3）なものではなく、曖昧（L2）な決定を生み出す。

4.4 統治ゲートの性能

DI $\ge$ 0.90およびAI $\le$ 0.15で構成された統治ゲートは、以下の成果を達成した：

• 78.6% の自動化カバレッジ：フリート全体で達成。
• 64.9% のリスク低減：自動化部分における正当化不可能な決定率を 5.66% から 2.72% に削減。
• AI 閾値が拘束条件として特定された。つまり、選択性は推論の有効性ではなく、ポリシーの曖昧さによって決定される。

4.5 敵対的ロバスト性

「Spurious-Grounding ベンチマーク」（敵対的攻撃を含む 1,000 件）において：

• 検出：システムは 93.5% のアクション反転攻撃と 70.1% の幻覚的グラウンディング攻撃を検出した。
• 脱出表面：攻撃の 29.9% が脱出したが、特に「ポリシーの半影（主観的コンテンツ規則）」を悪用するものだった。重要なのは、これらの攻撃に対して脆弱な規則が、曖昧さ指数によって明確化が必要であると特定された規則と同一であったことであり、これはフレームワークの診断能力に対する独立した裏付けを提供した。

5. 意義と主張

本論文は、規則支配環境における評価は、歴史的ラベルとの合意から、明示的な規則下での推論に根ざした妥当性へと移行しなければならないと主張する。

• 曖昧さの再定義：このフレームワークは、ポリシーの曖昧さを欠陥ではなく、人間の判断を維持するための意図的な設計特徴（規範的不十分性）として扱う。指標はこの弾力性を定量化し、正当性が高い場所で安全な自動化を可能にする。
• 推論監査者としての LLM：この研究は、「LLM-as-judge」パラダイムを、主観的な品質評価から規則に根ざした論理的検証へと拡張する。規則を外部の真実の源泉として扱い、オーディットモデルを制約付き推論エンジンとして扱うことで、システムは規則の一貫性を運用化する。
• 実用的な展開：統治ゲートは、監査可能性を維持しながら自動化を拡張するための原則的なメカニズムを提供する。これは、LLM の推論トレース（特に対数確率分布）が統治のための較正された不確実性シグナルとして機能しうることを実証する。

著者らは、曖昧さ指数、PDS の分散、および敵対的脱出表面の収束が、単一の根本的な現象、すなわち規範的不十分性を指し示すと結論づける。このフレームワークは、それをモデルエラーとして扱うのではなく、この不十分性を特定し管理するためのインフラを提供する。