技術概要：詳細な憲法定義と AI 駆動評価によるラベリングの一貫性向上

問題定義

自動化されたラベリングパイプライン、特にコンテンツモデレーションにおいては、書かれたカテゴリ仕様から導き出された「ゴールドラベル」に依存しています。しかし、標準的な定義（多くの場合 1〜2 文）は、エッジケースを一貫して解決するために必要な粒度を欠いています。定義が短すぎる場合、人間の注釈者や大規模言語モデル（LLM）は、書かれたルールではなく、内部の学習事前分布や直感に頼ることになります。これにより、ラベリングの精度と一貫性に大きなドリフトが生じ、特に異なるモデルや注釈者が同じ短い定義を異様に解釈する際に顕著になります。さらに、人間の作業記憶の限界により、注釈者は複雑でルールに満ちた仕様を保持できず、仕様をヒューリスティックに圧縮してしまいます。

手法

著者らは、憲法仕様（Constitutional Specifications）を中心としたAI 駆動ワークフローを提案します。以前の「憲法 AI」の取り組みが行動原則やランタイムの強制に焦点を当てていたのに対し、このアプローチでは、憲法をダウンストリームプロセスに対して一貫したゴールドラベルを生成するための、カテゴリごとの詳細な運用仕様として扱います。

1. 憲法の構造

各カテゴリ（例：ハラスメント、ヘイトスピーチ、非暴力的犯罪）は、以下の内容を含む構造化された Markdown ドキュメント（約 300 行以上）によって定義されます：

• 定義と決定ロジック：陽性分類をトリガーするための明示的なルール。
• 必須要素：すべて満たされなければならない具体的な基準。
• ルーティングと境界ノート：隣接するカテゴリやエッジケースに関する裁定（例：政治的批判とハラスメントの区別）。
• 解決済み例：陽性ケースと陰性ケースに対するステップバイステップの推論。
• 双軸定式化：カテゴリごとに 2 つの独立したバイナリラベル：
  • 意図：危害を加えたり、危害を得たりしようとする試み。
  • 内容：会話中に現れる有害な材料。
  • 注記：評価は個別のメッセージではなく、完全な会話全体に対して行われ、多ターン攻撃や漸進的なエスカレーションを捉えます。

2. 作成と洗練パイプライン

このワークフローは、「人間が指示し、AI が実行する」パターンに従います：

• 作成：人間はギャップ（例：誤分類や新しい攻撃パターン）を特定し、AI に憲法の修正を指示します。
• クロスモデル検証：憲法は、異なるベンダー（例：OpenAI、Anthropic、Google）からの複数の最先端 LLM を使用して、本番環境の会話に適用されます。これらのモデル間の不一致は、仕様の曖昧な部分や不完全な部分を示す診断信号として扱われます。
• 洗練ループ：エージェントスキルが不一致を特定の憲法セクションに追跡し、ターゲットを絞ったパッチを作成して人間のレビューに提出します。マージされると、憲法は再検証されます。この反復プロセスにより、暗黙の裁定が明示的なものに変換されます。

3. 評価設定

このアプローチは、ハラスメント、非暴力的犯罪、ヘイトスピーチの 3 つのカテゴリで評価されました。

• データセット：定義の乖離と評価者間の合意を測定するためのHarmBenchと、現実的な本番環境下でのクロスモデルの安定性を評価するためのWildChat。
• ベースライン：4 つの公開分類体系（OpenAI、Llama Guard 3、MLCommons AILuminate、AEGIS）、段落レベルの定義、および最終的に洗練された憲法を含む、6 つの定義ソースを比較しました。
• 指標：1,000 会話あたりのペアワイズ不一致率と、3 評価者一致率（3 人の人間注釈者と、同じ憲法を読む 3 つの最先端 LLM を比較）。

主要な結果

1. クロスモデル不一致の削減

憲法アプローチは、異なる LLM 間の不一致を大幅に削減しました。

• WildChatにおいて、クロスモデル不一致は、段落レベルの定義と比較して最大57 倍削減されました。
• 最先端モデル（例：GPT-5.4、Opus 4.6、Gemini 3.1）の場合、不一致率は 1,000 会話あたり 3 未満に低下しましたが、段落定義では 1,000 会話あたり 2 から 66 の範囲でした。
• この削減は、短い定義がサブタイプを解決できなかった非暴力的犯罪のような広範なカテゴリで最も劇的でした。一方、憲法は明確な境界裁定を提供しました。

2. 仕様の適用における LLM の人間に対する優位性

ルールを適用する際のゴールドスタンダードは人間であるという仮定とは対照的に、この研究では、同じ憲法を読む 3 つの最先端 LLM が、同じドキュメントを読む 3 人の人間注釈者よりも高い一致率を達成したことがわかりました。

• 非暴力的犯罪：LLM の不一致率は 1,000 会話あたり 84.2 に対し、人間は 301.0 でした。
• ハラスメント：LLM の不一致率は 37.9 に対し、人間は 43.4 でした。
• 分析：人間注釈者は、マルチラベル分類をシングルラベルとして扱う（あるカテゴリを他よりも選択する）ことや、特定の決定ロジックを適用せずに表面的な危害をフラグ立てることで頻繁に失敗しました。一方、LLM は各カテゴリを独立して評価し、ドキュメント全体の文脈を一貫して適用しました。

3. 不一致の診断的価値

クロスモデル不一致は、効果的な診断ツールとして機能しました。最先端モデル間の残存不一致の大部分は、指示遵守の失敗ではなく、憲法が複数の規定を適用するが、ユーザーの疑念に関する共有事前分布がない真の曖昧さでした。これらのケースは、「保守的スタンス」の洗練と、具体的な境界裁定の追加に用いられました。

意義と主張

この論文は、カテゴリごとの構造化された憲法と LLM 合意パネルの組み合わせが、正確で一貫性があり、監査可能なゴールドラベルを生成するためのスケーラブルな解決策であると主張しています。

• 人間の役割の変化：人間の役割は、ドリフトや認知的過負荷に陥りやすい会話ごとの注釈から、仕様の作成と不一致のトリアージへと移行します。
• 運用精度：双軸（意図/内容）定式化は、ダウンストリームの消費者（例：セーフティチーム、カスタマーサポート）に明確なシグナルを提供します。例えば、モデルがリクエストを拒否した場合でも、「内容のない意図」をログに記録して再犯者を調査することが可能となり、これはシングルラベルシステムでは失われる区別です。
• スケーラビリティ：このアプローチは、人間の作業記憶容量を超える複雑な仕様を AI が維持・洗練できることを示しており、ゴールドラベルが異なるモデル間および時間経過を通じて安定していることを保証します。

著者らは、CI/CD パイプラインに入る前に AI 生成パッチをより適切にフィルタリングする必要性や、現在のモデルが極めて長く複雑な例外リストに直面すると困難に陥る可能性があるという限界を指摘しています。しかし、核心的な発見は、短い定義や人間の直感に依存するよりも、AI 駆動の検証によって強制されたより厳密な仕様の方が、一貫したセーフティ成果をもたらすということです。