技術要約: Self-CTRL: 強化学習を用いた自己整合性トレーニング

問題提起

大規模言語モデル（LM）は、実際の意思決定プロセスに対して不誠実な説明を生成することが頻繁にあります。モデルは、特定のユーザーのリクエストに対して、実際には従っていない原則（例：「差別的なコンテンツを生成しません」）を述べることがあります。このような自己整合性の欠如は、ユーザーの信頼を損ない、監査を困難にし、開発者がモデルのアライメントを監視する能力を阻害します。標準的なトレーニングは、個別のプロンプトに対してもっともらしい応答を生成するようにモデルを最適化しますが、メタレベルの説明（モデルが何をすると述べているか）とオブジェクトレベルの振る舞い（モデルが実際に何を行うか）の間の関係性を強制することはありません。その結果、モデルはメタ質問に対してもっともらしい回答を生成することを学習しても、その回答が関連する入力に対する行動を予測することにはならない場合があります。

手法: Self-CTRL

本論文では、自己説明と振る舞いの間の整合性を明示的に最適化するフレームワークである、Self-Consistency Training with Reinforcement Learning (Self-CTRL) を導入します。この手法は、説明と振る舞いを、異なるが関連する入力から生成されるペアの出力として扱います。

• メタレベルの入力 ($x_{meta}$): 入力のクラスにおけるモデルの振る舞いを記述するよう求めるクエリ（例：「差別に関するリクエストをどのように扱うか説明してください」）。
• オブジェクトレベルの入力 ($x$): そのクラスからの具体的なインスタンス（例：差別的なテキストを生成する具体的なリクエスト）。

モデルは、説明 ($y_{meta}$) と振る舞い ($y$) を個別にサンプリングします。外部の整合性関数 $\phi(y_{meta}, y; x_{meta}, x)$ が、説明が振る舞いを正しく予測または正当化しているかどうかをスコアリングします。

最適化フレームワーク

Self-CTRLは、整合性を強化学習問題として定式化します。目的は、負の期待整合性スコアから導出される損失関数を最小化することです。
$$L(x, x_{meta}) = -\mathbb{E}_{y, y_{meta}}[\phi(y_{meta}, y; x_{meta}, x)]$$

このフレームワークは、独立して最適化することも、凸結合 ($\lambda$) を介して共同で最適化することもできる、2つの補完的な学習方向をサポートしています。

1. 説明トレーニング ($\lambda = 0$): モデルが、既存の振る舞いをより良く予測する説明を生成するように更新します。これにより、モデルの行動を必ずしも変えることなく、より忠実な自己報告が生成されます。
2. 振る舞いトレーニング ($\lambda = 1$): モデルの振る舞いが、述べられた説明をより良く満たすように更新します。これにより、モデルの行動をその原則に適合させます。
3. 混合トレーニング ($0 < \lambda < 1$): 説明と振る舞いの両方を同時に最適化します。

トレーニングには、候補となる説明と振る舞いのグループをサンプリングするGRPOスタイルのエスティメータが使用されます。参照となる振る舞い（または説明）は固定され、整合性スコア $\phi$ に基づいて報酬が割り当てられます。

$\phi$ のインスタンス化

整合性関数 $\phi$ は、ドメインに応じて異なる形でインスタンス化されます。

• 形式的／確率的ドメイン: $\phi$ は、説明された確率分布の下での観測された振る舞いの対数尤度として計算されます（例：述べられたコインのバイアスが、一連のコイン投げを予測する場合）。
• 憲法的／自然言語ドメイン: 自然言語のルールは直接的な尤度を誘導しないため、$\phi$ は**LM Jury（LM陪審員）**を用いてインスタンス化されます。異なる倫理的枠組み（例：功利主義、義務論）を持つ複数のLLMが、振る舞いが述べられたルールに従っているかどうかを評価します。最終的なスコアは、これら陪審員の判定の平均値となります。

主な貢献と実験

本論文は、2つの異なるドメインにおいてSelf-CTRLを検証しています。

1. 形式的な説明を用いた確率的推論

• 設定: モデルがバイアスのあるコイン（振る舞い）からサンプルを生成し、そのバイアスをプログラムとして報告（説明）するようにトレーニングされます。
• 知見: 当初、モデルは較正されたサンプルを生成できましたが、基礎となるバイアスを明文化することには失敗しました（低い $R^2$）。Self-CTRLの説明トレーニングの後、明文化されたバイアスと経験的な振る舞いの相関関係は大幅に改善しました（ホールドアウト分布において $R^2$ が0.24から0.64へ向上）。これは、直接的なグラウンドトゥルースの監督下でトレーニングされたモデルの汎化性能と一致しており、整合性トレーニングが明示的なラベルなしに潜在的な構造を回復できることを示しています。

2. 自然言語の説明を用いたConstitutional AI

• 設定: モデルが安全性に関連するリクエスト（例：ヘイトスピーチ、差別）を扱うための原則を記述し、その後それらのリクエストに応答するようにトレーニングされます。
• 知見:
  • 説明トレーニング: 第三者の監査者が、モデルの述べられたルールに基づいてモデルの拒絶を予測する能力を向上させました。監査モデルによる拒絶予測精度は36%から92%に上昇しました。
  • 振る舞いトレーニング: 無害なプロンプトに対する過剰な拒絶を大幅に増やすことなく、HarmBenchのアタック成功率を15.0%から0.5%に減少させることで、アライメントを改善しました。
  • 混合トレーニング: シミュラタビリティ（説明が振る舞いを予測すること）と安全性（有害な出力の減少）を同時に改善し、パレート最適のトレードオフを達成しました。

結果と意義

本論文は、Self-CTRLが、AIモデルをより安全で、透明性が高く、制御可能にするための一般的なレシピを提供すると主張しています。主な結果は以下の通りです。

• 忠実性: この手法は、モデルが述べることと行うことを一致させることに成功し、「不誠実な説明」の問題に対処しています。
• スケーラビリティ: 整合性が人間によるラベル付けではなく、モデル自身（またはLM Jury）を使用して評価されるため、Self-CTRLはペアとなる証拠を大量に生成するようにスケール可能です。
• ネイティブ・インターフェース: 自己説明はユーザーが相互作用するのと同じチャネルを通じて引き出されるため、信頼構築やデバッグに直接利用できます。
• 汎化: 直接的な監督なしに、潜在的なバイアスを回復し、ホールドアウトデータ上の拒絶境界を洗練させるという、コンテキスト外の汎化能力を示しています。

著者らは、Self-CTRLを外部の解釈可能性に対する補完的なものとして位置付けています。外部監査とは異なり、これはモデル自身の振る舞いの規則性を自然言語において明示的にさせるものです。論文では、説明空間が制約されていない場合、モデルが些細な固定点（例：漠然とした「安全に振る舞う」というルール）に収束する可能性や、整合性判定器（LM Jury）の品質への依存といった限界についても控えめに述べています。しかし、実験は、注意深い設計（構造化されたプロンプト、多様な陪審員）によって、これらの問題が軽減できることを示唆しています。