テクニカル・サマリー：憲法（Constitution）によるモデル挙動の解釈と制御：原子的概念編集に向けて

1. 問題提起

大規模生成モデルの急速な進歩は、安全性、信頼性、および解釈可能性に関する重大な課題をもたらしている。主要な障害は、モデルの誤作動の帰属（attribution）である。現代のアーキテクチャにおいて、失敗を特定の入力特徴にまで遡って追跡することはますます困難になっている。敵対的機械学習は、微細な入力の変化が重大な失敗を引き起こすことを示してきたが、特にマルチモーダル大規模言語モデル（LLM）において、プロンプトの摂動（perturbation）の解釈可能性に関する分析は依然として研究上の空白となっている。

既存のアプローチは、グローバルな解釈可能性手法や、非解釈的な（例：画素レベルの摂動）敵対的攻撃に依存することが多い。解釈可能な「原子的概念編集（Atomic Concept Edits）」とプロンプトによるモデル挙動の変化との間に因果関係を確立することで、ブラックボックス的なモデルの挙動を体系的に解読できるフレームワークが必要とされている。目標は、特定のプロンプト変異がモデルの挙動にどのように影響するかを要約した、自然言語による「憲法（Constitution）」を学習し、それによってこれらのモデルを説明し、制御することである。

2. メソドロジー

著者らは、**原子的概念編集（ACEs）と憲法（Constitutions）**を中心としたブラックボックス解釈可能性フレームワークを提案している。

2.1. コア定義

• 原子的概念編集 (Atomic Concept Edits: ACEs): 入力プロンプト内の単一の解釈可能な概念を、追加、削除、または置換するターゲットを絞った操作。概念は、明示的なもの（例：「男」、「フリスビー」）や、暗黙的なもの（例：「時刻」、「息子の年齢」）であり得る。
• オートレイター (Autorater): 特定のタスク（例：テキストと画像の整合性、数学的正解、単語数の遵守）に基づき、モデルの出力を望ましいスコア（0または1）にマッピングするバイナリ分類器（またはスコアリング関数）。
• 憲法 ($\pi$): 入力を修正して望ましい（あるいは特定の）モデル挙動を引き出すための、ACE生成のための戦略を記述した自然言語の説明。これは、変異に関する「良い戦略」と「悪い戦略」を含むルールブックとして機能する。

2.2. フレームワークのアーキテクチャ

本フレームワークは、主に3つの段階で動作する。

1. ACE生成: 初期プロンプト、タスク定義、および憲法（初期状態は空またはランダム）が与えられると、コンセプト抽出器（Concept Extractor）がプロンプトを概念のセットへと蒸留する。その後、ACEジェネレーターがこれらの概念に対して原子的な編集（追加、削除、置換）を提案する。
2. 探索とラベル付け: 提案されたACEがプロンプトに適用され、その結果得られた出力がターゲットモデルとオートレイターによって評価される。これにより、ACEのトレース（$D = \{(x_i, a_j, y_j)\}$）のデータセットが作成される。ここで $y_j$ は、グラウンドトゥルースとしてのオートレイター・スコアである。
3. 憲法の最適化: 大規模なターゲットモデルへの繰り返しのクエリに伴う高い計算コストを避けるため、著者らはサロゲート分類器（指示テンプレートを持つLLM）を用いてオートレイターのスコアを予測する。Alpha EvolveやTextGradに触発された進化アルゴリズムを用い、フレームワークは憲法を反復的に更新する。憲法は、それによって導かれたACEがタスク定義を満たす確率を最大化するように最適化される。

2.3. 最適化目的関数

目的は、ACEの成功期待値を最大化する憲法 $\pi$ を学習することである：
$$\max_{\pi} \mathbb{E}_{x} \left[ \mathbb{E}_{a \sim p(a|x,t,\pi)} [f(M(\phi(x, a)))] \right]$$
ここで、$M$ はターゲットモデル、$f$ はオートレイター、$\phi$ は入力 $x$ にACE $a$ を適用する操作である。最適化には、サロゲート分類器による誤分類からのフィードバックを用いて、憲法内の戦略を進化させるプロセスが含まれる。

2.4. 推論と制御

最適化された後、憲法は、最小限の手順で特定のゴール（例：数学的正解性を破壊する、あるいは画像との整合性を低下させる）に向けて入力プロンプトを誘導するようにACEジェネレーターをガイドする。本フレームワークは、連続的なACE適用を可能にし、編集のシーケンスによって成功の確率を高めることができる。

3. 主な貢献

1. 原子的概念編集 (ACEs): 特定の概念に対する説明可能な局所的編集（追加、削除、置換）を用いた、プロンプト変異の汎用的な手法。
2. 憲法の最適化: モデルの挙動を説明し、かつ制御するための、自然言語による憲法を最適化する進化論的なメソドロジー。憲法は、望ましい結果を引き起こす変異の主要な側面を要約し、将来のACEをガイドする。
3. 実証的検証: 多様なモデル（Gemini 2.5, GPT-5, Imagen 4, DALL-E 3など）を用い、3つのドメイン（単語数遵守、数学的推論、テキストと画像の整合性）にわたる包括的な評価。

4. 実験結果

著者らは、3つのダウンストリームタスクについてフレームワークを評価した：

• 単語数 (Word Count): モデルに厳格な単語制限（50語未満）を遵守させる。
• 数学 (Math): 数学の問題を修正し、正しく解くことを困難にする（エラーを誘発する）。
• テキストと画像の整合性 (Text-to-Image Alignment): 生成された画像との整合性を低下させるようにプロンプトを更新する。

定量的知見

• 成功率: 憲法誘導型ACE（CACE）は、すべてのモデルとタスクにおいて、憲法なしのベースラインACEと比較して、平均で1.86倍の成功率向上を達成した。
• 効率性: CACEは、ベースライン手法と比較して、より少ないステップ数（通常4ステップ）で高い成功率（80%以上）を達成した。
• 多様性: Self-BLEUスコアは、本フレームワークがプロンプトの多様性を維持し、些末で反復的な解に収束していないことを示した。
• サロゲートの精度: サロゲート分類器は、あるACEがタスクを満たすかどうかを予測する能力において、TextGrad（最先端のテキスト勾配手法）を上回った。

定性的知見 (モデル挙動分析)

学習された憲法は、モデル間の明確な行動パターンを明らかにした：

• Text-to-Image:
  • GPT-Image: 重要な関係性や動作に焦点を当てた要素（例：動詞の目的語）が削除されると、整合性が著しく低下した。これは、厳格な構成論理への依存を示唆している。
  • Imagen 4: 無関係または矛盾する設定要素が追加されると、整合性が低下した。これは、全体的なシーンのコンテキストと美的コヒーレンスを優先していることを示している。
• 数学的推論:
  • GPT-5: **妨害変数（distractor variables）**や方程式間の代入を導入することで、パフォーマンスが著しく低下した。
  • Gemini 2.5 / o4-mini: これらのモデルは妨害変数に対してほとんど影響を受けず、GPT-5が失敗した箇所で堅牢性を示した。
  • 全般: 指数や根号の導入は、モデル間で一貫して難易度を上昇させ、複雑な代数推論における限界を露呈させた。

5. 重要性と主張

本論文は、概念レベルのプロンプト修正と挙動の変化を結びつけることで、ブラックボックス的な生成モデルを理解し、制御するための新しいフレームワークを提供すると主張している。主な意義は、敵対的なステアリングおよび能動的なテストのためのルールブックとして機能する、人間が解釈可能な憲法を生成できる点にある。

著者らは、本アプローチが以下の特性を持つことを強調している：

• 内部重みにアクセスすることなく、モデルの挙動を解読する（ブラックボックス）。
• 単なるデータポイントではなく、実行可能で汎用的な洞察（例：「重要な関係要素の削除」）を提供する。
• 異なるモデルが、系統的に特定・利用可能な独自の「盲点」や失敗モードを持っていることを実証する。

本研究は、非構造的なプロンプトエンジニアリングや非解釈的な敵対的攻撃に代わる構造化された選択肢を提供し、あらゆるオートレイター定義の目的へとモデルの挙動を制御するための基礎となるものである。また、堅牢なオートレイターへの依存や、画像/ビデオモダリティおよびエージェント・システムへの拡張に向けた今後の課題についても言及している。