🤖 machine learning

DUET: Dual-Teacher On-Policy Distillation via Same-Weight Disagreement for Prohibition Compliance

本論文は、動的なリクエスト固有の禁止事項を遵守しつつ一般的な有用性を維持するようにモデルを訓練するために、同一の重みを持つ2つの教師（一方は禁止コンテキストあり、もう一方はなし）間のトークンごとの不一致を活用してクリーンな監督信号を生成する、トークン選択型のオンポリシー蒸留手法であるDUETを提案している。

原著者： Zihan Li, Feifei Li, Wenhui Que

公開日 2026-08-18

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Zihan Li, Feifei Li, Wenhui Que

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

大規模言語モデルは、人間のようなテキストを生成し、問題を解決し、質問に答えることができる、多くの現代的なデジタルアシスタントのエンジンとなっています。しかし、現実世界において、これらのモデルは多くの場合、脳にハードコードされているのではなく、使用される瞬間に指示として注入される、厳格で変化するルールに基づいて動作しています。ある企業はモデルに対して内部ツールを絶対に明かさないよう指示するかもしれませんし、ある病院は患者の名前を決して出さないよう要求するかもしれません。これらのルールは、誰が問いかけているか、そしてどのような状況かによって変化します。開発者の課題は、無害な質問への回答を拒否してしまうほど慎重になりすぎたり、あるいはルールをうっかり破ってしまうほど自信過剰になったりすることなく、これらの特定の、一時的な禁止事項に従うようモデルに教えることです。もしモデルがこれらの指示に従えなかった場合、データの流出やブランドの安全性に関する問題につながる可能性があります。一方で、話すことを恐れすぎてしまえば、そのモデルは役に立たないものになってしまいます。

テンセントの研究者たちは、モデルに実行時のルールに従うよう教えるというこの特定の問題を解決するために、「DUET」と呼ばれる新しい手法を開発しました。モデルを一から再学習させたり、単に良質な回答と不適切な回答の例を見せたりする代わりに、彼らは「一対の同一の双子」のように機能するシステムを作り上げました。一方の双子は指示の中に禁止されたルールを見ていますが、もう一方の双子は、全く同じ知識と能力を持ちながら、そのルールを見ていません。これら二人の「教師」はそれ以外は同一であるため、彼らの発言の差は、その特定のルールの有無のみによって引き起こされるはずです。研究者たちは、この意見の相違を利用して、モデルがどこで間違いを犯す可能性が高いかを正確に特定します。

このプロセスは、学生モデルが回答を生成する間、両方の教師の双子がそれを見守ることで機能します。二人の教師が次に続くべき単語について一致した場合、システムはその部分を安全で重要ではないと判断し、無視します。しかし、教師たちが意見を異にする場合、つまり一方が秘密を漏らす単語を提案し、もう一方が安全な代替案を提案する場合、システムはその瞬間を重要な学習機会としてフラグを立てます。これにより、学生モデルは、ルールが実際に重要となるわずかな単語だけに注意を集中させることができ、何千もの全く問題のない単語に対して努力を浪費することがなくなります。そして、学生モデルは、ルールを無視する方の教師から優しく遠ざけられ、ルールを遵守する方の教師へと引き寄せられることで、実用性と遵守の境界線をナビゲートする方法を効果的に学習していきます。

このアプローチは、会話全体を用いてモデルを訓練していた古い手法の欠点を解消しています。それらの古いシステムでは、長い回答の中にたった一つの間違いがあったとしても、回答全体が悪かったとみなされることが多く、どの単語が問題であったのかについてモデルを混乱させていました。違反が発生した正確なトークン（単語の単位）に相違を分離することで、この新手法はより明確なシグナルを提供します。研究者たちは、個人情報の保護、安全ガイドラインの遵守、ビジネスツールの定義への適応など、さまざまなタスクでこれをテストしました。その結果、このデュアルティーチャー（二人の教師）方式で訓練されたモデルは、ルールを破る要求を拒絶しつつ、正当な質問に対しては依然として有用であり続けるという点で、大幅に優れた性能を示すことがわかりました。

結果として、この新手法は、15億パラメータの小型モデルから80億パラメータの大型モデルに至るまで、異なるサイズのモデルにおいて既存の技術を凌駕しました。テストにおいて、モデルは違反要求に対して72%から85%以上の遵守率を達成し、つまりルールを破ることをうまく拒否できた一方で、通常の質問に対する有用性も88%から93%の間を維持し、高いレベルで回答能力を保ちました。決定的なことに、モデルは一般的な知能を失うことはなく、数学や論理パズルの問題においても以前と同様に優れた能力を維持していました。この研究は、二つの同一のモデルを使用してルールが重要となる正確な箇所を見つけ出すことで、開発者は膨大な量の新しいデータを必要としたり核となる能力を失ったりすることなく、安全かつ有用なAIアシスタントを作成できることを示唆しています。

技術要約：DUET – 禁止事項遵守のためのデュアルティーチャー・オンポリシー蒸留

1. 問題定義：禁止事項の遵守（Prohibition Compliance）

本論文は、実世界のLLMデプロイメントにおける特定の課題である**「禁止事項の遵守（Prohibition Compliance）」**を取り上げている。これは一般的な安全性アライメントとは異なり、リクエストやテナントごとに変化する、システムプロンプトに埋め込まれた実行時の注入された禁止事項（例：企業のポリシー、PII（個人識別情報）のレッドライン、ツールの境界条件）を扱うタスクである。核心となる困難さは、以下の3つの構造的特徴にある：

実行時の構成可能性（Runtime Configurability）: 禁止事項はモデルの重みではなく、プロンプト内に存在する。
局所的な違反（Localized Violation）: 長いレスポンスのうち、実際にルールに違反しているのはごく一部のトークンのみであり、レスポンスの他の部分は遵守されている可能性がある。
遵守と有用性の同時要求（Joint Compliance-Utility Requirement）: モデルは、同一のビジネスコンテキスト内において、正当なクエリに対して過剰な拒絶を行うことなく、違反するリクエストを拒絶しなければならない。

著者らは、従来のポストトレーニングのパラダイムが構造的に不適切であると主張している：

教師あり微調整（SFT）: 違反のシグナルが遵守されたラベルの中に隠されてしまうため、モデルに対して「どこで」「どのように」特定の違反トークンを抑制すべきかを明示的に教えることができない。
直接選好最適化（DPO）: シーケンスレベルの選択済み/拒絶済みラベルを使用するため、少数の違反トークンのためにシーケンス全体を非難してしまう。これにより、中立的な位置が汚染され、真の違反箇所における修正シグナルが希釈される。
バニラなオンポリシー蒸留（OPD）: 学生モデルの実際の失敗軌跡に沿って修正を行うが、2つのギャップが存在する。(1) ティーチャーのロジットが学生の潜在的に誤ったプレフィックスに条件付けられているため、ティーチャーが違反へと「ドリフト」し、誤った指導を提供してしまう。(2) 標準的なトークン平均損失は、中立的なトークンに指導を浪費し、クリティカルな違反トークンへの指導を希釈してしまう。

2. メソドロジー：DUETフレームワーク

提案手法である DUET（DUal-tEacher Token-selective OPD）は、禁止事項の因果効果を分離し、トークン粒度の最適化を推進するために、デュアルティーチャー・アーキテクチャを導入する。

核心メカニズム：同一重みの不一致（Same-Weight Disagreement）
DUETは、同一の重みを共有するが、入力プロンプトのみが異なる2つのティーチャー、 $T^+$ と $T^-$ を用いる：

$T^+$ (Positive Teacher): システムプロンプトに禁止事項が含まれており（および遵守を促すための「思考プレフィックス」を含む）。
$T^-$ (Negative Teacher): 禁止事項を見ておらず、思考プレフィックスも持たない。

重みが同一であるため、 $T^+$ と $T^-$ の間のトークンごとの不一致は、純粋に禁止事項の存在に起因するものであり、モデル固有の容量差や分布のミスマッチを効果的にフィルタリングできる。

2段階のプロセス:

違反トークンの選択（シグナル・クリーニング）:
- $T^+$ と $T^-$ が一致するトークンを破棄する。一致は、冗長な指導（通常のトークン）、または（学生のプレフィックスが $T^+$ を $T^-$ へと引き寄せた場合の）誤った指導のいずれかを意味する。
- KLダイバージェンスによる不一致が高いトークンのみを保持する。
- 3段階のフィルタリングにより、シーケンスごとに上位 $K$ 個の不一致トークンを選択し、max-pool dilationを適用して違反の短いサブワードクラスターを捉える。
選好指向型学習（Preference-Directed Learning）:
- 選択された高不一致トークンに対し、オフラインの選好データを用いることなく、DPOスタイルのロジックを直接OPDに組み込んだトークン粒度の選好目的関数を用いて学生モデルを最適化する。
- Pull ( $L_{pos}$ ): 学生の分布を $T^+$ に引き寄せる。
- Push ( $L_{neg}$ ): $T^-$ が $T^+$ よりも好む候補を抑制することで、学生を $T^-$ から遠ざける。
- 合成ターゲット ( $L_{syn}$ ): シグナルをさらに精製するため、ロジット空間において $T^+$ を $T^-$ からさらに遠ざけるように外挿することで、合成ターゲット $z_{adj}$ を作成し、残留する汚染を取り除く。
- 有用性維持 ( $L_{util}$ ): 正当なクエリに対する過剰拒絶を防ぐため、非違反（正常）クエリに対して $T^+$ に対するトップ $K$ 知識蒸留項を適用し、モデルの有用性を確保する。

総損失はこれらの項を組み合わせたものである： $L = \lambda_{pos} L_{pos} + \lambda_{neg} L_{neg} + \lambda_{syn} L_{syn} + \lambda_{util} L_{util}$ 。

3. 主な貢献

DUETフレームワーク: 同一重みのティーチャー間の不一致を利用して禁止事項シグナルを分離し、オフラインの選好データなしでオンラインのシグナル・クリーニングとトークン粒度の選好最適化を可能にする、新しいデュアルティーチャー・トークン選択型OPD手法。
産業用ベンチマーク: 5つのタスクファミリー（PII/メモリ、安全性レッドライン、カスタムビジネスコンテンツ、ツール定義、ビジネスSOP）にわたる禁止事項遵守ベンチマークの構築。このベンチマークは、明示的な違反の拒絶、パラフレーズへの堅牢性、および同一ビジネスコンテキスト内での正当なクエリに対する過剰拒絶リスクを独自に測定する。
体系的な評価: Qwen2.5およびQwen3モデルファミリー（1.5Bから8Bスケール）にわたる包括的な検証を行い、強力な蒸留ベースラインに対する大幅な改善を実証した。

4. 実験結果

著者らは、産業用ベンチマークおよび公開されている制約遵守ベンチマーク（SysBench, GSM8K, MATH-500）においてDUETを評価した。

禁止事項の遵守: 1.5B–8BのQwenバリアント全体で、DUETは72.3–85.2%の違反遵守率を達成しながら、88–93%の通常有用性を維持した。
- 強力な蒸留ベースライン（OPD-F, OPD-R, AlignDistil, TIP）を大幅に上回った。
- Qwen2.5-7B $\to$ 1.5Bの蒸留において、DUETは違反拒絶率を最高のベースラインである約51%から**72.3%**に向上させつつ、93%の有用性を維持した。
- ティーチャーが「汚れている」（固有の遵守能力が低い）場合や、ティーチャーと学生の語彙のミスマッチが大きい場合に、DUETの不一致シグナルがこれらの交絡因子を効果的にフィルタリングするため、より大きな利得が得られることが指摘されている。
一般的能力: DUETのトレーニングは、一般的な推論ベンチマークにおいて壊滅的な忘却（catastrophic forgetting）をもたらさなかった。GSM8KおよびMATH-500において、モデルはベースラインと同等の性能を維持し、特定のサブドメイン（数論、計数）における軽微な変動は、既存の学生モデルの弱点に起因するものであった。
制約遵守 (SysBench): SysBench形式のプロンプトを含むデータでトレーニングされていないにもかかわらず、DUETはSysBench（CSRおよびISR指標）においてすべての蒸留ベースラインを大幅に上回った。これは、学習されたアライメントがテンプレートの記憶ではなく、一般的な禁止事項遵守能力であることを示唆している。
アブレーション研究: いずれかのコンポーネント（例：合成ターゲット $L_{syn}$ や有用性項 $L_{util}$ ）を削除すると、違反拒絶または有用性のいずれかが大幅に低下し、各設計要素の必要性が確認された。

5. 意義と主張

本論文は、実行時に構成可能なルールが、有用性を損なうことなく精密なトークンレベルの制御を必要とする、産業界のLLMデプロイメントにおける重要なギャップをDUETが解決することを主張している。同一重みのティーチャー間の不一致を活用することで、DUETはモデルの容量問題やプレフィックスの汚染に影響されない、クリーンなオンライン指導シグナルを提供する。

著者らは、DUETを、シーケンスレベルの選好最適化やバニラなオンポリシー蒸留の限界を超えるためのソリューションとして位置づけている。彼らは、この手法が、オフラインの選好データのコストのかかるキュレーションを排除しながら、オンポリシー蒸留ループ内で直接トークン粒度のDPOスタイルの最適化を可能にし、現実世界のビジネスシナリオに特有の「遵守と有用性の同時要求」を効果的に処理できることを強調している。