Attribution Consistency in Fine Tuning Makes Refusal Less Sensitive to Paraphrase in a Small Tool Using LLM Agent
この予備的研究は、ファインチューニング中に潜在的属性正則化（Latent Attribution Regularization: LAR）を適用することで、小規模なツール利用型LLMエージェントの属性一貫性が向上し、それによって言い換えられた有害なリクエストに対する感度が低減され、検出性能を大きく損なうことなく拒否決定が安定化する一方で、無害な例に適用した場合には過剰な拒否を招くリスクがあることを示している。
原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
人工知能の世界には、エージェントとして知られる、増えつつある一連のシステムが存在します。単に質問に答えるだけの標準的なチャットボットとは異なり、これらのエージェントは行動を起こすように設計されています。彼らはツールを使用したり、コードを実行したり、他のソフトウェアと相互作用したりして、複雑なタスクを完了することができます。この能力は彼らを非常に有用なものにしますが、同時に安全性へのリスクも高めます。もしチャットボットが有害な要求を誤解した場合、それは単に悪い回答を出すだけで済みます。しかし、もしエージェントが同じ要求を誤解した場合、ファイルの削除やプライベートなデータの送信といった、危険なアクションを実行してしまう可能性があります。これを防ぐために、研究者たちはこれらのモデルに有害な指示を拒否するように教えています。しかし、この安全トレーニングは驚くほど脆弱です。モデルはある言い回しで表現された要求は拒否するかもしれませんが、人間が同じ要求を異なる言葉や異なる文章構造を使って言い換えた場合、モデルは突然、その有害なことに同意してしまうことがあります。この不一致は、信頼できるエージェントを実世界に展開する上での大きな障壁となっています。
ジュナイド・ハッサンという研究者は、この不一致という特定の問題を解決しようと試みました。目標は、単にモデルに拒否の頻度を高めさせることではなく、その拒否を「安定」させることでした。あらゆるものに対して拒否するモデルは一貫していますが、無害なタスクに対しても助けにならないため、役に立ちません。課題は、モデルが「ノー」と言う決定を、過度に慎重になりすぎて「イエス」と言えなくなることなく、言い回しの変化に対していかに堅牢にするかを見つけることでした。これをテストするために、研究者はツールの使用を目的とした、効率的で小規模なAIモデルを用いて研究を行いました。チームは、エージェントが有害なタスクを実行するよう求められる数百のシナリオと、それらと同じタスクの安全なバージョンを含む「AgentHarm」と呼ばれるデータセットを使用しました。決定的なのは、各有害な要求が複数のパラフレーズ（言い換え）とペアになっていたことで、これにより、言葉が変わっても意味が変わらない場合に、モデルの決定が変化するかどうかを研究者が確認することができました。
研究者は、「潜在属性正規化（Latent Attribution Regularization）」と呼ばれる新しいトレーニング手法をテストしました。簡単に言えば、この手法は、モデルに対して、読み取った言葉の重要性に一貫した方法で注意を払うよう教えるものです。モデルはリクエストを処理する際、何を行うかを決定するために、各単語に重要度のレベルを割り当てます。このトレーニングによるペナルティは、もしリクエストが異なる言葉で書き直されたとしても、アイデアに対して割り当てられた重要性のパターンが同じであり続けることを保証します。これは、元のリクエストと書き換えられたリクエストの両方に対して単に正しい答えを出そうとするだけで、思考におけるこの一貫性を強制しない標準的なトレーニング手法と比較されます。研究は、結果の違いがランダムな運や異なるデータ量からではなく、トレーニング手法自体から生じたものであることを確実にするため、両方の手法を公平に比較することに細心の注意を払いました。
結果は、新しい手法が機能したことを示しました。モデルが過度に慎重にならないよう、特定の少数の無害なタスクを拒否するように調整したとき、一貫性の手法で訓練されたモデルは、著しく安定していました。標準的なトレーニングのグループでは、約25%のタスクファミリーにおいて混在した結果、つまりモデルがあるバージョンの要求は拒否したが、そのパラフレーズには従ってしまうという現象が見られました。新しい一貫性手法を用いると、この数値は19%に減少しました。さらに、言葉が変わっただけで決定が「ノー」から「イエス」へと反転する割合は、約11%から9%に低下しました。研究者は、特定のカットオフポイントに関わらず、モデルが拒否する可能性を反映するスコアも測定し、このスコアが言い換えによってほとんど変化しないことを発見しました。これは、拒否を判断するためのモデルの内部ロジックが、より強固になったことを示しています。
重要な点として、この安定性は、モデルの有害性を検知する能力を犠牲にして得られたものではないことが研究によって確認されました。新しい手法は、有害なリクエストと無害なリクエストを区別するモデルの全体的な能力を、著しく向上させたり低下させたりすることはありませんでした。改善は、意思決定プロセスの「一貫性」のみに現れました。しかし、研究は将来の研究への警告となる重大な失敗事例も明らかにしました。以前の試みにおいて、研究者がテキストベースの例のみを使用してモデルに無害なタスクの扱い方を教えようとした際、モデルは悪い癖を学習しました。モデルは、安全なものを含む、ツールを用いたほぼすべてのリクエストを拒否し始め、ツールを全く使わなくなりました。これは、トレーニングデータに、ツールを安全な文脈で使用する方法が示されていなかったために起こりました。この失敗は、エージェントにとって、トレーニングデータには単に質問に答える方法だけでなく、ツールを安全に使用する方法を含める必要があることを浮き穴しています。
本研究は、AIエージェントの拒否決定を一貫させることは可能であるが、それには最終的な答えだけでなく、モデルが情報をどのように処理するかを見る特定のトレーニング手法が必要であると結論付けています。結果は有望ですが、これらは予備的なものであり、単一の小規模なモデルと限られた数のテスト実行に基づいています。研究者は、将来の作業として、より大きなモデル、より多様なトレーニングデータ、そしてパラフレーズが真に同等であることを確認するための人間のレビュアーを用いたテストが必要であると述べています。この研究は明確な道筋を示しています。エージェントに対し、読み取った言葉の重み付けにおいて一貫するように教えることで、リクエストの言い回しが変わっただけで誤って有害な行為に同意してしまうことがないよう、より安全で信頼性の高いものにすることができるのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。