Attribution Under a Floor: Why Single-Component Ablation Overcounts Safety-Critical Layers and Neurons
本論文は、微調整された言語モデルにおける安全性に関わる重要な層やニューロンを特定するための標準的な手法が、小さなプロンプト・バッテリーと不安全なベースラインに起因する「フロア効果」によって統計的に欠陥があることを示しており、それが重要な構成要素の誤った過剰計上を招き、二重メカニズムによる安全性の説明に関する発表された証拠を無効にしていることを実証している。
原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
大規模言語モデルに対して有害な要求を拒絶するように求める際、私たちはそのモデルに複雑な自己抑制行為を行わせていることになります。これらのモデルは膨大な量の人間によるテキストから学習し、文章の次の単語を予測することを学びますが、同時に「何を言うべきではないか」を学習するための特別な訓練フェーズも経ています。メカニスティック・インタープリタビリティ（機械論的解釈可能性）の分野の研究者たちは、これらのモデルを、どのように機能しているかを見るために分解できる複雑な機械のように扱っています。彼らは、モデルの内部構造の特定のパーツがゲートキーパー（門番）として機能し、質問に答えるか拒絶するかを決定していると考えています。これらのゲートキーパーを見つけ出すために、科学者たちはしばしばアブレーション（切除）と呼ばれる手法を用います。これは、単一の処理レイヤーや特定のニューロンといったモデルの小さな一部を一時的に無効化し、それまで拒絶していたはずのモデルが突然有害な回答を生成し始めるかどうかを観察するというものです。もし一部を無効にした後にモデルが拒絶に失敗した場合、その部分は安全性に不可ると判断されます。目標は、拒絶の正確な仕組みをマッピングすることで、これらのシステムがいかにして安全性を維持しているのかを理解し、おそらくは改善することにあります。
ジョージタウン大学のヤンイ・チャンによる最近の研究は、この種の研究の具体的な事例を検証し、そこから導き出された結論が統計的な錯覚に基づいていることを明らかにしています。この研究は、ある研究者が言語モデルの主要な安全ゲートキーパーとして機能する6つの特定のレイヤーと205個の特定のニューロンを特定したと主張した、アーカイブされた実験を監査したものです。チャンの分析によれば、これらの数値はモデルの真のメカニズムを反映していません。むしろ、それらは実験自体の設計上の欠陥、具体的には「フロア効果」として知られる問題の結果でした。この文脈におけるフロア効果とは、安全性を測定するために使用されたテストが、実際の変化を検出するにはあまりにも小さく、弱すぎたために発生しました。実験は、わずか4つの有害なプロンプトを用いた一連のテストに依存していました。モデルのどの部分が無効化される前であっても、モデルはすでにこれら4つのプロンプトのうち3つに対して拒絶に失敗していました。モデルはすでに、テストケースの大部分において安全ではない状態にありました。
モデルがすでに4つのプロンプトのうち3つで失敗していたため、モデルのいかなる一部分を無効にしても、それ以上に失敗の回数を増やすことはできませんでした。不安全な回答のカウントは、どのレイヤーをオフにしても最小値の3に固定されていました。あるレイヤーが「重要である」とラベル付けされる唯一の方法は、そのレイヤーが、残りのたった一つの安全なプロンプトを反転させて不安全なものに変えてしまった場合のみでした。研究では、重要であると報告された6つのレイバーは、単にその特定の1つのプロンプトを反転させたものに過ぎませんでした。そのプロンプトを反転させなかった他の26のレイヤーは、重要ではないと報告されましたが、実際には重要なレイヤーとほぼ同様の挙動を示していました。「重要な」レイヤーと「安全な」レイヤーの区別は、モデルの仕組みの違いではなく、極めて小さなテストセットがたまたまどのように振る舞ったかの違いでした。報告された6つの重要なレイヤーのセットは、モデルの安全メカニズムの発見ではなく、テストに使用された4つのプロンプトの特性であったのです。
この調査はまた、個々のニューロンに関する主張についても同様の問題を明らかにしました。元の報告では、研究者が数十万のニューロンをスキャンし、特定の閾値を用いて205個の重要なニューロンを見つけたと述べられていました。しかし、チャンがその実験に保存されていた実際のデータファイルを調べたところ、数値が一致しませんでした。保存されたデータには、フルセットではなく、わずか500個のニューロンの記録しか含まれておらず、それらの影響スコアも報告で使用された閾値よりもはるかに低いものでした。保存されたデータの中に、205個のニューロンを選択するような閾値は存在せず、代わりに、データはわずか1つのニューロンだけが報告された閾値を超えていることを示していました。205個の重要なニューロンがあるという主張は、実際に保存されていた証拠によって支持されていませんでした。さらに、計算の速度や異なるテスト手法間のオーバーラップなど、元の報告で言及されていた他の特定の測定値も、保存されたファイルの中には一切見当たりませんでした。数字は論文の本文には現れていましたが、生のデータに遡って追跡することはできませんでした。
この研究はまた、モデルのレイヤーの重要性が、ネットワークを深く進むにつれて減衰していく滑らかで予測可能なパターンに従うという主張にも異議を唱えています。元の報告は、レイヤーを無効化した際の影響が、最も重要な作業が行われる非常に初期のレイヤーで最大となり、指数関数的な曲線を描いて減少していくことを示唆していました。しかし、保存されたデータの再分析によれば、実際のパターンはもっと混沌としたものです。レイヤーの影響は滑らかに減衰するのではなく、ネットワークの最後の方のレイヤーを含むいくつかの特定のレイヤーによって支配されており、最後のレイヤーを無効にした際にも大きな影響が見られました。データは、クリーンで減衰していく曲線という考えを支持していません。むしろ、安全性は単一の秩序ある減衰ではなく、モデル全体に散在する疎なレイヤーのセットによって影響を受けるという、より複雑な現実を示唆しています。
この研究は、モデルに安全メカニズムが欠如していることや、二重メカニズム理論が誤っていることを証明するものではありません。単に、アーカイブされた実行結果に提示された特定の証拠が、それらの主張を裏付けるには不十分であることを示しているに過ぎません。これらの知見は、この種の調査における根本的な要件を浮き彫りにしています。すなわち、ある部分を無効化した際にその影響が見て取れるように、テストセットは、モデルが実際に拒絶を行うプロンプトを十分に多く含むものでなければなりません。ベースラインがすでにほとんどのプロンプトで不安全である場合、テストは個々のパーツの寄与を測定することはできません。どのレイヤーやニューロンが安全性を担っているかを真に特定するためには、研究者ははるかに大規模なベースライン安全プロンプトを用意し、任意の閾値を超えたレイヤーのリストを提示するのではなく、結果の全分布を報告する必要があります。本研究は、属性の主張は、それが再計算可能なデータに対してどれほど強力であるかにのみ依存するということを結論付けており、今回のケースでは、データが導き出された大胆な結論を支持していませんでした。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。