Transcoders for Investigating Deception in Language Models

技術要約：言語モデルにおける欺瞞の調査のためのトランスコーダー

問題提起
大規模言語モデル（LLM）が重要なシステムにますます統合されるにつれ、その安全性とセキュリティを確保することが極めて重要になっています。レッドチーミングのような現在の評価手法は、主にモデルの出力を分析するものです。しかし、出力ベースの評価では、欺瞞（deception）のような不安全な挙動を生成する内部メカニズムに関する洞察を得ることは限定的です。本研究におけるAIの「欺瞞」とは、明示的なユーザーの指示による、利用可能な情報の意図的な隠匿と定義されます。既存のメカニスティック・インタープリタビリティ（MI）の手法（残差ストリームへの直接的なプロービングやスパース・オートエンコーダー（SAE）など）は、挙動に関連する特徴量を特定することはできますが、これらの特徴量が層を越えてどのように相互作用し、欺瞞のような複雑な挙動を司る回路を形成するかという理解には限界があります。さらに、既存のセキュリティフレームワークは外部的な防御に依存していることが多く、適応的な攻撃戦略によってバイパスされる可能性があるため、内部メカニズムを検証するアプローチの必要性が高まっています。

手法
本研究では、Qwen3-4Bモデルにおける欺瞞的挙動を分析するために、トランスコーダー、特に**層別トランスコーダー（Per-Layer Transcoders: PLT）**の使用を調査します。活性化の再構成を最適化するSAEや、生の活性化を分析する直接的なプロービングとは異なり、PLTはMLPブロックをエンコーダー・デコーダー構造に置き換えます。これにより、モデルの因果的な変換を保持しながら、機能的な入出力挙動を近似し、層を横断した特徴量の抽出と依存関係の追跡を可能にします。

研究では以下の手法を用いました：

1. データセット構築: 秘密鍵と、欺瞞に関連する形容詞（例：「プライベートな」、「隠された」）を含む文章テンプレートを組み合わせることで、プロンプトデータセット（$n=100$）を生成しました。
2. 特徴量の特定: 各プロンプトに対して属性グラフ（attribution graph）を構築し、層を越えた特徴量の変換を可視化しました。研究者は、欺瞞的概念（例：「機密の」）に関連するシードトークンから後続の特徴量へのエッジを手動で追跡し、否定、隠蔽、および秘密に関連する特徴量を特定しました。
3. 特徴量ステアリングによる検証: 関連性を検証するため、特定された特徴量に対して**特徴量ステアリング（feature steering）**を実施しました。正のステアリング（$x + \alpha x$）と負のステアリング（$x - \alpha x$, ここで $\alpha=5$）を適用しました。ステアリングによってモデルの出力に予測可能な反転（例：非欺瞞的なプロンプトが欺瞞的になる、あるいはその逆）が生じた場合、その特徴量を「欺瞞特徴量」と分類しました。このプロセスにより、112個の欺瞞関連特徴量の辞書が得られました。
4. 回路分析: 最も頻繁に出現する上位10個の欺瞞特徴量を分析し、回路グラフを構築しました。特徴量の相互作用のネットワークをマッピングするため、プロンプトの少なくとも30%に現れる接続を保持しました。
5. 有意性テスト: ターゲットとなる特徴量グループの性能を、ターゲット特徴量を除外してランダムにサンプリングされたコントロールグループから生成された帰無分布と比較し、統計的有意性を確立しました。

主な貢献と結果

• 欺瞞特徴量の辞書: 本研究は、Qwen3-4B内に112個の一意な欺瞞関連特徴量を特定しました。分析の結果、多数の異なる特徴量が存在するにもかかわらず、欺瞞的挙動は少数の繰り返されるサブセットに強く依存していることが明らかになりました。上位10個の特徴量は、評価されたプロンプトの55%から95%において一貫して出現しました。
• ステアリングによる予測可能な挙動の変化: 特徴量ステアリングの実験により、特定されたこれらの特徴量を操作することがモデルの出力に強い影響を与えることが示されました。
  • 負のステアリング: 上位10個の特徴量に負のステアリングを適用したところ、欺瞞的なプロンプトの**100%**が非欺瞞的な応答へと変化しました。偽陽性（すなわち、非欺瞞的なプロンプトが欺瞞的になること）は発生しませんでした。
  • 正のステアリング: 正のステアリングを適用すると、非欺瞞的なプロンプトの21%が欺瞞的になりました。逆に、欺瞞的なプロンプトに適用した場合、50%が非欺明的な出力へと変化しました。
  • 統計分析により、これらの変化はコントロールグループと比較して有意であることが確認されました（$P < 0.001$）。
• 回路レベルの洞察: 上位10個の特徴量は正の接続のネットワークを形成しており、これは欺瞞が孤立した活性化ではなく、特定の相互作用する特徴量のクラスターから発生することを示唆しています。本研究はこれらの依存関係の追跡に成功し、「コア欺瞞特徴量」が回路内のクリティカルな入力ノードとして機能することを特定しました。

意義と主張
本論文は、言語モデルにおける欺瞞は、トランスコーダーを用いて分離および分析可能な内部モデルメカニズムから発生するということを主張しています。出力ベースの評価を超えて、本研究はトランスコーダーが**回路レベルの属性付け（circuit-level attribution）**を可能にし、特定の機能が層を越えてどのように相互作用して複雑な挙動を生み出すかを追跡できることを実証しています。

これらの知見は、挙動モニタリングおよび悪意のある挙動に関連するセキュリティ脆弱性の早期検知に対するトランスコーダーの可能性を浮き彫りにしています。欺瞞を司る特定の内部回路を特定し操作できる能力は、単に出力をフィルタリングするのではなく、不安全な挙動の根本原因に対処する、より堅牢なAI安全性対策への道筋を示唆しています。本研究は、ネットワーク内の特徴量の相互作用からどのように挙動が発生するかを忠実に表現する手段として、メカニスティック・インタープリタビリティの安全性コンテキストにおける優れたツールとしてトランスコーダーを位置付けています。