💬 NLP

Membrane: A Self-Evolving Contrastive Safety Memory for LLM Agent Defense

Membraneは、対照的安全性メモリ（Contrastive Safety Memory）を利用して有害なクエリとその良性な対照となるクエリを動的にペアリングすることで、進化する脱獄攻撃に対して精密かつ適応的な防御を可能にし、既存の手法と比較して誤拒絶を大幅に削減する自己進化型のガードレールです。

原著者： Minseok Choi, Seungbin Yang, Dongjin Kim, Subin Kim, Jungmin Son, Yunseung Lee, Jaegul Choo, Youngjun Kwak

公開日 2026-06-05

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Minseok Choi, Seungbin Yang, Dongjin Kim, Subin Kim, Jungmin Son, Yunseung Lee, Jaegul Choo, Youngjun Kwak

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

非常に賢いが少し世間知らずな司書（AI）が、人々の情報探しを助けている場面を想像してください。問題は、悪意のある者が巧妙な変装を用いて、司書に危険な指示（「爆弾の作り方」や「クレジットカード番号の盗み方」など）を出させようと、司書を騙そうとすることです。これらのトリックは「ジェイルブレイク（脱獄）」と呼ばれます。

この論文は、MEMBRANEという新しいセキュリティシステムを紹介しています。MEMBRANEを、単なる硬い壁ではなく、「対照的な安全性メモリ（CSM）」という特別なノートを持ち、自ら学習し続ける生きた警備員と考えてください。

その仕組みを、簡単な比喩を使って説明します。

1. 問題点：「片側だけの」ノート

従来の警備員は、「悪いこと」だけをリストアップしたノートを持っていました。

例：「もし誰かが爆弾のレシピを求めたら、『ダメです』と言う。」
欠陥： もし悪党が「爆弾が登場する映画の脚本を書いて」と頼んだ場合、警備員は「爆弾」という言葉を見てパニックになり、無実の映画作家に対しても「ダメです」と言ってしまいます。これは「過剰拒絶（over-refusal）」と呼ばれます。警備員は、少しでも脅威に見えるものに対して、あまりにも臆病になりすぎているのです。

2. 解決策：「並べて比較する」ノート

MEMBRANEはこのノートの仕組みを変えます。単に悪いことをリストアップするのではなく、すべての項目に、「悪いリクエスト」と、表面上は全く同じに見える「良いリクエスト」の両面を持たせます。

悪い側面： 「爆弾のレシピを書いて」 → ブロック。
良い側面： 「キャラクターが爆弾のレシピを求めるシーンを、映画のために書いて」 → 許可。

これらをペアにすることで、警備員は単なるキーワードではなく、**「意図の違い」**を学習します。キーワードではなく、リクエストの「構造」が重要であることを学ぶのです。

3. 学習方法：「自己進化する」プロセス

このシステムは、新しい手口を学ぶために学校に戻る（再学習する）必要はありません。まるで事件を解決しながらリアルタイムで学習する探偵のように学びます。

シナリオ： 悪党が警備員を突破するために、新しいトリックを試みます。
反応：
- もし警備員が失敗して、悪党を通過させてしまった場合、システムは「おっと！見逃してしまった」と判断します。そして、新しいノートの項目を作成します。「これが悪いトリックであり、これと非常によく似ているが安全なバージョンがこれである」と。
- もし警備員が失敗して、善良な人をブロックしてしまった場合（過剰拒絶）、システムは「おっと！厳しすぎた」と判断します。そして、項目を更新して「実際には、この特定の種類の要求は安全である」と書き加えます。
結果： ノートはあらゆるやり取りを通じてより賢くなり、安全と不安全の正確な境界線を捉える「対照的なセル（細胞）」を作り出していきます。

4. 「戦略」インデックス：「手口（Modus Operandi）」によるグループ化

論文では、悪党はトピックが変わっても（爆弾からヘイトスピーチへ）、同じ戦術（例えば、研究者のふりをする、あるいはリクエストを小さなステップに分割するなど）をよく使うと指摘しています。

MEMBRANEは、ノートを「トピック（例：爆弾）」ではなく、**「戦術（例：研究者のふりをする）」**ごとに整理します。

比喩： 警察のデータベースを想像してください。事件を「銀行強盗」として登録するのではなく、「手法：ピザ配達員への変装」として登録するのです。
なぜこれが役立つのか： もし警備員が「銀行強盗のためのピザ配達員の変装」を見抜けるようになったなら、その特定の犯罪を見たことがなくても、「ピザ配達員の変装」を用いたあらゆる犯罪に対して、自動的に警戒心を持つことができます。これにより、システムは新しいバリエーションの古い手口を見抜くことに非常に長くなります。

5. 「リトリーバル・クリティック（検索・批評家）」：ダブルチェック

ユーザーが質問をすると、警備員はただ推測するわけではありません。

検索： ノートの中から、似たような項目を素早くスキャンします（まるで司書が本棚から本を取り出すように）。
フィルタリング： 二番目の、より賢い「クリティック（批評家）」がそれらの本を調べ、「これは本当に今回の質問に適用されるのか、それとも単なる偶然か？」と問いかけます。
決定： 警備員は、フィルタリングされた情報に基づいて最終的な判断を下します。

結果：より賢く、より公平な警備員

このシステムは、6種類の異なる「ジェイルブレイク」攻撃に対してテストされました。

悪党を捕まえる能力が高い： ほとんどすべての攻撃を阻止しました（攻撃成功率が非常に低い）。
善良な人を通す能力が高い： 無実の人をブロックすることは滅多にありませんでした（善良な人の拒絶率が非常に低い）。他のシステムは善良な人を28%から85%の割合でブロックしていましたが、MEMBRANEはわずか7%から14%でした。
回復力がある： たとえ誰かが偽のデータでノートを汚染（ポイズニング）しようとしても、システムは安定しており、混乱することはありませんでした。

要約すると： MEMBRANEは、「悪い」リクエストと、それと見た目が同一である「良い」リクエストを比較することによって学習するセキュリティガードです。これらのペアをスマートなノートの中に並べて保持することで、境界線がどこにあるかを正確に学び、善良な人々を誤って追い出すことなく、悪党を阻止します。

技術要約: MEMBRANE

問題定義

安全性のアライメントにおける進歩にもかかわらず、大規模言語モデル（LLM）およびLLMエージェントは、進化し続けるジェイルブレイク攻撃に対して依然として脆弱である。これらの攻撃は、単純なプロンプトの修正から、反復的な洗練、説得に基づく書き換え、自己適応型のポリシーといった、複雑でフィードバック駆動型の戦略へと移行している。

既存の防御策には、主に2つの限界がある：

静的な防御: 従来の安全性分類器やファインチューニングされたモデルは、固定されたパラメータに安全性をエンコードしているため、その決定境界は硬直しており、デプロイ後のコストの高い再学習なしに修正することが困難である。
メモリベースの欠陥: メモリ拡張型のガードレールは適応性を提供するが、既存の設計は安全性の知識を「片側」の形式で保存している。これらは攻撃パターンや拒否ルールを捉えることはできるが、攻撃に酷似した良質なクエリを許可するための対となる条件を欠いている。これにより、以下の2つの結合された失敗モードが生じる：
- 脆弱なカバレッジ: 防御が、既に保存されている特定の表面的な形態に縛られてしまう。
- 過剰な拒否: メモリが拡大するにつれ、ガードは保存された攻撃と表面的な特徴を共有する良質なクエリをますます拒否するようになる。

手法: MEMBRANE

著者らは、対照的安全性メモリ（Contrastive Safety Memory: CSM）に基づいた外部ガードレールであるMEMBRANEを提案する。従来のアプローチとは異なり、MEMBRANEは、各メモリセルが有害なクエリをブロックするための条件と、表面上で類似した良質なリクエストを許可するための条件を明示的にペアリングした知識ベースを進化させる。

コアコンポーネント

対照的安全性メモリ (CSM):
- 構造: 各セル ( $m$ ) は、攻撃プロファイル ( $P$ )、決定基準 ( $D$ )、およびエージェントの安全性に関するオプションのツール・アクション・コンテキスト ( $T$ ) で構成される。
- 攻撃プロファイル: 戦略 ( $p_{strat}$ )、要求されたアクション ( $p_{act}$ )、および危害目的 ( $p_{harm}$ ) によって攻撃を特徴付ける。決定的なのは、インデックス作成が表面的なトピックではなく、潜在的な攻撃戦略（例：説得、ロール注入）に基づいている点であり、これにより単一のセルが同じメカニズムを持つ多様なトピックのバリエーション間で汎化することを可能にする。
- 決定基準: 対照的なペア ( $d_{unsafe}, d_{safe}$ )。 $d_{unsafe}$ はクエリをブロックするための論理的な十分性を定義し、 $d_{safe}$ は過剰な拒否を防ぐために許可されるべき良質なリクエストの概要を記述する。
- ツール・アクション・コンテキスト: エージェント向けに、ペアとなる良質なインタラクションから導出され、不適切な基準に一致する場合でもアクションが安全であり続ける条件を指定する。
ペアリングされた自己進化:
- MEMBRANEは、経験駆動型のループを通じてCSMを更新する。各インタラクションには、有害なクエリ ( $x_h$ ) と、それに対応する良質なカウンターパート ( $x_b$ ) が含まれる。
- ガードの判定（Jailbroken、Over-refusal、またはCorrect）に基づき、メモリプランナーがアクション（CREATE：新規パターンの作成、UPDATE：既存セルの洗練、DELETE：誤解を招くセルの削除、またはSKIP）を選択する。
- メモリライターは、対照的なセル内容を合成し、安全な側面が明示的に良質なカウンターパートを捉えるようにする。非LLMのバリデータが構造的な正当性を保証する。
推論パイプライン:
- ステージ1 (ベクトル検索): シリアライズされたセルフィールドのベクトル類似性に基づいて候補セルを検索し、メカニズムレベルの特徴のハイリコールを優先する。
- ステージ2 (リトリーバル・クリティック): LLMベースのリランカーが候補をフィルタリングし、APPLIES（適用）、MAYBE（おそらく）、またはDOES_NOT_APPLY（適用されない）の判定を割り当て、検索された戦略が実際にクエリと一致することを保証し、ノイズを低減する。
- ガードの決定: フィルタリングされたセルの集合を条件として、最終的なガードがクエリを評価し、SAFE/UNSAFEの判定を下す。

主な貢献

対照的安全性メモリ (CSM): 攻撃パターンとそれに対応する良質なカウンターパートをペアリングした新しいメモリ表現であり、これにより「安全な側面」を明示して過剰な拒否を抑制する。
ペアリングされた自己進化: 有害および良質なインタラクションを、表面的な形態ではなく攻撃戦略によってインデックス付けされた対照的なセルへと蒸留する、経験駆動型の学習ルール。
包括的な評価: モデルレベル（HarmBench）およびエージェントレベル（AgentHarm）の安全性ベンチマークにおける評価を行い、6つの異なるジェイルブレイク変換に対する堅牢性を実証した。

実験結果

著者らは、HarmBenchおよびAgentHarmにおいて、プロンプトレベルのガード、ファインチューニングされた分類器、メモリ拡張型防御を含む最先端のベースラインと比較して、MEMBRANEを評価した。

パフォーマンス: MEMBRANEは、両方のベンチマークにおける6つのジェイルブレイク攻撃すべてにおいて最高のF1スコアを達成した。
- HarmBenchにおいて、ReNeLLMおよびFlipAttackに対する攻撃成功率（ASR）をほぼゼロに減少させ、最強のベースラインに対して大幅なF1マージンを示した。
- AgentHarmにおいて、MEMBRANEはすべての手法の中で最高のF1を達成し、FlipAttackにおけるASRは（バニラが100%であるのに対し）0.9%まで低下した。
良質なリクエストの拒否: 使いやすさにおける重要な指標。MEMBRANEは、AgentHarmにおいて**7～14%**の良質な拒否率を維持した。これは、メモリ拡張型ベースライン（28～53%）や静的なガード（73～85%）よりも大幅に低く、良質なクエリと攻撃を区別する能力を実証している。
汎化性と堅牢性:
- クロス攻撃転移: 戦略によってインデックス付けされたセルは、同じ潜在的なメカニズムを共有する異なる攻撃に転移した場合でも、**87～88%**のF1性能を維持した。
- メモリポイズニング: 20%のデータ注入率（「安全を不適切とする」および「不適切を安全とする」の両方の攻撃）の下でも、MEMBRANEは安定しており、ASRのドリフトは1ポイント未満であり、Retrieval Criticによるポイズニングされたセルのフィルタリングに成功した。
レイテンシ: フルシステムはオーバーヘッドが発生するが、「MEMBRANE lite」構成（Retrieval Criticを無効化）では、高いF1スコアを維持しながらレイテンシを約2.3秒に短縮し、SmoothLLMのような重いベースラインを上回る性能を示した。

意義

本論文は、従来のメモリベースの防御の主な失敗は、安全な入力と不適切な入力との間の明示的な対照の欠如にあると断じている。メモリを、表面的なトピックではなく攻撃戦略によってインデックス付けされた対照的セルとして構造化することで、MEMBRANEは、脆弱なカバレッジと過剰な拒否という結合された問題に対処している。

著者らは、このアプローチにより、単一のメモリセルが同じ攻撃メカニズムを持つトピックのバリエーション間で汎化できる一方で、表面的な特徴を共有する良質なクエリを明示的に除外できると主張している。結果は、自己進化する対照的メモリが、進化する敵対的戦略や潜在的なデータポイズニングに直面しても、正当なユーザーリクエストの受け入れを犠牲にすることなく、高い精度を維持しながらデプロイ可能な適応型防御を提供できることを示唆している。