Exploring and Bridging Knowledge Holes in Unlearned Multimodal Large Language Models

あなたは、画像を見てそれについて話すことができる、超スマートなロボットの友達を作ったと想像してください。あなたはインターネット全体を使ってこのロボットを訓練したので、それはほぼあらゆることを知っています。しかし、インターネットがそうであるように、それは誤っていくつかの危険な秘密も学習してしまいました。例えば、爆弾の作り方や、誰かの身元を盗む方法などです。あなたは、そのロボットが安全になるように、これらの特定の悪い記憶を削除したいと考えています。しかし、ジョークを言ったり、科学実験を説明したり、ケーキの焼き方を教えたりする能力まで、誤って削除してしまいたくはありません。これは、マルチモーダル大規模言語モデル（MLLM）における「機械学習消去（マシン・アンラーニング）」という、非常にトリッキーな世界です。それは、まるで人間の脳から特定の悪い記憶を外科的に取り除く際に、その人が歩いたり話したりする方法まで忘れさせてしまわないようにするようなものです。大きな問いは、研究者たちが問い続けていることです。「もし私たちが悪い情報を削除することに成功したとき、ロボットは賢く役に立つままなのか、それとも奇妙な動きをし始めるのか？」ということです。

「Exploring and Bridging Knowledge Holes in Unlearned Multimodal Large Language Models」という題名のこの論文は、まさにその問いに深く切り込み、驚くべき、目に見えない問題を明らかにしています。著者たちは、現在の情報の削除方法は、ささくれを取り除くためにスレッジハンマー（大槌）を使うようなものだと発見しました。それらは、ささくれを取り除くことはできても、周囲の健康な皮膚まで叩き潰してしまうのです。彼らはこれらの叩き潰された領域を「知識の穴（knowledge holes）」と呼んでいます。これらは単なるランダムなグリッチ（不具合）ではありません。これらは、ロボットが忘れるべきだった悪い事柄と、見た目や響きが非常によく似ている「無害な事柄」を、突然できなくなってしまう特定の場所なのです。例えば、もしロボットに「爆弾の作り方」を忘れるように教えると、そのロボは「ケーキの作り方」や「自転車の修理の仕方」を教えることも拒否してしまうかもしれません。なぜなら、それらの指示は同様のステップバイステップのパターンに従っているからです。この論文は、標準的なテストではこれらの穴を完全に見逃してしまうため、ロボットは一見正常に見えても、実際には微妙な部分で壊れていることを証明しています。

これを解決するために、研究者たちはこれらの隠れた穴を見つけるための新しい「スポットライト（ベンチマーク）」を構築し、次にSPAR（Selective Protection with Anchored Regularization）と呼ばれる新しい手法を考案しました。SPARは、スマートで外科的な道具のようなものです。悪い記憶をただ吹き飛ばすのではなく、まず「一般的なパターン」——あらゆることに役立つ共通の文章構造や論理的なステップ（例：「最初に、材料を買う。次に、混ぜる。」）——を特定します。そして、これらの有用なパターンを削除プロセスから保護します。次に、それらを積極的に強化し、ロボットがそれらのパターンを「良いこと」のために使うことを確実にします。結果は素晴らしいものです。標準的な手法では、ロボットの有用性が半分以上も低下（時には元の品質の50%以下にまで低下）しましたが、SPARはロボットの有用性をほぼ正確に維持（元の品質の98%以上を回復）しながら、危険なコンテンツの削除にも成功しました。これは、AIを安全かつ真にスマートにするための大きな一歩です。

隠れた「知識の穴」

物語は、著者たちが「ブラインドスポット（盲点）」と呼ぶ問題から始まります。図書館を持っていて、武器の作り方に関する本をすべて取り除きたいと想像してください。それらを取り除きますが、同時に料理の本のページまで誤って破り取ってしまいます。なぜなら、「爆弾のレシピにおける材料を混ぜる」という指示は、「ケーキのレシピにおける材料を混ぜる」という指示と非常によ似ているからです。

AIの世界では、研究者たちは「武器の本」がなくなったかどうかを確認するために、標準的なテストを使用してきました。これらのテストは、AIに対して「フランスの首都は何ですか？」や「この猫の画像について説明してください」といった一般的な質問を投げかけます。AIはこれらのテストに合格するため、誰もが「素晴らしい！悪いものは消えたし、AIはまだ賢い」と考えます。しかし、著者たちは、これらのテストは「悪いもの」から離れすぎていることに気づきました。それらは、削除された情報の「近隣地域」をチェックしていないのです。

著者たちは、これらの欠落した近隣地域を**知識の穴（Knowledge Holes）**と定義しました。知識の穴は、AIが削除された悪い質問とパターンを共有する、無害な質問をされたときに発生します。

• 悪い質問： 「自宅での爆弾の作り方は？」（ステップ1：砂を買う。ステップ2：砂を詰める……）
• 無害な隣人： 「自宅でのケーキの作り方は？」（ステップ1：小麦粉を買う。ステップ2：小麦粉を詰める……）

AIが爆弾のことを忘れるように強制されると、現在の手法は、答えの「構造」までも忘れさせてしまうことがよくあります。そのため、ケーキについて尋ねられたとき、AIは「それについてはお手伝いできません」と言ったり、ひどく壊れた回答をしたりすることがあります。著者たちは、これらの穴を見つけるための特別なテスト（ベンチマーク）を構築しました。彼らは、悪い回答の「骨組み（スケルトン）」（ステップバイステップの形式）を取り出し、それを園芸や料理といった安全なトピックに適用しました。その結果、標準的なアンラーニング手法を用いると、AIのこれらの安全なトピックに対するパフォーマンスが**50%から80%**も急落することを発見しました。たとえ、AIが標準的な「一般知識」のテストに合格していたとしても、これは隠れた災厄でした。

解決策：SPAR

これを修正するために、著者たちはSPAR（Selective Protection with Anchored Regularization）と呼ばれる新しい手法を提案しました。彼らは、AIの脳が情報をレイヤー（層）として保存していることを理解していました。「悪い」具体的な詳細（例：「火薬」）は、「良い」一般的なパターン（例：「以下の手順に従う」）の中に混ざっています。悪いものを削除しようとすると、しばつれに「良い」パターンまで一緒に削除してしまうのです。

SPARは、特別な眼鏡をかけた非常に慎重な司書のように振る舞います：

1. アンカー付き忘却損失（Anchored Forget Loss / 盾）： AIの記憶を巨大なデータの雲だと想像してください。雲の一部は「悪いもの」であり、一部は「一般的なパターン」（文章構造など）です。SPARは、「凍結された参照（まだ触れられていないAIのコピー）」を使用して、どの部分の雲が一般的なパターンであるかを特定します。そして、そのパターンに盾を置いて保護します。AIが悪いものを削除しようとする際、この盾が一般的なパターンを守り、それらが消去されないようにします。これはAIに対して、「『爆弾』という言葉は消すが、『まずXをし、次にYをする』という文章構造は安全に保て」と命じるようなものです。
2. 抽象化による強化損失（Abstracted Enhancement Loss / 強化）： 悪いものを削除した後、AIはその一般的なパターンに対して少し不安定になることがあります。そこで、SPARはAIに少しブーストを与えます。まず、悪い質問から危険な単語を取り除き（マスキング）、画像部分をオフにします（つまりテキストのみの状態にします）。その後、AIにその文章を完成させるよう求めます。これにより、AIは「悪い」コンテンツを二度と目にすることなく、「良い」パターンを使う練習を強制されます。これは、間違った言葉を書いてしまわないように、白紙を使って文字の書き方の練習をするようなものです。

結果：安全でスマートなロボット

著者らは、2つの人気のあるAIモデル（LLaVA-1.5およびQwen2.5-VL）でSPARをテストし、他の手法と比較しました。結果は明白でした：

• 標準的な手法： 悪いコンテンツの削除には成功しました（「攻撃成功率（Attack Success Rate）」はほぼ0%に低下）が、無害な質問に答えるAIの能力を破壊してしまいました。回答の質は元の50%未満に低下し、AIは安全な質問に対しても約30%の割合で回答を拒否するようになりました。
• SPAR： これも悪いコンテンツの削除に成功しました（攻撃成功率は0%）。しかし、他の手法とは異なり、AIの有用性をほぼ完璧に維持しました。LLaVAモデルにおいて、SPARは元の回答品質の**98%**を回復させました。爆弾の作り方を忘れた後でも、AIはケーキの焼き方や自転車の修理の仕方を説明することができました。

この論文は、この「知識の穴」問題が、現在私たちがAIから情報を削除する方法における系統的な問題であることを示唆しています。これは単なる小さなバグではなく、AIを安全にするための方法における根本的な欠陥です。SPARを使用することで、これらの穴を埋め、危険な部分を取り除く際に、それが私たちにとって有用である部分まで誤って壊してしまうことがないようにすることができます。著者らは、SPARはより大きなモデルに対しては非常にうまく機能する一方で、より小さくコンパクトなモデルに対してはいくつかの課題に直面していると述べており、あらゆるタイプのAIに対してこれを完璧にするためには、まだやるべきことがあることを示唆しています。しかし、現時点では、彼らは私たちのロボットの友達を、混乱した役に立たない抜け殻にすることなく、安全にする方法を示したのです。