Open Technical Problems in Open-Weight AI Model Risk Management

人工知能の世界を、巨大で賑やかな図書館だと想像してみてください。長い間、この図書館の中で最も強力な本は、数社の巨大企業によってガラスケースの中に保管され、鍵がかけられていました。あなたはそれらを読むことはできましたが、家に持ち帰ることはできず、ましてやページを破ったり章を書き換えたりすることも決してできませんでした。これらが「クローズドウェイト（重み固定型）」モデルです。しかし最近、新しいトレンドが爆発的に普及しています。「オープンウェイト」モデルです。これらは、図書館の最も強力な本のデジタルコピーのようなもので、誰でもダウンロードし、自宅に持ち帰り、永遠に保持することができます。最も素晴らしい点は、それらをコピーしたり、切り貼りしたり、あるいは新しいことをさせるためにテキストを書き換えたりすることさえできる点です。これは、素晴らしい新しいツールを構築しようとする研究者や発明家にとって、非常にエキサイティングなことです。

しかし、そこには落とし穴があります。全員に本のコピーを渡し、自由に書き換えを許すと、コントロールを失ってしまうのです。もし誰かがそのバージョンの中に危険な物語を書いたとしても、それを世界中に広めることを止める術はありません。鍵のかかった本とは異なり、司書を呼んでその危険なバージョンを回収してもらうことはできません。一度外に出てしまったら、もう終わりなのです。大学や安全機関の専門家チームによって執筆されたこの論文は、ある重要な問いを投げかけています。「本を誰でも書き換えられる状態にしても、どうすればこのオープンな図書館の安全を守れるのか？」 彼らは図書館を再び閉鎖しようとしているのではありません。そうではなく、本が書き換えられても安全であり続けるような、新しい種類の「魔法のインク」や「警備員」を発明しようとしているのです。彼らは、誰もが利用できるオープンさと、武器に変えられることに抵抗できる強靭さを兼ね備えたAIをどのように構築するかを解明しようとしています。

大きな問題：止まらないコピーマシン

著者たちは、オープンウェイトAIモデルが驚異的な力を増しており、時には大企業が秘匿している超極秘モデルからわずか6〜12ヶ月遅れているだけであることを説明しています。問題は、クローズドなモデルであれば、挙動がおかしくなった場合に修正したり回収したりできるのに対し、オープンなモデルはデジタルウイルスのようなものであるという点です。一度誰かがダウンロードしてしまえば、それは改変され、共有され、永遠に拡散されてしまいます。

クローズドなモデルをスマートフォンアプリに例えてみましょう。もしアプリにユーザーの写真を盗むバグがあったとしても、会社はそれを修正するアップデートを配信したり、アプリストアから削除したりできます。しかし、オープンウェイトモデルはケーキのレシピのようなものです。もしレシピの中に危険な材料を見つけたとしても、すでにそのレシピを持っている人たちがケーキを焼くのを止めることはできません。さらに悪いことに、誰かがそのレシピに「毒」となる成分（例えば、人を傷つけるための隠された指示など）を加え、その新しい危険なレシピを何百万人もの人々に共有することも可能です。元の製作者には、これを止める方法はありません。

この論文は、不適切な言葉をブロックするフィルターのような現在の安全ツールが、オープンなモデルに対しては無力であることを指摘しています。なぜでしょうか？ レシピ（モデルのコード）さえ手に入れれば、フィルターをただ消去できてしまうからです。それは、キッチンカウンターに「食べないでください」という看板を置くことで、誰かがケーキを焼くのを止めようとするようなものです。もし彼らがキッチン全体を所有しているなら、その看板を無視することなど容易なのです。

16の課題：ワイルド・ウエストのためのツールキット

この論文は単に問題を指摘するだけでなく、科学者が安全なAIを実現するために解決すべき16の具体的な技術的課題を提示しています。彼らはこれらを、AIモデルを構築する工場の異なるステーションのように、5つの主要なカテゴリーに分類しています。

1. 材料（学習データのキュレーション）
AIが学習する前、それは膨大なデータ、「学生が何百万冊もの本を読むこと」のようなプロセスを経て知識を吸収します。最初の課題は、「どうすれば学生が悪い本を読まないようにできるか？」です。
著者たちは、AIが学習を開始する前に、危険な情報（爆弾の作り方や違法な画像の生成方法など）をフィルタリングしておけば、AIがそもそもそのような悪い手口を学ぶことはないかもしれないと示唆しています。それは、子供に「悪いことをした後で優しくすることを教える」のではなく、「優しさに関する本だけを与えることで、優しい子に育てる」ようなものです。しかし、論文ではこれが困難であることも指摘しています。特定のトピックを取り除くことが、意図せずAIの他の能力を低下させたり、あるいはAIが潔白に見える手がかりから悪いことを学習してしまう可能性があるからです。

2. 不壊の鎧（耐タンパー学習）
たとえ安全なAIから始めたとしても、誰かが後から「ファインチューニング（微調整）」を行い、悪い手口を教え込もうとするかもしれません。第二の課題は、「たとえ誰かが強制しようとしても、悪い手口を拒絶するAIをどう作るか？」です。
犬に噛み付くことを教えようとしても、その犬があまりにも訓練されすぎていて、物理的にその命令を学習できない状況を想像してください。論文によれば、現在の手法は脆弱です。もし誰かが安全なAIを危険なものへと再学習させようとした場合、通常はわずか数百ステップでそれができてしまいます。著者たちは、たとえ誰かがハッキングを試みても、AIが安全であり続けるような「免疫」を持たせる方法を見つけたいと考えています。また、AIが学んでしまった特定の悪いことを「忘れさせる（アンラーニング）」方法についても探っていますが、現在の手法は簡単に逆転されてしまいます。

3. ストレス・テスト（モデル・タンパリング評価）
新しいAIをリリースする前に、私たちはテストを行う必要があります。第三の課題は、「誰かがハッキングしようとしたときに、そのAIが壊されるかどうかをどうテストするか？」です。
現在、ほとんどのテストはAIに通常の質問をするだけです。著者たちは、「レッドチーム」と呼ばれる、あらゆる方法でAIを壊そうとするハッカー集団を雇う必要があると言います。彼らは、「ヘルプフル（役に立つ）なAIを有害なものに変えるのに、どれほどのステップが必要か？」「コストはいくらかかるのか？」を知りたいと考えています。論文では、こうしたテストがまだ十分に存在しないことが判明しています。モデルをリリースする前に修正できるよう、これらのモデルを壊すのがどれほど容易かを正確に知る必要があるのです。

4. 段階的な展開（ステージド・デプロイメント）
新しいAIを一度に世界へ放り出すのではなく、第四の課題として、「段階的にリリースして何が起こるかを観察できるか？」という問いがあります。
新しいビデオゲームを想像してください。開発者は、全員にすぐにプレイさせるのではなく、まず少数のテスターにプレイさせます。もしバグが見つかれば、世界中に広まる前に修正できます。著者たちは、これをAIで行うことを提案しています。信頼できる研究者たちにまずモデルを使わせ、彼らがどのように使うかを観察し、安全であると確信できてから一般に公開するという方法です。また、「スプリット・デプロイメント（分割展開）」のような技術的トリックについても検討しています。これは、AIの一部はあなたのコンピュータで動作し、残りの部分は安全なサーバーで動作するようにすることで、丸ごと盗み取ることを困難にする手法です。

5. 探偵の仕事（モデルのプロベナンスとフォレンジック）
最後に、AIが世に放たれた後、第五の課題として、「特定のAIがどこから来たのか、どのような変更が加えられたのかをどうやって知るのか？」という問題があります。
もしインターネット上で危険なAIモデルを見つけたとき、それが誰によって作られたのかをどうやって特定するのでしょうか？ 著者たちは、モデルのコードに不可視のデジタル指紋である「ウォーターマーク（電子透密）」を埋め込むことを提案しています。もし誰かがモデルを変更しようとしても、その指紋は残るはずですし、少なくともモデルの「家系図」を辿ることで、誰が修正を加えたのかを追跡できるはずです。これにより、研究者は危険なモデルがどのように拡散しているのか、そして誰に責任があるのかを追跡することができます。

論文が明らかにしたこと（および明らかにできなかったこと）

著者たちは、2025年にリリースされた最も人気のあるトップ10のオープンAIモデル、およびいくつかの有名な画像・動画生成器のテクニカルレポートを調査しました。その結果、懸念すべきギャップが見つかりました。

• データクリーニング： ほとんどの企業は、データのクリーニング（学習前に悪いものを取り除くこと）について少し触れてはいますが、一部の企業は1段落程度、中には一節を割いているところもありますが、多くはほとんど言及していませんでした。
• 欠落しているピース： モデルを改変に対する耐性を持たせることについて、ほとんどの企業が言及していませんでした。トップモデルの中で、「アンラーニング」アルゴリズムや「耐タンパー（改ざん防止）」学習について記述していたものは皆無でした。モデルを壊すのがどれほど難しいかをテストするための専用の論文を持っていたのは、わずか一つのモデル（gpt-oss）だけでした。
• 沈黙： 最大規模のモデルのレポートにおいて、「段階的な展開」や「プロベナンス（モデルの履歴追跡）」についての言及はほとんどありませんでした。

論文は、この沈黙は3つの可能性のいずれかを示唆していると述べています。すなわち、これらの安全技術がまだ使われていないのか、あるいは使われているが語られていないのか、もしくは、単にまだ十分に機能していないのか、のいずれかです。著者たちは、単にモデルをリリースするだけでなく、それをいかに安全に保つかについての厳格な科学を構築する必要があると主張しています。

結論

この論文は、行動への呼びかけです。オープンなAIは素晴らしいものであり、多大な利益をもたらしますが、私たちは現在、悪意のあるアクターから安全を守る方法に関して、目隠しをして飛行しているような状態にあると述べています。企業の善意だけに頼ることはできません。AI自体を壊れにくくするための、新しい数学的ツールを発明する必要があるのです。

著者たちは、希望を持ちつつも現実的です。彼らは問題を解決したと主張しているわけではありません。代わりに、彼らは領域をマッピングし、私たちの鎧のどこに穴が開いているのかを明確に示しました。彼らは、安全なAIの未来は「オープンさ」にかかっていると考えています。それは単にコードを共有することではなく、研究、手法、そして失敗を共有することです。もし私たちが協力してこれらの新しい防御策を築くことができれば、図書館をオープンかつ安全に保つことができるでしょう。しかし、もしそうでなければ、これらのモデルの危険なバージョンは、私たちが食い止めるよりも速く拡散してしまうことになるのです。