APrivacy-Preserving Architecture for On-Device Intelligent Computing Using a Small Language Model with Input and Output Guardrails: Prototype Implementation and Preliminary Evaluation

現代社会において、私たちはしばしば、強力な人工知能を使ってメールを書いたり、問題を解決したり、質問に答えさせたりと、コンピュータに思考を委ねることがあります。これらのスマートなシステムの多くはクラウド上に存在しており、つまり、あなたの言葉はインターネットを経由して遠く離れたサーバーへと送られ、そこで処理されます。これは非常に便利ではありますが、ある静かな懸念を生んでいます。メールアドレスや電話番号といった個人的な詳細を打ち込むたびに、その情報はあなたのデバイスを離れ、他人のシステムへと入り込んでしまうのです。これを解決するために、研究者たちは、自身のコンピュータやスマートフォン上で直接動作できる、より小さくコンパクトな思考マシンのバージョンを開発してきました。これにより、データはあなたのデバイス内に留まり、本来あるべき場所に保持されます。しかし、コンピュータがローカル（手元）にあるからといって、必ずしも安全であるとは限りません。「プロンプト・インジェクション」として知られる巧妙なトリックを用いることで、機械を欺いてルールを無視させたり、秘密を暴露させたりすることが依然として可能です。そして、機械は隠しておくべきであったはずのプライベートな情報を、うっかりと吐き出してしまうかもしれません。したがって、課題は、ローカルで動作しながらも、入力されるものと出力されるものを厳格にチェックする「警戒心の強い番人」として機能するシステムを構築することにあります。

インドのサンジヴァニ大学のハルシャル・ガデカル（Harshal Gadekar）という研究者は、まさにこのアイデアをテストするための動作するプロトタイプを構築しました。彼は、Ollamaというツールを使用してプロセスを管理しながら、Phi-3 Miniと呼ばれる小型言語モデルをローカルコンピュータ上で完全に動作させる、プライバシー重視のアシスタントを作成しました。このシステムは、乗客が搭乗する前にスキャンを行う検問所と、到着した後に再びスキャンを行う検問所の、二重のセキュリティ層を備えています。コンピュータが回答を考える前に、「インプット・ガードレール（入力検閲）」がユーザーのメッセージをスキャンします。これは、以前の指示を無視するように命じたり、機械の隠されたルールを明らかにさせようとしたりするような、システムを欺こうとする兆候がないかを調べます。もしそのようなトリックを見つけた場合、システムは即座にリクエストを停止します。また、メールアドレスのような機密性の高い個人情報をスキャンし、コンピュータがそれを読み取る前に隠蔽します。ローカルコンピュータが回答を生成すると、二つ目の「アウトプット・ガードレール（出力検閲）」が、プライベートな情報が誤って漏れ出していないかをチェックするために回答をスキャンします。

研究者は、このシステムが現実世界でどのように振る舞うかを確認するために、慎重に選ばれた一連の質問を用いてテストを行いました。「人工知能とは何か？」という単純で無害な質問を投げかけたとき、システムは完璧に動作しました。リクエストはローカルで処理され、すべてのセキュリティチェックを通過し、3秒余りで回答を返しました。画面には、入力がクリーンであり、トリックは検出されず、最終的な回答が安全に表示されることが示されました。次に、システムは、ユーザーが機械に秘密の指示を明かさせたり、安全ルールを無視させたりしようとする、4種類の異なる欺瞞の試みに直面しました。これらすべてのケースにおいて、インプット・ガードレールがその試みを捉えました。システムはトリックを特定し、リクエストをブロックし、コンピュータに回答を生成させる代わりに警告メッセージを表示しました。これは、コンピュータがあなたの机の上で動作しているときであっても、操作を防ぐための「番人」が必要であることを証明しました。

また、テストには、架空のメールアドレスと電話番号を含む、偽の個人データを用いた質問も含まれていました。ここで、システムは自らの強みと明確な弱点の両方を示しました。ユーザーがメールアドレスを入力した際、システムはそれを検知し、テキストを「email redacted（メールは伏せられました）」というプレースホルダーに置き換え、メッセージをコンピュータに渡しました。最終的な回答には伏せられたテキストが表示されており、メールは正常に保護されていました。しかし、システムは8桁の電話番号を捉えることができませんでした。システムはその番号を変更せずに通過させ、最終的な出力には、あたかも何もなかったかのように完全な電話番号が表示されました。アウトプット・ガードレールもこれを見逃し、回答の中に機密データは見つからなかったと報告しました。この結果は、ローカルでの計算とセキュリティチェックを組み合わせるというアイデアは実現可能である一方で、個人情報を検知するための現在のルールは、まだ完璧ではないことを浮き彫りにしました。システムは欺瞞を阻止し、メールを捕捉することには成功しましたが、電話番号は露出したままとなりました。

本研究は、ローカル計算とセキュリティチェックを、単一の軽量なパイプラインとして組み合わせることが可能であると結論付けています。このシステムは、個人のデバイス上で動作し、一般的な欺瞞の試みをブロックし、一部のプライベートなデータを隠蔽できることを実証しました。しかし、研究者は、これらの知見はあくまで予備的なものであると注意深く述べています。テストセットは非常に小さく、わずか数件の質問しか含まれておらず、結果は、システムがミスをする頻度や、高負荷時における速度を測定することなく、単一のマシン上で観察されたものです。電話番号を捉えられなかったことは、検知ルールがより多くの形式の個人データをカバーするように拡張される必要があることを示唆しています。このアプローチが日常的な使用において完全に信頼できるものと見なされる前に、より複雑なトリックや異なる種類の個人情報を含む、より多様な入力に対してシステムをテストする必要があります。現時点では、この研究は、セキュリティの番人が絶えず改善されることを条件として、セキュアでプライベートなAIアシスタントが手の届く範囲にあることを示す、有望な概念実証（プルーフ・オブ・コンセプト）として位置づけられます。