Evaluating Inference-Time Defenses Against Package Hallucination in LLM-Generated Code

現代のソフトウェア開発の世界において、プログラマーはコードを書くために人工知能アシスタントに頼ることがよくあります。大規模言語モデルとして知られるこれらのシステムは、関数全体を提案したり、数秒でエラーを修正したりすることができる、疲れを知らないパートナーとして機能します。これらの提案を機能させるために、これらのモデルは、データベースへの接続やグラフの作成といった特定のタスクを処理する、あらかじめ書かれたコードの集合体である外部ソフトウェアパッケージの追加を頻繁に推奨します。問題は、人工知能が、いかにも実在しそうな名前でありながら、実際には公式のソフトウェアライブラリには存在しないパッケージ名を捏造してしまうときに発生します。この現象は「パッケージ・ハルシネーション（パッケージの幻覚）」と呼ばれます。もし開発者がその提案を盲信して、この存在しないパッケージをインストールしようとすると、その偽の名前を登録したハッカーによって作成された悪意のあるファイルを、不注意にもダウンロードしてしまう可能性があります。これはソフトウェア・サプライチェーンへの危険なバックドアを生み出し、攻撃者が何百万人もの人々が使用する可能性のあるアプリケーションに有害なコードを注入することを可能にします。

ある研究チームは、これらのハルシネーションがどの程度の頻度で発生するのか、そして、コードが完成する前にそれらを阻止できる特定の技術があるのかどうかを理解するために調査を行いました。彼らは、より小規模で、実行コストは低いものの、大規模なモデルよりも間違いを犯しやすい傾向にある、広く利用されているオープンソースの人工知能モデルに焦点を当てました。研究者たちは、Python、JavaScript、Ruby、Rustという4つの異なるプログラミング言語を用いて、これらのモデルをテストしました。彼らは、以前の手法によるこれらのエラーの測定方法には欠陥があることを発見しました。多くの先行研究では、プログラミング言語に付属している標準的な組み込みツールが、外部パッケージライブラリにリストされていないという理由だけで、それらをハルシネーションとしてカウントしていました。このカウントミスを修正した結果、チームはPythonにおけるハルシネーションの発生率は以前考えられていたよりも低かったものの、依然として無視できない数値であることを明らかにしました。

彼らの研究の核心は、モデルが生成する偽のパッケージ名を減らすことができるかどうかを確認するために、7つの異なる戦略をテストすることでした。これらの戦略の中には、モデルが次の単語を選択する方法を変更するものもあれば、モデル自身に自身の作業をチェックさせたり、回答する前に検証済みのデータベースで情報を検索させたりするものもありました。研究者たちは、あらゆる状況において最も優れた成果を出す単一の手法は存在しないことを発見しました。モデルに発言する前に実在するパッケージのデータベースを参照させることを強制する「検索拡張生成（Retrieval-Augmented Generation）」と呼ばれる手法は、ほとんどの言語において非常に効果的であり、エラー率を大幅に減少させました。しかし、この同じ手法がJavaScriptにおいては状況を悪化させることもあり、解決策は使用される特定の言語に大きく依存することを示唆していました。また、モデルに対して自身の提案を批判し、書き直すよう求めるアプローチは、大規模なモデルにはうまく機能しましたが、自身のミスを認識できないことが多い最小規模のモデルには失敗しました。

チームはまた、モデルの提案が単に正しいだけでなく、実際にどれほど有用であるかを測定する新しい方法を導入しました。彼らは、ハルシネーションを阻止することには成功したものの、モデルがパッケージ自体を一切提案できなくなり、開発者に何も利用できるものが残らない戦略があることを見出しました。安全性と有用性の間で最もバランスの取れたアプローチは、モデルが確率の低い選択肢に賭けるのではなく、常に最も可能性の高い次の単語を単純に選ぶという、ストレートな方法でした。この「強欲な（greedy）」アプローチは、テストされたモデルにおいて、安全性と有用性の最高のトレードオフを提供しました。

おそらく最も衝撃的な発見は、研究者がこれらの防御策を敵対的な環境に対してテストしたときに現れました。彼らは、指示の中に偽の名前を直接埋め込むことで、モデルに偽のパッケージを推奨させるよう意図的に騙そうとするプロンプトを作成しました。このような敵対的な条件下では、エラー率は通常の要求と比較して最大で45パーセントポイントも急上昇しました。この敵対的な設定において、モデルの単語選択方法を変えるという単純なトリックは完全に失敗しました。実在のデータベースとの照合や、自身の論理を厳格にチェックさせることに依存する手法のみが、この攻撃に抵抗できました。研究者たちは、単純な調整は通常の使用時には役立つものの、決定的な攻撃者からソフトウェアを保護するには、外部の世界と事実を照合するか、あるいは自身の論理を厳格に検証できるシステムが必要であると結論付けました。この研究は、最善の防御策とは「万能な解決策」ではなく、特定の脅威やプログラミング言語に合わせて慎重に選択されるものであることを強調しています。