Assessing Attack Surfaces in Generative Search Engines through Publisher Attributes: A Case Study in Political Domains

現代のデジタル環境において、単にリンクを列挙するのではなく、ウェブを読み取り、ユーザーの質問に対して直接的な回答を書き上げるという、新しい種類の検索エンジンが登場しました。ジェネレーティブ・サーチエンジン（生成型検索エンジン）として知られるこれらのシステムは、インターネットの広大なリーチと、高度な人工知能による対話能力を組み合わせています。これらは架け橋として機能し、ユーザーのクエリを受け取ると、数百万ものウェブページをスキャンし、出典を明示した上で要約を合成します。この変化は、情報のアクセス方法を、結果のリストを精査することから、キュレーションされた物語を受け取ることへと変貌させています。しかし、これらのマシンはオープンなウェブ上に誰でも公開できるコンテンツに依存しているため、特有の脆弱性に直面しています。シェフがたった一つの質の悪い食材によって欺かれるように、これらのエンジンも、正当に見えるよう巧妙に作られた偽情報を公開する悪意のあるアクターによって、誤導される可能性があります。もし攻撃者が、フェイクニュースサイトを引用するようにシステムを騙すことができれば、エンジンはその虚偽を事実として提示してしまい、提供する情報の信頼性を損なうことになります。

慶應義塾大学とQueryLift株式会社の研究チームは、政治という極めて重要な領域において、これらのシステムが具体的にどの程度脆弱であるかを測定することを目的としました。彼らは特定の問いに焦点を当てました。それは、「攻撃者が、これらのエンジンが生成する回答の中に偽情報を注入することは、どれほど容易か？」という問いです。これに答えるため、彼らは、エンジンが引用するソースを、悪意のあるアクターがそのようなウェブサイトを作成することがどれほど困難であるかに基づいて分類する方法を開発しました。彼らは難易度のスケールを想定しました。スケールの最上位には、政党の公式サイトのような「一次ソース」があります。これらは政党自身によって所有・管理されているため、偽造が困難です。最下位には、ソーシャルメディア・プラットフォームや個人のブログのような「低障壁ソース」があります。これらは、誰でも監視を受けることなく即座に何でも公開できる場所です。研究者たちは、もしエンジンがこれらの低障壁ソースに大きく依存しているならば、それは広大で露出した攻撃対象領域の上に座っている状態であり、誤情報が最終的な回答に紛れ込むことを容易にしているのだと考えました。

チームは、OpenAI、Anthropic、Googleのモデルを用いた3つの主要なジェネレーティブ・サーチエンジンをテストし、アメリカと日本の政党に関する数百の質問を行いました。彼らは与党と野党の両方の立場について質問し、エンジンの挙動が「誰が尋ねているか」によって変化するかどうかを確認するために、質問のバリエーションを変えました。彼らは、高い政治知識を持つユーザーや知識を持たないユーザー、さらには異なる政治的傾向を持つユーザーなど、さまざまなタイプのユーザーをシミュレートしました。その目的は、エンジンのソースの選択が、ユーザーのプロフィールや政治的文脈に応じて変化するかどうかを検証し、最終的な回答が実際にこれらのソースからどの程度引き出されているかを測定することでした。

結果は、明確かつ懸念すべきパターンを明らかにしました。これらのシステムの脆弱性は、質問している人物よりも、使用されている特定のエンジンモデルや、どの政党について議論されているかに大きく依存していました。テストされたモデルの一つであるOpenAIのGPT-5は、公式の政党サイトや高品質なソースに固執する傾向があり、容易な操作への扉を効果的に閉ざしていました。対照的に、GoogleのGeminiは、低障壁ソースを頻繁に引用しており、攻撃者が偽情報を注入するための窓口をはるかに広く開けていました。研究によれば、エンジンが与党について問われたとき、野党について問われたときよりも、これらの注入しやすいソースに著しく依存していました。これは、現実世界における政党の成功（膨大な量のウェブコンテンツを生成すること）が、逆説的に、検索エンジンが公式ソースを見つけることを難しくさせ、代わりに誤情報が蔓なれる未検証のコンテンツの海へと押しやっている可能性を示唆しています。

おそらく最も心強い発見は、ユーザーのアイデンティティが結果を変えなかったことです。研究者たちは、ユーザーの政治的思想や知識レベルによって、エンジンがより脆弱なソースへと切り替わるかどうかをテストしました。しかし、そうはなりませんでした。ユーザーが保守派であれ、リベラル派であれ、あるいは政治知識が全くない人であれ、エンジンは同じタイプのソースを引用しました。これは、回答を汚染するリスクは、誰が尋ねているかという問題ではなく、エンジンがどのように構築され、どのようにウェブをナビゲートするかという構造的な欠陥の問題であることを意味しています。この研究は、これらのツールの安全性は、ユーザーの意図ではなく、エンジンの内部設計と、議論されている特定のトピックによって決定されると結論付けています。

研究者たちはまた、エンジンが引用したコンテンツをどの程度忠実に反映しているかも調査しました。彼らは、エンジンが高品質で偽造が困難なソースを引用した場合、その回答は通常、そのソースを非常に正確に反映していることを見出しました。しかし、エンジンが低障壁ソースに依存した場合、ソースと回答の間の結びつきはしばしば弱く、エンジンが元のテキストとは異なる形で内容を要約したり解釈したりすることがあることが分かりました。これは二重の危険を生み出します。すなわち、ソース自体が操作されやすく、かつ、エンジンがそのソースが実際に述べている内容に厳密に従う可能性が低いということです。

結局のところ、この研究は、これらの強力なツールが最も壊れやすい場所を示す地図を提供しています。それは、汚染された回答への道はランダムではなく、使用されるテクノロジーや政治的景観に基づいた特定のパターンに従っていることを示しています。研究は、情報の完全性を守るためには、開発者がソースを選択する方法に焦点を当て、誤情報が最も広まりやすいチャンネルを意図せず優先してしまうことがないようにする必要があると示唆しています。これらの知見は、解決策がユーザーを変えることにあるのではなく、誰がキーボードを叩いているかにかかわらず、信頼できるソースと危険なソースを区別するエンジンの能力を洗練させることにあることを示しています。