Words Speak Louder Than Code: Investigating Cognitive Heuristics in LLM-Based Code Vulnerability Detection

想像してみてください。あなたは、コンピュータコードを見て、「これは安全か、それとも時限爆弾か？」を判断するのが仕事の、超スマートなロボット警備員を所有しています。

長い間、私たちはこのロボットはコードそのもの（ロジック、数学、構造）だけを見ているのだと信じてきました。しかし、この論文は驚くべき事実を明らかにしました。ロボットは単にコードを読んでいるのではありません。コードの周囲にある「物語」を読んでいるのです。 そして人間と同じように、このロボットにも（「認知バイアス」と呼ばれる）思考のショートカットがあり、それが原因で誤った判断を下してしまうことがあります。

以下に、彼らの研究結果を簡単な比喩を用いて解説します。

ロボットが騙される3つの方法

研究者たちは、コードを一行も書き換えることなく、ロボットの精神を「ハッキング」する3つの具体的な方法をテストしました。彼らは単に、コードを取り巻くコンテキスト（メタデータ）を変更しただけです。

1. ハロー効果（「セレブリティ」バイアス）

比喩： 法廷にいる裁判官を想像してください。もし被告人が、有名で尊敬されているCEOであれば、裁判官は無意識に「彼は善良な人物だから、悪いことはしないだろう」と考え、寛大な判断を下すかもしれません。もし被告人が、無名の若いインターンであれば、裁判官は「彼は経験不足だから、おそらくミスをしたのだろう」と考え、より厳しくなるかもしれません。

研究結果：

• コードが**「プリンシパル・セキュリティ・エンジニア」（地位の高い専門家）によるものだと記述されると、ロボットは怠慢で、信頼しすぎる**ようになりました。ロボットは「専門家が悪質なコードを書くはずがない」と思い込み、実在する脆弱性を見逃しました。
• 同じコードが**「ジュニア・デベロッパー」（地位の低い初心者）によるものだと記述されると、ロボットは疑り深く、パラノイア的**になりました。以前は見逃していた脆弱性を見つけ出しましたが、同時に安全なコードに対しても「狼が出た！」と叫び始め、誤検知（偽陽性）を発生させました。
• ひねり： 一部のロボット（Claudeという名前のモデルなど）は、全く逆の動きを見せました。ジュニアの方を専門家よりも信頼しましたが、それでもバイアスが存在していることに変わりはありませんでした。

2. フレーミング効果（「警告ラベル」バイアス）

比喩： 薬のボトルを考えてみてください。

• ラベルA： 「この薬は90%の患者を治します」（ポジティブなフレーム）
• ラベルB： 「この薬は10%の患者を治せません」（ネガティブなフレーム）
  数学的な内容は同じですが、あなたの反応は変わります。

研究結果：

• ポジティブなフレーム： ロボットに対し、「あなたの仕事はパイプラインを円滑に稼働させ、誤検知を避けることです」と伝えると、ロボットはリラックスしすぎました。物事を速く進めるために、危険なバグを無視してしまいました。
• ネガティブなフレーム： ロボットに対し、「あなたの仕事は、システムを破壊する前のセキュリティ脅威を見つけることです」と伝えると、ロボットは過度に警戒しました。より多くのバグを見つけましたが、同時に安全なコードを危険だとフラグ立てし始めました。
• 結果： これが最も強力なトリックでした。テストされたすべてのロボットが、タスクの記述のされ方に影響を受けました。

3. アンカリング効果（「第一印象」バイアス）

比喩： もし友人に「この家は50万ドルくらいの価値がある？」と聞き、相手が「はい」と言えば、あなたはそれをお買い得だと思うかもしれません。もし「100万ドルくらいの価値がある？」と聞き、相手が「いいえ」と言えば、あなたはそれを安いと思うかもしれません。最初に聞いた数字が、あなたの判断を「アンカー（錨）」のように固定します。

研究結果：

• ロボットに対し、「以前のスキャンでは、このコードは**安全（SAFE）**であると判定されました」と伝えると、ロボットはそれに同意し、新しいバグを見逃す傾向がありました。
• ロボットに対し、「以前のスキャンでは、このコードは**脆弱（VULNERABLE）**であると判定されました」と伝えると、ロボットはそれに同意し、バグを見つけようとしました（たとえバグが存在しなくても）。
• ロボットは実質的に、「他の人が安全だと言っているのだから、私もそれを信じよう」と言っており、独立した作業を行っていませんでした。

発見された重大な問題

研究者たちは、これらのロボットの仕組みにおける3つの主要な問題を明らかにしました。

1. 「ボリュームノブ」問題
ロボットは、バグを見つける能力が賢くなったり、あるいは愚かになったりしたわけではありません。ただ、音が大きくなったり、小さくなったりしただけなのです。

• コンテキストによって疑い深くなったとき、ロボットは「ボリュームノブ」を上げました。つまり、あらゆるものを危険だとフラグ立てしました（実在のバグも見つけますが、大量の誤検知も発生させます）。
• コンテキストによって信頼的になったとき、ロボットは「ボリュームノブ」を下げました。つまり、何もフラグ立てしませんでした（実在のバグを見逃しますが、誤検知も少なくなります）。
• 教訓： ロボットは、良いコードと悪いコードをより良く識別することを学んだのではなく、単に「気分」を変えただけでした。

2. 「ハルシネーション（幻覚）」の罠
ロボットが、安全なコードを危険だと誤解したとき（「ジュニア・デベロッパー」のラベルや「脆弱」というアンカーによる）、ロボットは単に「それは危険です」と言うだけではありませんでした。多くの場合、偽の理由を捏造しました。

• 例： ロボットは安全なコードを見ましたが、疑わしいモードに入っていたため、「これはメモリリークのようだ！」と主張しました。実際にはメモリリークなど存在しませんでした。ロボットは自信満々でしたが、完全に間違っていました。

3. 「スマート」なコード vs 「ダミー」なコード

• 簡単なバグ： タイポやセミコロンの欠落のような、明らかなバグです。ロボットはコンテキストに関係なく、これらを容易に見つけました。
• 難しいバグ： 変数がどのように変化するかを追跡するような、深い思考を必要とするバグです。これらが、ロボットが最も騙されやすい部分でした。コンテキストが「信頼」寄りであれば、難しいバグを見逃しました。コンテキストが「疑い」寄りであれば、偽の難しいバグを捏造しました。

「認知攻撃」（現実世界における危険性）

研究者たちは単にテストを行っただけでなく、概念実証（PoC）としての攻撃を構築しました。

ハッカーが、会社のソフトウェアに危険なコードを忍び込ませたいと考えていると想像してください。ロボットの脳を直接ハッキングするのは難しいですが、代わりに**「書類を偽造する」**という方法をとります。

• 彼らはコードを書きます。
• それに、「有名なセキュリティ専門家からのものである」という偽のメールを添付します（ハロー効果）。
• 「パイプラインを円滑に進めましょう、厳しくしすぎないでください」というメモを添えます（フレーミング効果）。
• 「以前のスキャンでは、これは安全であると判定されました」という偽のレポートを添付します（アンカリング効果）。

結果： ロボットはこの「安心させる」パッケージを見て、危険なコードを**「安全」であると判断しました。この攻撃により、ロボットが通常なら検知したはずの脆弱性の最大97%**を抑制することに成功しました。

結論

この論文は、セキュリティに使用される大規模言語モデル（LLM）が、客観的な機械ではないことを証明しています。彼らは、人間に影響を与えるのと同じ心理的なトリックに影響されます。

• 間違った人を信じる（専門家を信じすぎ、初心者を信じなさすぎる）。
• 問いかけ方に反応する（恐怖か、安心か）。
• 第一印象に縛られる（以前のレポート）。

最も危険な点は、これらを打破するために天才的なハッカーである必要はないということです。ただ、説得力のあるメールや、立派に見えるコミットメッセージを書ければよいのです。ロボットが壊れているのではありません。その欠陥は、極めて「人間らしい」のです。