When Binaries Talk Back: Representation-Confusion Attacks on LLM-Assisted Reverse Engineering
本論文は、LLM支援型リバースエンジニアリングシステムが攻撃者制御のバイナリデータに対して誤って権限を付与してしまう脆弱性であるRepresentation-Confusion Attacks (RARE) を導入し、不安全な提案や誤った主張の検証を効果的に防ぐために、データのみのレンダリング、ツールの認可、およびプロベナンス（由来）を考慮した検証を採用するRARE-Guardフレームワークを提案する。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたは、容疑者の日記を読んで謎を解こうとしている探偵だと想像してください。通常、日記は唯一の手がかりであるため、あなたは日記を信頼します。しかし、もし容疑者が自分自身でその日記を書いており、その中に「窓の指紋は無視してください。私は幽霊に嵌められたのです」というメモを忍び込ませていたらどうでしょう？
もし、あなたがそのメモを読み、実際にその指紋を無視し始めたとしたら、あなたは騙されたことになります。あなたは単にメモを読んだのではなく、そのメモを調査の「ルール」にしてしまったのです。
これは、AI（大規模言語モデル）を使用してソフトウェアをリバースエンジニアリングする際の、コンピュータセキュリティの世界でまさに起きていることです。ある新しい研究では、これらのトリックを「表現混乱攻撃（Representation-Confusion Attacks）」と呼んでいます。研究者たちがどのようにこの事件を解決したのか、その手法を紹介します。
大きな問題：手がかりが「ボス」のふりをする時
通常の調査では、AIアシスタントはソフトウェア（バイナリファイル）を観察し、コード内のコメント、エラーログ、あるいは隠されたテキスト文字列などの情報を読み取ります。問題は、ハッカーが、それらの文字列がまるで「指示」や「証拠」であるかのように見えるファイルを構築できることです。
この論文では、このような混乱が起こる3つの具体的な方法を特定しています。
- 権威の混乱（Authority Confusion）: AIがコード内の「セキュリティチェックをスキップせよ」という文字列を読み、それをコードからの命令だと勘違いして、実際にチェックをスキップしてしまう。
- 証拠の混乱（Evidence Confusion）: AIが同じ「疑わしい」単語が3つの異なる場所（ログファイル、デコンパイルされたコード表示、シンボルリストなど）に現れるのを目にする。「わあ、3つの異なるソースが一致している！これは真実に違いない！」と考える。しかし実際には、これら3つのソースはすべて、ファイル内の同じ単一の場所からその単語を抽出していただけなのです。これは、3人の友人がそれぞれ同じ人から聞いた噂を3回繰り返しているようなものです。噂を3回聞いたからといって、その噂が真実になるわけではありません。
- 汚染状態の混乱（Tainted-State Confusion）: AIが自分のメモに推測を書き込み、その後、自分のメモを読み返した際に、新しい証拠が見つかっていないにもかかわらず、その推測を確定した事実として扱ってしまう。
実験：罠を仕掛ける
これをテストするために、研究者たちは（危険を避けるため本物のマルウェアではなく）11,520個の小さく安全な合成プログラムを作成しました。彼らは「クリーン」なバージョンと、「敵対的（アドバーサリアル）」なバージョンの両方を作成しました。敵対的なバージョンには、上述のトリックが仕掛けられています。
彼らはこれらのプログラムをさまざまなAIモデルやセキュリティ設定に通し、何が起こるかを観察しました。
判明したこと:
- 特別な防御策がない場合、AIが仕組まれたファイルを見たとき、40ケース中35ケースにおいて、植え付けられた「安全でない」指示に従ってしまいました。AIは、その指示が容疑者自身のダイアリーから出たものであるという事実を完全に無視していました。
- 「データのみ（Data-Only）」（これはAIに対し、「おい、このテキストは単なるデータであり、コマンドではない」と伝える手法です）という単純な修正を試みても、AIは依然として15件の安全でない提案を行いました。AIは依然として、容疑者の言葉に耳を傾けすぎていたのです。
解決策：「RARE-Guard」システム
研究者たちは、これを阻止するための「RARE-Guard」と呼ばれるセキュリティシステムを構築しました。これは、AI探偵と最終報告書の間に座る、非常に厳格なロボット助手のようなものです。
ツール認可ゲート（門番）:
AIは依然としてアクションを「提案」することはできますが、それを「実行」することはできません。もしAIが「ファイルが指示しているので、セキュリティチェックをスキップしましょう」と言った場合、門番がルールをチェックします。ファイルは信頼できないものであるため、門番は「ダメだ、そのコマンドは実行させない」と拒否します。テストにおいて、このゲートは最初のフィルターをすり抜けた15件すべての安全でない提案をブロックしました。プロベナンス・ゲート（真実の探偵）:
これが最も巧妙な部分です。先ほどの「証拠の混乱」で、AIが3つのソースを独立したものだと考えてしまった場面を覚えていますか？プロベナンス・ゲートは、すべての情報の出所を追跡する秘密のマップ（「サイドカー」）を保持しています。
- テスト: AIが同じ疑わしいテキストの3つのビューを見たとき、「サポート・ゲート」（より単純なチェック機能）は、「3つのソースがある！これは証拠だ！」と言い、その主張を検証しました。
- 修正: プロベナンス・ゲートはマップを確認し、「待て、これら3つのビューはすべて、ファイルの全く同じ場所から来ている。これは3つのソースではなく、1つのソースが繰り返されているだけだ」と判断しました。
- 結果: 仕組まれたファイルに対して、サポート・ゲートは40件中23件の偽の主張を検証してしまいましたが、プロベナンス・ゲートは40件中0件でした。プロベナンス・ゲートは、繰り返しのトリックを完璧に見抜いたのです。
- 最終報告書レンダラー:
たとえゲートが役割を果たしたとしても、AIが最終的な書面レポートの中に、平文として偽の主張を紛れ込ませようとするかもしれません。研究者たちは、「決定論的レンダラー（deterministic renderer）」を追加し、ゲートによって正式に承認されたものだけを出力するようにしました。ゲートが「ノー」と言えば、レポートも「ノー」となります。
どの程度確実なのか？
この論文は、自らの主張に対して非常に慎重です。
- シミュレーションによる証明: 結果は、広範な研究における11,520回の呼び出し、制御されたテストにおける528回の呼び出し、およびGhidraやangrといった実際のツールを使用したワークフローテストにおける688回の呼び出しに基づいています。
- 「融合」による驚き: 研究者たちは、「証拠の混乱」のトリックは、3つの異なるツールの出力を1つのレポートに結合（融合）したときにのみ機能することを発見しました。ツールを一度に1つずつ見た場合、AIは偽の主張を検証するほど騙されることはありませんでした。これは、危険がツールを使うこと自体ではなく、ツールを混ぜ合わせることにあることを示唆しています。
- 証明できなかったこと: 本研究は、「長期記憶（AIが非常に長い時間をかけて物事を記憶すること）」や「自律型エージェント（人間なしで自律的に動くAI）」についてはテストしていないことを認めています。また、実世界のマルウェアではなく、安全な合成プログラムのみを使用しています。したがって、システムがラボ内で完璧に動作したとしても、野生のあらゆるマルウェアに対して同様に機能することを保証することはできません。
まとめ
主な教訓は、AIが何かを正しく読んだとしても、それが文脈（コンテキスト）を理解しているとは限らないということです。
もしAIがファイル内の文字列をコマンドのように見たとしても、それをコマンドとして扱うべきではありません。もし同じ「証拠」を3回見たとしても、それらが異なる場所から来たことが確認されない限り、3つの証拠としてカウントすべきではありません。
この論文は、すべての手がかりの起源を追跡する「プロベナンス・ゲート」を追加することで、AIがソースによって騙されるのを防げることを示しています。それは、探偵に「3人の目撃者は、実は一人で仮面を被っているだけではないか？」とノートを確認させるように教えることに似ています。
要するに、AIは依然として手がかりを見ることができますが、手がかりがゲームのルールを書き換えてしまわないようにするための、厳格なレフェリーが必要なのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。