REx86: A Local Large Language Model for Assisting in x86 Assembly Reverse Engineering

この論文は、プライバシーとセキュリティが重要な閉鎖環境向けに、x86 アセンブリ言語の逆解析を支援するローカル大規模言語モデル「REx86」を開発し、ドメイン固有のファインチューニングにより精度を大幅に向上させ、逆解析タスクにおける実用性を示したことを報告しています。

要約

🕵️‍♂️ 物語の舞台：「解読不可能な暗号文」

まず、**「リバースエンジニアリング（逆工学）」**という作業について考えてみましょう。
これは、完成されたソフトウェア（アプリやウイルスなど）を、元の設計図（ソースコード）に戻そうとする作業です。

しかし、現実の問題はこうです：

• コンピュータがプログラムを「実行形式」に変えるとき、人間が書いた**「変数名（例：user_name）」や「コメント（メモ）」はすべて捨て去られてしまいます。**
• 残るのは、「0 と 1 の羅列」や、「x86 アセンブリ」という、人間には読みにくい機械語の暗号だけです。
• さらに、悪意のあるハッカーは、この暗号をさらに難解に書き換えて（難読化）、解読を妨害します。

これは、**「名前もメモも消された、真っ黒なレゴブロックの山」**を、元の完成図に戻そうとするようなものです。非常に時間がかかり、専門家でも疲弊します。

🤖 登場するヒーロー：「REx86」

そこで登場するのが、この論文で作られた AI、**「REx86」**です。

1. なぜクラウドの AI ではダメなのか？

最近、ChatGPT などの強力な AI が流行っていますが、セキュリティの専門家（マルウェア解析者）は、**「機密情報をクラウドに送ることはできない」**というジレンマに直面しています。

• 例え： 国家の極秘文書を、外部の会社に預けて翻訳してもらうようなものです。もし漏洩したら大惨事です。
• そのため、**「自分のパソコンの中だけで完結し、インターネットに繋がなくても動く AI」**が必要でした。

2. RExx86 の正体

REx86 は、「x86 アセンブリ（機械語）」を専門に勉強させた AIです。

• 学習方法： 研究者たちは、5,981 個の「機械語の例」と「その解説（コメント）」のセットを AI に見せました。まるで、「難解な古文書と、その現代語訳の辞書」をひたすら読ませるような学習です。
• 技術： 大きな AI を全部作り直すのではなく、「LoRA（ローラ）」という技術を使って、**「AI の頭脳の一部だけを、専門的に書き換える」**という効率的な方法を使いました。これにより、高価なサーバーではなく、一般的なゲーミング PC でも動きます。

🧪 実験：「AI 助手」は本当に役立ったか？

研究者たちは、この AI が本当に役立つのか、43 人の学生（セキュリティを学ぶ大学生）を使ってテストしました。

【実験のシナリオ】

• グループ A： 何も書かれていない機械語を見る（コントロール）。
• グループ B： 普通の AI（ベースモデル）が書いたメモ付きの機械語を見る。
• グループ C： REx86が書いたメモ付きの機械語を見る。

【結果】

• 理解度： REx86 を使ったグループは、**「一行一行のコードが何をしているか」**を、他のグループよりもはるかに深く理解できました。
  • 例え： 普通の AI は「これは何かの暗号化かもしれませんね」と曖昧に答えますが、REx86 は「これは 16 ビットと 8 ビットを入れ替える操作です」と具体的に答えます。
• 正解率： 悪意のあるプログラムの目的を当てた人の割合は、REx86 グループが53%（ベースモデルは 31%）と最も高くなりました。統計的に「決定的」とは言えませんが、**「明らかに良い傾向」**が見られました。

🎨 具体的な違い：「魔法の解説者」vs「曖昧な占い師」

論文では、実際に AI が出力したコメントを比較しています。

• 普通の AI（ベースモデル）：

  「このコードはビットを操作して、何か変換をしているようです。暗号化かもしれませんね。」
  （例え： 料理のレシピを見て、「何か作っているようです。お菓子かもしれませんね」と言っている状態。）

• REx86：

  「このコードは、EAX レジスタの中身を、16 ビット、8 ビット、4 ビット、2 ビットと、順番に逆転させています。最終的に結果を EAX に戻します。」
  （例え： 「まず卵を割って、次に小麦粉を混ぜて、最後に焼きます。これはパンケーキの作り方です」と正確に説明している状態。）

REx86 は、「勘違い（ハルシネーション）」が少なく、具体的な行動を正確に説明できるようになりました。

🚀 この研究の意義と未来

この研究が示したのは、**「特定の分野（ここではセキュリティ）に特化して、AI を『地元の専門家』に育てる」**ことの重要性です。

• プライバシー： 機密データを外部に出さずに、自分の PC で高度な解析ができるようになります。
• 効率化： 人間が何時間もかかる作業を、AI が「メモ書き」でサポートすることで、解析スピードが劇的に上がります。

【まとめ】
この論文は、**「セキュリティの専門家たちが、機密保持のために使えない『外部の天才 AI』の代わりに、自分たちの『地元の天才アシスタント（REx86）』を育てて、逆工学の仕事を楽にした」**という成功物語です。

まだ完全自動化はできませんが、**「人間の解析者の目を助ける、最高のメガネ」**として、すでにその価値を証明しています。

技術概要

REx86: x86 アセンブリ逆解析を支援するローカル大規模言語モデル

論文の技術的概要（日本語）

本論文は、マルウェアやファームウェアの分析において不可欠であるが、メタデータの欠如や敵対的な難読化により困難な「x86 バイナリの逆解析（Reverse Engineering: RE）」を支援するための、ローカル環境で動作する大規模言語モデル（LLM）「REx86」を提案・評価した研究です。クラウド型モデルのプライバシーリスクや閉鎖ネットワーク環境での利用制限を回避し、オープンウェイトのローカル LLM を専門的に微調整（ファインチューニング）することで、逆解析の効率化と精度向上を実現しました。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳述します。

---

1. 問題定義 (Problem)

逆解析は、コンパイルプロセスにより変数名、コメント、ユーザー定義データ型などのメタデータが失われ、さらにマルウェア作者による難読化が行われるため、非常に時間がかかり複雑な作業です。

• 既存ツールの限界: IDA Pro や Ghidra などのツールは存在するものの、コンパイルで失われたドキュメントを復元することはできません。
• 一般 LLM の課題: 既存の LLM は自然言語生成に優れていますが、低レベルコード（アセンブリ）の文脈理解が不十分です。特定の命令の機能は説明できても、プログラム全体の文脈におけるその命令の目的を理解するのが苦手です。
• セキュリティとプライバシーの制約: 多くのセキュリティ研究所や政府機関（SCIF、DoD エンクレーブなど）では、外部 API へのデータ送信が禁止されており、クラウド型 LLM は利用できません。また、機密性の高いマルウェア解析において、データを第三者に送信することはリスクとなります。

2. 手法 (Methodology)

2.1 データセットの構築

x86 アーキテクチャに特化したファインチューニング用データセットを構築しました。

• ソース: 5,981 件のエントリから構成され、以下の 4 つのソースと GPT-4o を利用して生成した Q&A ペアを統合しています。
  • Assembly Shellcode Dataset
  • Rosetta Code
  • Shell-Storm
  • xorpd Solutions
  • x86 関連のマニュアル・教科書
• タスク: 5 つのタスクタイプでモデルを訓練しました。
  1. Code Intent: コードの意図の説明
  2. Complete the Code: マスクされた行の補完
  3. Inline Comments: 各行に対するインラインコメントの生成（JSON 形式）
  4. Header Comment: コード全体のヘッダーコメント生成
  5. Q&A: x86 アーキテクチャに関する質問への回答

2.2 モデルの選択と微調整

• 対象モデル: CodeLlama, Qwen2.5-Coder, CodeGemma のシリーズから、3B〜34B パラメータの 8 つのオープンウェイトモデルを選択。これらは消費者向け GPU（NVIDIA RTX 5090 など）で動作可能な範囲です。
• ファインチューニング手法:
  • フレームワーク: Unsloth を使用。Flash Attention、手動 Autograd 最適化、Triton カーネルなどにより、VRAM 使用量を 50% 削減し、訓練時間を 2 倍高速化。
  • PEFT (Parameter-Efficient Fine-Tuning): LoRA (Low-Rank Adaptation) を採用。ランク $r$ とスケーリング係数 $\alpha$ を最適化（実験では $r=32, \alpha=64$ が最適）。
  • 量子化: 大規模モデル（14B, 32B）を消費者ハードウェアで動作させるため、4-bit 量子化（nf4）を適用。

2.3 評価手法

• 定量的評価: テストセットにおける交差エントロピー損失（CE）と、意味的埋め込みのコサイン類似度（CosSim）を測定。
• 定性的評価: 生成されたコメントの正確性、簡潔性、ハルシネーション（幻覚）の発生頻度を比較。
• 人間によるケーススタディ: 43 名の学生（サイバーセキュリティコース受講生）を対象に、マルウェアサンプルの解析タスクを実施。REx86 使用群、ベースモデル使用群、制御群（コメントなし）を比較し、理解度と解決率を調査。

3. 主要な貢献 (Key Contributions)

1. REx86 モデルの公開:
   • 最も高性能なモデル「Qwen2.5-Coder-7B」を微調整した REx86 を開発し、LoRA アダプターとして公開。
   • 消費者向け GPU でフル精度（または量子化）で動作し、オフライン環境でも利用可能。
2. REx86 アセンブリデータセットの公開:
   • 5,981 件の x86 アセンブリ例を含むカスタムデータセットを公開。逆解析やマルウェア分析研究の基盤として活用可能。
3. 包括的な評価:
   • 8 つのモデルの定量的比較、REx86 の定性的分析、および人間によるユーザースタディを通じて、ローカル LLM の逆解析支援能力を実証。

4. 結果 (Results)

4.1 定量的評価

• 性能向上: ベースモデル（Qwen2.5-Coder-7B）と比較して、REx86 はテストセットの交差エントロピー損失を 64.2% 削減、意味的コサイン類似度を 20.3% 向上させました。
• モデル比較: 8 つのモデル中、Qwen2.5-Coder-7B と CodeLlama-7B が最も高い性能を示しましたが、Qwen2.5-Coder-7B が全体的にバランスが良く、特にインラインコメントやヘッダーコメントで優れていたため、これが REx86 として採用されました。
• 過学習: 2 エポック以降で検証損失が増加する傾向が見られ、早期停止が推奨されました。

4.2 人間によるケーススタディ

• ラインレベルの理解: REx86 使用群は、ベースモデル群と比較して「アセンブリコードの各行の機能理解」において統計的に有意な改善（$p=0.031$）を示しました。
• 解決率: 正解率は REx86 群で 53.33%、ベース群で 31.25%、制御群で 33.33% となりました。統計的有意差（$p=0.189$）には届きませんでしたが、改善の傾向は明確でした。
• 総括: 全体的な意図の理解やチャットの有用性については群間で大きな差はありませんでしたが、微細なコードレベルの支援において REx86 の価値が確認されました。

4.3 定性的評価

• 具体性の向上: ベースモデルが「暗号化やデータ変換」といった曖昧な推測を行うのに対し、REx86 はビット操作の具体的な順序（16 ビット、8 ビット、4 ビット、2 ビットの入れ替えなど）を正確に記述しました。
• ハルシネーションの減少: 文脈にそぐわない推測が減少し、コードの意図をより正確に捉えることができました。

5. 意義と結論 (Significance & Conclusion)

• ローカル環境での実用性: REx86 は、インターネット接続が制限された機密環境（SCIF、軍事施設、OT/ICS 環境など）において、クラウド LLM に依存せずに逆解析を支援できる最初の高性能なオープンウェイトモデルの一つです。
• ドメイン特化の重要性: 汎用 LLM を x86 アセンブリに特化して微調整することで、低レベルコードの文脈理解が劇的に向上することが実証されました。
• 今後の課題:
  • データセットの規模拡大（特にコメント付きのディスアセンブル出力の不足）。
  • ARM や MIPS など他のアーキテクチャへの拡張。
  • 専門家による大規模な実証実験の実施。

結論として: REx86 は、逆解析の完全自動化は達成できませんが、現在のローカル・オープンウェイト LLM 群の中で最先端の支援能力を提供し、逆解析作業の生産性とコード理解の深さを向上させる有効なツールであることが示されました。