Evaluating LLMs for Obfuscation Detection and Classification in Android Apps

本論文は、多様なデータセットおよび実験条件下において、既存の大規模言語モデルが意味論的推論を通じてAndroidアプリケーション内のコード難読化を検出し分類する能力を、従来の静的解析ツールと比較評価した大規模な実証研究を提示するものである。

要約

美味しいケーキの秘密のレシピを持っていると想像してみてください。誰かに盗まれないように、あなたはレシピを秘密のコードに書き換えることにしました。「砂糖」を「X99」に、「小麦粉」を「Z12」に変え、さらに手順の順番をバラバラにして、見た目はめちゃくちゃな状態にします。それでも、ケーキの味は全く変わりません。Androidアプリの世界でも、開発者はコードをハッカーや競合から守るために、このようなことを行います。このプロセスは「難読化（obfuscation）」と呼ばれます。

問題は、この秘密のコードが、セキュリティの専門家（「善玉」の人々）がアプリに安全性が欠けていないか、あるいは隠れた罠（脆弱性）がないかをチェックすることを非常に困難にするという点です。従来のセキュリティツールは、古めかしい「スペルチェッカー」のようなものです。それらは特定のパターンや既知の「悪い言葉」を探します。もしコードが新しい方法でバラバラにされていたら、これらのツールは混乱して問題を見逃してしまうことがあります。

大きな問い
この論文は、シンプルな問いを投げかけています。「現代の『AIの脳』（大規模言語モデル、またはLLM）は、ルールブックを必要とせずに、このバラバラにされたコードを読んで、『おや、これは隠されているようだ』と気づくことができるだろうか？」

LLMを、単なるスペルチェッカーではなく、コードの「物語」や「論理」を理解する超スマートな探偵として考えてみてください。たとえ名前や手順が変わっていたとしても、彼らは理解できるのです。

彼らはどのようにテストしたのか

研究者たちは、これらのAI探偵のために「トレーニングジム」を用意しました。

1. 制御されたジム（ベンチマーク）： 彼らは10個のクリーンで正直なアプリを取り出し、マシンを使って11通りの異なる方法でバラバラにしました（名前の変更、文字列の隠蔽、論理の歪曲など）。これにより、AIが正しいかどうかを確認するための完璧な「解答集」が得られました。
2. 現実の世界（ジャングル）： 次に、Google Playストアから1,000個の実在するアプリを取り出し、AIに難読化されたアプリを見つけ出させました。事前に答えを知らなかったため、AIが真実を述べているかどうかを確認するために、一部のサンプルを手動でチェックしました。

彼らは何を発見したのか

結果は驚くほど良好で、まるでAIが実際に目で見ることができる「干し草の山の中の針」を見つけたかのようでした。

• AIは優れた探偵である： 最良のAIモデル（具体的にはgpt-5-miniと呼ばれるもの）は、信じられないほどの正確さで難読化されたアプリを見抜きました。スコアは0.88（1.0満点）に達し、これは10回中ほぼ9回は正解したことを意味します。
• 古いツールよりも優れている： 現在の標準的なセキュリティツール（「古いスペルチェッカー」）と比較すると、AI探偵は圧倒的に優れていました。古いツールは、難読化されたアプリを完全に見逃したり、「オオカミ少年」のように誤報（誤検知）を出しすぎたりすることがよくありました。しかし、AIはコードの「意図」を理解していました。
• 最も得意だったこと： AIは名前の変更トリックを見抜く名人でした。もしアプリが「Login」を「a1b2c3」に変更していたら、AIは即座にそれを察知しました。それは、探偵が「部屋にいる全員がマスクを被っている」ことに気づくようなものです。
• 難しかったこと： AIは、より複雑なトリック、例えばリフレクション（Reflection）（アプリが最後の瞬間まで動きを隠しておく手法）に対しては少し苦戦しました。これらは、探偵であっても二度見が必要になるほど、手品師が巧妙にトリックを隠すようなものです。

「秘伝のソース」

研究者たちは、AIに詳細な指示書（特定のプロンプト）を与えたときに最も効果的であることを発見しました。単に「このコードは隠されていますか？」と聞くのではなく、「名前の変更や論理のスクランブルといった、特定の隠蔽トリックを探してください」と伝えたのです。これにより、AIはその超能力を集中させることができました。

結論

この論文は、AIがAndroidアプリにおける隠されたコードを見つけ出すための強力な新しいツールになり得ることを証明しています。

• 学習を必要としない： AIを一から教え込む必要はありません。現在利用可能な、そのまま使えるモデルを使用するだけでよいのです。
• 「なぜ」を理解する： パターンを探すだけの古いツールとは異なり、AIは論理を理解するため、ハッカーが新しいトリックでAIを欺くことが難しくなります。
• まだ完璧ではない： すべてを一瞬で解決する魔法の杖ではありません。また、一部の古いツールよりも速度は遅いですが、はるかに正確です。

要約すると、ハッカーが足跡を隠す技術が向上している一方で、私たちの新しいAI探偵たちは、かつてないほど鮮明にその変装を見抜けるようになっている、ということをこの論文は示しています。

技術概要

技術要約：Androidアプリにおける難読化の検出および分類のためのLLMの評価

問題提起
Androidアプリケーションの開発者は、知的財産を保護し、リバースエンジニアリングを妨害するために、コードの難読化にますます依存しています。しかし、これらの手法は同時に、構造的パターン、制御フローグラフ、および構文的ヒューリスティックに依存することが多い静的アプリケーションセキュリティテスト（SAST）ツールの有効性を低下させます。難読化が野生環境で普及していることは十分に文書化されていますが、APKが難読化されているかどうかを自動的に検出し、使用されている特定の技術を特定するという問題は、まだ十分に研究されていません。既存のアプローチは、手作業による特徴量やルールベースのヒューリスティックに大きく依存しており、これらは脆弱で、多様かつ進化する難読化戦略に対して汎用性に欠けます。本論文では、大規模言語モデル（LLM）が、意味論的な推論を通じて、手作業によるルール、定義済みのシグネチャ、または専用のモデル学習を必要とせずに、Androidアプリの難読化を検出・分類するという限界を克服できるかどうかを調査します。

手法
著者らは、Android APKから抽出されたSmaliコード上で直接動作する、LLM駆動型の分析パイプラインを用いた大規模な経験的研究を提示しています。この手法は以下の3つのフェーズで構成されます。

1. デコンパイル: 入力されたAPKはapktoolを使用してデコンパイルされ、Dalvikバイトコードが人間が読める形式のSmaliコードに変換されます。
2. 前処理: 開発者が実装したロジックに焦点を当てるため、パイプラインはAndroLibZooデータセットを使用して、Androidフレームワークのコンポーネントおよびサードパーティライブラリをフィルタリングします。計算コストとトークン制限を管理するため、著者らは統計的に有意なランダムサンプリング戦略（Cochranの公式を使用）を採用し、分析対象となる開発者定義クラスの代表的なサブセットを選択します。
3. LLM推論: パイプラインは、サンプリングされたクラスに対して、バイナリ検出（アプリが難読化されているか？）およびマルチクラス分類（どの技術が使用されているか？）を実行します。本研究では、ドメイン固有のコンテキストのレベルが異なる3つのプロンプトバリアントを用いて、6つの最先端モデル（gpt-5-mini、gpt-4o-mini、deepseek-r1、gemma3、qwen3、gpt-ossを含む）を評価します。アプリレベルのラベルを決定するために、難読化されたクラスの割合に対して決定閾値（$T$）が適用されます。

評価は以下の2つのデータセットに対して行われます。

• $D_{GT}$ (Ground Truth): 110個のAPKからなる制御されたベンチマーク（F-Droidからの10個のオリジナルアプリ、9つの特定のObfuscapk変換で難読化された90個のバリアント、およびR8で難読化された10個のバリアント）。
• $D_{W}$ (Real-World): 2026年にGoogle Playから収集された1,000個のランダムなAndroidアプリのデータセット。ここでは、統計的に有意なサンプルに対する手動検査によってグラウンドトゥルースが確立されます。

主な貢献

• 初の経験的研究: オフザシェルフのLLMが、純粋に意味論的な推論を通じて、Androidアプリのコード難読化を検出および分類する能力に関する、最初の規模の大きな調査です。
• 包括的な景観レビュー: 本論文は、一般的な技術（識別子名の変更、制御フロー変換、文字列暗号化）や広く使用されているツール（ProGuard/R8、Allatori、DexGuardなど）を含む、Android難読化の状況に関する詳細なレビューを提供します。
• 広範な評価: 複数のLLM、プロンプト定式化、および決定閾値を、既知のグラウンドトゥルースを持つ制御されたベンチマークと、大規模な実世界のデータセットの両方に対して評価します。
• 比較分析: LLMベースの推論を、既存のSASTベースおよびルールベースの難読化検出ツールと比較します。
• オープンリソース: 再現性をサポートするために、ベンチマーク、プロンプト、実装アーティファクト、および実験フレームワークを公開しています。

結果

• バイナリ検出: LLMは効果的に難読化を検出できます。最良の性能は、詳細なプロンプト（promptv3）と低い決定閾値（$T \in [0.1, 0.3]$）を使用したgpt-5-miniによって達成され、制御されたベンチマークにおいてYouden's J係数1.00を達成しました。gpt-oss 20bのようなオープンウェイトモデルも強力な性能を示しましたが、一部のモデル（例：deepseek-r1）は、過剰な偽陽性と引き換えに高い再現率を示しました。
• 技術分類: LLMは、高い精度で特定の難読化技術を特定できます。gpt-5-miniは、Top-1精度0.84およびTop-3精度0.94を達成しました。識別子ベースの変換（ClassRename、MethodRename、FieldRename）は一貫して検出が容易でしたが、ReflectionやCall Indirectionのように構文的な痕跡が限られている技術は依然として困難でした。
• SASTとの比較: LLMは、既存のSASTツール（SEBASTiAN、Trueseeing、APKHunt、およびNiroshanらによるツール）を大幅に上回りました。従来のツールは、多くの難読化されたアプリの検出に失敗したか（一部のRecallは0.00）、高い偽陽性率（FPRは最大0.90）を生じさせました。対照的に、LLMアプローチはベンチマークにおいてYouden's J 1.00を達成しました。
• 実世界での性能: 実世界のデータセット（$D_{W}$）において、最良のLLM構成は手動検証後にF1スコア0.88を達成し、強力な汎用性を示しました。本研究では、低閾値においてサンプルの約72%のアプリが難読化されていると推定されており、これは難読化採用の増加傾向と一致しています。

意義と主張
本論文は、LLMがAndroid難読化分析のための実行可能かつ効果的なアプローチであり、従来のルールベースまたはヒューリスティック駆動型の手法よりも柔軟で汎用性の高いソリューションを提供すると主張しています。著者らは、LLMがツール固有のシグネチャに依存するのではなく、変換の特性（例：名前変更のパターン）について推論することを通じて、異なる難読化ツール間で汎用性を発揮できることを強調しています。

本研究は、LLMがすべての難読化ファミリーに対して等しく効果的であるわけではない（複雑な制御フローやリフレクションベースの技術には苦戦する）ものの、Androidエコシステムで最も普及している難読化戦略（多くの場合R8による）である識別子名の変更に対して強力な性能を示すことから、実世界のアプリケーションの大部分に対して有意義な利益を提供できることを示唆しています。著者らは、本研究を、計算オーバーヘッド、モデルの非決定性、および現在の範囲がバイトコードレベル（Smali）の分析に限定されているという制限を指摘しつつ、生産環境向けのツールではなく、オフザシェルフのLLMの可能性を示す研究プロトタイプとして控えめに位置付けています。今後の課題として、マルウェアにおける難読化の調査、およびコードの脱難読化や意味論的再構築のためのLLMの探索が提案されています。