Evaluating LLMs for Obfuscation Detection and Classification in Android Apps

기술 요약: 안드로이드 앱의 난독화 탐지 및 분류를 위한 LLM 평가

문제 정의
안드로이드 애플리케이션 개발자들은 지적 재산을 보호하고 역공학을 방해하기 위해 코드 난독화에 점점 더 의존하고 있습니다. 그러나 이러한 기법은 구조적 패턴, 제어 흐름 그래프(control-flow graphs), 구문론적 휴리스틱에 의존하는 정적 애플리케이션 보안 테스트(SAST) 도구의 효과를 동시에 저하시킵니다. 야생(in the wild)에서의 난독화 보급률은 잘 문서화되어 있지만, APK가 난독화되었는지 여부를 자동으로 탐지하고—사용된 특정 기법을 식별하는—문제는 여전히 미개척 영역으로 남아 있습니다. 기존 방식은 수작업으로 제작된 특징(features)이나 규칙 기반 휴리스틱에 크게 의존하며, 이는 취약하고 다양하며 진화하는 난독화 전략 전반에 걸쳐 일반화하기 어렵습니다. 본 논문은 대규모 언어 모델(LLM)이 의미론적 추론(semantic reasoning)을 통해, 수작업 규칙, 사전 정의된 시그니처 또는 별도의 모델 학습 없이도 안드로이드 앱의 난독화를 탐지하고 분류하는 데 있어 이러한 한계를 극로할 수 있는지 조사합니다.

방법론
저자들은 Android APK에서 추출된 Smali 코드에서 직접 작동하는 LLM 기반 분석 파이프라인을 활용하여 대규모 경험적 연구를 제시합니다. 방법론은 세 단계로 구성됩니다:

1. 디컴파일(Decompilation): 입력된 APK는 apktool을 사용하여 Dalvik 바이트코드를 인간이 읽을 수 있는 Smable 코드로 변로합니다.
2. 전처리(Preprocessing): 개발자가 구현한 로직에 집중하기 위해, 파이프라인은 AndroLibZoo 데이터셋을 사용하여 안드로이드 프레임워크 구성 요소와 제3자 라이브러리를 필터링합니다. 계산 비용과 토큰 제한을 관리하기 위해, 저자들은 통계적으로 유의미한 무작위 샘플링 전략(Cochran의 공식 사용)을 채택하여 분석을 위한 대표적인 개발자 정의 클래스 서브셋을 선택합니다.
3. LLM 추론(LLM Inference): 파이프라인은 샘플링된 클래스에 대해 이진 탐지(앱이 난독화되었는가?) 및 다중 클래스 분류(어떤 기법이 사용되었는가?)를 수행합니다. 연구는 세 가지 프롬프트 변형(도메인 특화 컨텍스트 수준이 증가함)에 대해 6가지 최첨단 모델(gpt-5-mini, gpt-4o-mini, deepseek-r1, gemma3, qwen3, gpt-oss)을 평가합니다. 앱 수준의 레이블을 결정하기 위해 난독화된 클래스의 비율에 결정 임계값($T$)이 적용됩니다.

평가는 다음 두 가지 데이터셋을 통해 수행됩니다:

• $D_{GT}$ (Ground Truth): 110개의 APK로 구성된 통제된 벤치마크 (F-Droid의 원본 앱 10개, 9가지 특정 Obfuscapk 변환으로 난독화된 변형 90개, R8로 난독화된 변형 10개).
• $D_{W}$ (Real-World): 2026년에 Google Play에서 수집된 1,000개의 무작위 안드로이드 앱 데이터셋으로, 통계적으로 유의미한 샘플에 대한 수동 검사를 통해 그라운드 트루스를 확립합니다.

주요 기여

• 최초의 경험적 연구: 오프더쉘프(off-the-shelf) LLM이 순수하게 의미론적 추론을 통해 안드로이드 앱의 코드 난독화를 탐지하고 분류할 수 있는 능력을 조사한 최초의 대규모 연구입니다.
• 포괄적인 환경 리뷰: 식별자 이름 변경(Identifier Renaming), 제어 흐름 변환(Control Flow Transformation), 문자열 암호화(String Encryption)와 같은 일반적인 기법 및 ProGuard/R8, Allatori, DexGuard 등 널리 사용되는 도구를 포함한 안드로이드 난독화 환경에 대한 상세한 리뷰를 제공합니다.
• 광범-한 평가: 알려진 그라운드 트루스가 있는 통제된 벤치마크와 대규모 실제 데이터셋 모두에 대해 여러 LLM, 프롬프트 구성 및 결정 임계값을 평가합니다.
• 비교 분석: LLM 기반 추론을 기존의 SAST 기반 및 규칙 기반 난독화 탐지 도구와 비교합니다.
• 오픈 리소스: 재현성을 지원하기 위해 벤치마크, 프롬프트, 구현 아티팩트 및 실험 프레임워크를 공개합니다.

결과

• 이진 탐지(Binary Detection): LLM은 난독화를 효과적으로 탐지할 수 있습니다. 최고의 성능은 상세한 프롬프트(promptv3)와 낮은 결정 임계값($T \in [0.1, 0.3]$)을 사용하는 gpt-5-mini에서 나타났으며, 통제된 벤치마크에서 Youden's J 계수 1.00을 달성했습니다. gpt-oss 20b와 같은 오픈 웨이트 모델도 강력한 성능을 보였으나, deepseek-r1과 같은 일부 모델은 과도한 거짓 양성(false positives)을 대가로 높은 재현율(recall)을 보였습니다.
• 기법 분류(Technique Classification): LLM은 높은 정확도로 특정 난독화 기법을 식별할 수 있습니다. gpt-5-mini는 Top-1 정확도 0.84, Top-3 정확도 0.94를 달성했습니다. 식별자 기반 변환(ClassRename, MethodRename, FieldRename)은 일관되게 탐지하기 가장 쉬웠던 반면, Reflection 및 Call Indirection과 같이 구문론적 흔적이 제한적인 기법은 여전히 까다로운 과제로 남았습니다.
• SAST와의 비교: LLM은 기존 SAST 도구들(SEBASTiAN, Trueseeing, APKHunt, 그리고 Niroshan 등의 도구)을 실질적으로 능가했습니다. 전통적인 도구들은 많은 난독화된 앱을 탐지하지 못하거나(일부 Recall 0.00), 높은 거짓 양성률(FPR 최대 0.90)을 기록했습니다. 반면, LLM 접근 방식은 벤치마크에서 Youden's J 1.00을 달성했습니다.
• 실제 환경 성능: 실제 데이터셋($D_{W}$)에서 최적의 LLM 구성은 수동 검증 후 0.88의 F1-score를 달성하였으며, 이는 강력한 일반화 가능성을 나타냅니다. 연구 결과, 낮은 임계값에서 샘 샘플 내 약 72%의 앱이 난독화된 것으로 추정되었으며, 이는 난독화 도입이 증가하는 추세와 일치합니다.

의의 및 주장
본 논문은 LLM이 기존의 규칙 기반 또는 휴리스틱 기반 방법보다 더 유연하고 일반화 가능한 솔루션을 제공하며, 안드로이드 난독화 분석을 위한 실행 가능하고 효과적인 접근 방식임을 주장합니다. 저자들은 LLM이 도구 특유의 시그니처에 의존하는 대신 변환의 특성(예: 이름 변경 패턴)에 대해 추론하며, 이를 통해 서로 다른 난독화 도구 전반에 걸쳐 일반화할 수 있다는 점을 강조합니다.

연구는 LLM이 모든 난독화 패밀리에 대해 동일하게 효과적인 것은 아니지만(복잡한 제어 흐름이나 리플렉션 기반 기법에는 어려움을 겪음), 안드로이드 생태계에서 가장 흔한 난독화 전략(종종 R8을 통한 식별자 이름 변경)에 대한 강력한 성능을 보여준다는 점에서 실제 애플리케이션의 상당 부분에 유의미한 이점을 제공할 수 있음을 강조합니다. 저자들은 자신의 작업을 생산 준비가 된 도구라기보다는 오프더쉘프 LLM의 잠재력을 입증하는 연구 프로토타입으로 겸허히 위치시키며, 계산 오버헤드, 모델의 비결정성, 현재 바이트코드(Smali) 수준 분석에 국한된 범위와 같은 한계점을 언급했습니다. 향후 연구로는 악성코드에서의 난독화 조사 및 코드 디오브스큐케이션(deobfuscation)과 의미론적 재구성을 위한 LLM 활용이 제안되었습니다.