CASCADE: LLM-Powered JavaScript Deobfuscator at Google

이 논문은 구글의 Gemini 와 JavaScript IR 을 결합한 하이브리드 방식인 CASCADE 를 통해 기존 규칙 기반 접근법의 한계를 극복하고, 코드 가독성 및 분석 효율성을 획기적으로 개선한 JavaScript 역어셈블리 시스템을 소개합니다.

핵심

CASCADE: 구글의 '악성 코드 해독기' 이야기

이 논문은 구글에서 개발한 CASCADE라는 새로운 도구에 대해 설명합니다. 이 도구는 웹상에서 악성 코드를 숨기거나 복잡하게 만드는 '난독화 (Obfuscation)'된 자바스크립트 코드를 다시 원래의 깔끔한 형태로 되돌려주는 역할을 합니다.

이 복잡한 기술 이야기를 일반인도 쉽게 이해할 수 있도록 마법사, 해적의 지도, 그리고 정밀한 기계의 비유로 풀어보겠습니다.

---

1. 문제: "왜 코드는 이렇게 엉망으로 변했을까?"

웹사이트나 앱이 작동하려면 자바스크립트라는 언어가 필요합니다. 하지만 해커들은 이 코드를 읽기 어렵게 변형시켜서 (난독화) 자신의 악의적인 의도를 숨깁니다.

• 비유: 해커가 보물 지도를 그렸다고 상상해 보세요. 하지만 지도를 읽을 수 없게 만들기 위해, 글자를 모두 뒤섞고, 숫자로만 된 암호를 넣으며, 지도를 여러 장으로 잘라낸 뒤 다시 붙여놓았습니다. 이제 이 지도를 보고 보물 (악성 코드) 을 찾으려면 엄청난 노력이 필요합니다.

기존의 해독 도구들은 이 암호를 풀기 위해 수천 개의 규칙을 외워야 했습니다. 하지만 해커가 암호 규칙을 아주 조금만 바꿔도 (예: true를 !false로 바꾸는 것), 기존 도구들은 완전히 망가져서 작동하지 않았습니다.

2. 해결책: CASCADE (두 명의 파트너가 함께 일하다)

CASCADE 는 이 문제를 해결하기 위해 두 명의 전문가를 팀으로 꾸렸습니다.

1 단계: AI 마법사 (Gemini) 가 "열쇠"를 찾는다

첫 번째 파트너는 구글의 초지능 AI인 Gemini입니다.

• 역할: 해커가 만든 복잡한 코드 속에서 **"시작 열쇠 (Prelude Functions)"**를 찾아냅니다.
• 비유: 해적의 지도가 뒤섞여 있을 때, AI 마법사는 "아! 이 부분만 보면 원래 지도가 어떻게 생겼는지 알 수 있겠구나!"라고 눈치챕니다. AI 는 수천 개의 규칙을 외울 필요 없이, 코드의 맥락을 이해하고 열쇠가 어디에 있는지 찾아냅니다.
• 장점: 해커가 암호를 살짝 바꿔도 AI 는 "아, 이건 여전히 같은 열쇠구나"라고 알아챕니다.

2 단계: 정밀한 기계 (JSIR) 가 "해독"을 수행한다

두 번째 파트너는 구글의 **컴파일러 기술 (JSIR)**로 만든 정밀한 기계입니다.

• 역할: AI 가 찾아낸 열쇠를 이용해 암호를 정확하게 풀어냅니다.
• 비유: AI 가 "여기 열쇠가 있어요!"라고 알려주면, 정밀한 기계는 그 열쇠로 자물쇠를 열고, 암호화된 글자들을 하나하나 원래 단어 (예: "Hello World") 로 바꾸고, 숫자 계산을 정확히 수행합니다.
• 중요한 점: AI 는 가끔 "환각 (Hallucination)"이라고 해서, 없는 것을 있는 것처럼 말하거나 계산을 틀릴 수 있습니다. 하지만 기계는 절대 실수하지 않습니다. "1+1=2"를 틀릴 리가 없죠.

3. CASCADE 의 혁신적인 방식: "혼합 (Hybrid)" 전략

이 도구의 가장 큰 특징은 AI 와 기계가 서로의 단점을 보완한다는 점입니다.

• 기존 방식의 문제:
  • AI 만 쓰면: 계산 실수를 해서 코드가 망가질 수 있습니다. (예: "Hello"를 "Hell0"로 잘못 바꿈)
  • 기계만 쓰면: 해커가 암호 규칙을 조금만 바꿔도 아예 작동하지 않습니다.
• CASCADE 의 방식:
  1. AI가 "어디에 열쇠가 있는지"만 찾아냅니다. (이 부분은 AI 가 잘합니다.)
  2. 기계가 그 열쇠로 "정확하게 해독"합니다. (이 부분은 기계가 잘합니다.)

이 덕분에 CASCADE 는 해커가 암호를 어떻게 변형시키든 상관없이, 99% 이상의 정확도로 코드를 원래 모습으로 되돌릴 수 있습니다.

4. 실제 효과: 구글에서 어떻게 쓰일까요?

이 기술은 이미 구글의 실제 서비스 (프로덕션 환경) 에서 작동하고 있습니다.

• 속도: 파일 하나를 해독하는 데 평균 2 초 정도밖에 걸리지 않습니다.
• 효율: 하루에 수백만 개의 자바스크립트 파일을 스캔할 수 있습니다.
• 결과: 해커가 숨겨둔 악성 코드를 쉽게 찾아낼 수 있게 되어, 사용자들이 더 안전한 인터넷 환경을 즐길 수 있게 되었습니다.

요약: 한 줄로 정리하면?

"CASCADE 는 AI 마법사가 복잡한 암호의 '열쇠'를 찾아주고, 정밀한 기계가 그 열쇠로 암호를 완벽하게 풀어주는, 해커의 난독화 코드를 무력화시키는 구글의 최신 보안 무기입니다."

이 기술은 인공지능의 창의성과 기계의 정확성을 결합하여, 소프트웨어 보안 분야에서 새로운 기준을 제시하고 있습니다.

기술 요약

1. 문제 정의 (Problem)

• 배경: 자바스크립트는 웹 개발의 핵심 언어이나, 악성코드 제작자나 지적재산권 보호를 위해 코드 난독화 (Obfuscation) 기법이 광범위하게 사용됩니다.
• 난제: 난독화된 코드는 가독성을 떨어뜨리고 정적 분석, 소프트웨어 테스트, 악성코드 탐지를 어렵게 만듭니다. 특히 Obfuscator.IO는 가장 널리 사용되는 난독화 도구 중 하나로, 문자열 리터럴과 API 이름을 인코딩하거나 복잡한 산술 연산으로 감추는 기법을 사용합니다.
• 기존 기술의 한계:
  • 규칙 기반 (Rule-based) 접근법: WebCrack 등 기존 도구는 AST(추상 구문 트리) 패턴 매칭에 의존합니다. 난독화 도구가 미세하게 문법이나 변수 이름을 변경하기만 해도 (예: while(true) 를 while(!![]) 로 변경) 규칙이 깨져서 분석이 실패합니다.
  • 순수 LLM 접근법: 대규모 언어 모델 (LLM) 은 코드 이해 능력이 뛰어나지만, 논리적/수학적 추론에서 오류 (할루시네이션) 를 일으킬 수 있습니다. 난독화 해제 과정의 작은 산술 오류조차 프로그램의 동작을 완전히 바꿀 수 있어 신뢰성이 부족합니다.
  • 동적 분석: 런타임 환경이 필요하고 성능 오버헤드가 크며 보안상 위험할 수 있습니다.

2. 방법론 (Methodology)

논문은 CASCADE라는 하이브리드 프레임워크를 제안합니다. 이는 **Gemini(LLM)**의 고급 코드 이해 능력과 **JSIR(JavaScript Intermediate Representation, 컴파일러 중간 표현)**의 결정론적 변환 능력을 결합한 방식입니다.

핵심 아키텍처 및 프로세스:

1. 프롤로그 함수 (Prelude Functions) 탐지 (LLM 활용):

   • Obfuscator.IO 는 문자열 난독화를 위해 특정 템플릿 기반의 '프롤로그 함수' (문자열 배열 정의, 문자열 가져오기 함수, 배열 회전 로직 등) 를 생성합니다.
   • Gemini를 사용하여 이러한 패턴을 탐지합니다. LLM 은 수천 줄의 수동 규칙 대신 프롬프트 엔지니어링 (Few-shot learning) 을 통해 코드 패턴을 식별합니다.
   • 탐지된 함수는 **순수 함수 (Pure Function, 부수 효과 없음)**로 간주됩니다.

2. 동적 실행 (Dynamic Execution):

   • 탐지된 프롤로그 함수들을 샌드박스 환경 (V8 또는 QuickJS) 에서 실행하여 실제 문자열 값을 추출합니다. 이는 정적 분석만으로는 해결하기 어려운 복잡한 회전 (Rotation) 로직이나 인코딩을 우회합니다.

3. JSIR 기반 변환 (Static Transformation):

   • JSIR(MLIR 기반): Google 의 차세대 자바스크립트 컴파일러 인프라를 사용합니다.
   • 확장된 상수 전파 (Constant Propagation): LLM 이 식별한 프롤로그 함수를 내장 함수처럼 취급하고, 동적 실행 결과를 상수 값으로 대체합니다.
   • 인라인 (Inlining): 변수 별칭 (Alias), 래퍼 함수 (Wrapper), 객체 래퍼 등 난독화를 위한 간접 참조 (Indirection) 를 제거하고 원래의 문자열 리터럴과 API 호출로 복원합니다.

하이브리드 접근법의 장점:

• LLM: 복잡한 패턴 인식과 규칙 유지 관리 비용 절감.
• JSIR/컴파일러: 정확한 논리 연산, 부수 효과 없는 변환, 기능적 동등성 (Functional Equivalence) 보장.

3. 주요 기여 (Key Contributions)

1. 혁신성: LLM 과 컴파일러 수준의 IR 변환을 결합한 최초의 자바스크립트 난독화 해제 프레임워크입니다. 확률적 이해 (LLM) 와 결정론적 재작성 (Compiler) 을 융합했습니다.
2. 산업 현장 배포: Google 의 프로덕션 환경에 배포되어 WebCrack 및 Deobfuscator.IO 와 같은 기존 도구에서 필요했던 수천 줄의 경직된 규칙 (Hard-coded rules) 을 제거했습니다.
3. 강건성 (Robustness): Obfuscator.IO 의 사소한 변경 (변수 이름, 문법 구조 변경 등) 에도 규칙 기반 도구가 실패하는 반면, CASCADE 는 LLM 의 유연성과 IR 의 안정성으로 이를 견딜 수 있습니다.
4. 확장성: 프롬프트 템플릿과 JSIR 인프라를 오픈소스화하여 커뮤니티의 재현과 채택을 장려합니다.

4. 실험 결과 (Results)

연구진은 ETH 150k 데이터셋에서 추출한 3,000 개의 자바스크립트 샘플을 Obfuscator.IO 의 4 가지 설정 (Default, Low, Medium, High) 으로 난독화하여 총 11,740 개의 테스트 케이스로 평가했습니다.

• 프롤로그 함수 탐지 (RQ1):
  • Gemini 는 **99.56%**의 정확도로 프롤로그 함수를 성공적으로 탐지했습니다.
  • 특히 Default 및 Low 설정에서는 100% 응답률을 보였습니다.
• 문자열 복원 및 성능 (RQ2):
  • 전체 샘플의 **98.93%**에서 난독화 해제에 성공했습니다.
  • 파일당 평균 945 개의 문자열 리터럴을 복원했습니다.
  • 평균 실행 시간은 2.298 초로, 대규모 배치 처리에 적합한 속도를 보입니다.
  • 고난이도 (High) 설정에서도 97% 이상의 성공률을 유지하며, 평균 2,493 개의 리터럴을 복원했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 책임 있는 AI 사용: CASCADE 는 LLM 이 직접 코드를 생성하거나 수정하는 것이 아니라, 패턴 탐지에만 LLM 을 사용하고, 실제 변환은 검증된 컴파일러 기술 (JSIR) 에 맡깁니다. 이는 LLM 의 할루시네이션으로 인한 논리 오류를 방지하고, 결과의 설명 가능성 (Explainability) 과 검증 가능성을 높입니다.
• 실용성: Google 의 프로덕션 환경에서 매일 수백만 개의 자바스크립트 파일을 스캔하여 악성코드를 탐지하는 데 활용되고 있으며, 역공학적 노력과 수동 분석 비용을 획기적으로 줄였습니다.
• 미래 전망: 현재는 Obfuscator.IO 의 문자열 난독화에 집중되어 있지만, 향후 LLM 에이전트화를 통해 제어 흐름 평탄화 (Control-flow flattening) 등 다른 난독화 기법과 다른 도구들을 지원할 수 있는 확장성을 가지고 있습니다.

요약하자면, CASCADE 는 LLM 의 유연성과 컴파일러의 정확성을 결합하여 기존 규칙 기반 도구의 한계를 극복하고, 산업 현장에서 즉시 활용 가능한 고품질의 자바스크립트 난독화 해제 솔루션을 제시한 획기적인 연구입니다.