OBsmith: LLM 기반 JavaScript 오프스케이터 (Obfuscator) 테스트 기술 요약

본 논문은 OBsmith라는 새로운 프레임워크를 제안하며, 이는 대규모 언어 모델 (LLM) 을 활용하여 JavaScript 오프스케이터의 **정확성 (Correctness)**을 체계적으로 테스트하는 도구입니다. 기존 연구들이 오프스케이터의 성능이나 역공학 저항성 (Reverse Engineering Resistance) 에 집중했던 반면, OBsmith 는 오프스케이터가 원본 프로그램의 의미 (Semantics) 를 보존하는지, 즉 기능적 오류를 유발하지 않는지에 초점을 맞춥니다.

1. 문제 정의 (Problem)

• 오프스케이터의 중요성과 위험: JavaScript 오프스케이터는 지적 재산 보호 및 악성 코드 은닉에 널리 사용됩니다. 그러나 오프스케이터가 코드를 난독화하는 과정에서 의도치 않게 프로그램의 기능을 변경하거나 (Silent Miscompilation), 예기치 않은 버그를 도입할 수 있습니다.
• 기존 평가의 한계: 기존 평가는 주로 디오프스케이션 (Deobfuscation) 저항성을 측정하거나 크래시 (Crash) 위주로 테스트했습니다. 그러나 오프스케이터는 프로그램이 실행되지만 잘못된 결과를 반환하거나, 예외 처리를 누락시키는 등 **침묵하는 오류 (Silent Bugs)**를 유발할 수 있어, 기존 테스트 방법으로는 발견하기 어렵습니다.
• 테스트 오라클 (Oracle) 부재: 일반적인 컴파일러 테스트는 여러 구현체를 비교하는 차분 테스트 (Differential Testing) 를 사용하지만, 오프스케이터의 경우 "정답 (Ground Truth)"인 원본 프로그램이 존재하므로 이를 기준으로 한 정밀한 검증이 필요합니다.

2. 방법론 (Methodology)

OBsmith 는 LLM 기반의 스케치 (Sketch) 생성과 **참조 기반 동등성 테스트 (Reference-Oriented Equivalence Testing)**를 핵심으로 합니다.

A. LLM 기반 스케치 생성 (LLM-Powered Sketch Generation)

• 스케치 정의: "구멍 (Holes)"이 있는 프로그램 템플릿으로, 리터럴, 변수 참조, 표현식 등을 플레이스홀더 (Placeholder) 로 남깁니다.
• LLM 활용: LLM 을 프롬프트하여 다양한 JavaScript 패턴 (제어 흐름, 동적 평가 eval, 스코프 규칙 등) 을 포함하는 고품질 스케치를 생성합니다.
• 피드백 루프 (Feedback Loop): 테스트 실패 사례를 분석하여 LLM 에게 피드백을 제공하고, 이를 통해 더 취약한 시나리오를 포착하는 새로운 스케치를 생성하는 적응형 사이클을 구현합니다.
• 실제 코드 추출: 기존 JavaScript 프로젝트에서 AST(추상 구문 트리) 를 파싱하여 실제 개발 패턴을 반영한 스케치를 자동으로 추출하는 기능도 포함합니다.

B. 프로그램 채우기 및 강화 (Program Filling & Enhancing)

• 채우기 (Filling): 생성된 스케치의 플레이스홀더를 구체적인 값 (랜덤 숫자, 변수 등) 으로 채워 실행 가능한 JavaScript 프로그램을 생성합니다.
• 강화 (Enhancing): 생성된 프로그램에 로깅 코드를 주입합니다. 전역 오류 처리, 블록 단위 제어 흐름 추적, 데이터 흐름 체크섬 (변수 상태 스냅샷) 등을 기록하여 원본과 오프스케이트된 버전 간의 미세한 차이를 포착할 수 있게 합니다.

C. 테스트 오라클 (Testing Oracles)

1. 참조 기반 동등성 테스트 (Reference-Oriented Equivalence Testing):
   • 원본 프로그램을 **참조 오라클 (Ground Truth)**로 간주합니다.
   • 오프스케이트된 프로그램의 출력, 예외 발생 여부, 종료 상태, 제어 흐름, 데이터 상태 등을 원본과 비교하여 불일치가 있는지 확인합니다.
2. 변형 테스트 (Metamorphic Testing):
   • 의미론적으로 동일한 변환 (예: x + 0을 x 로 변경) 을 원본에 적용한 후 오프스케이트하여, 오프스케이터가 이러한 변환에 대해 일관된 동작을 보이는지 검증합니다.

3. 주요 기여 (Key Contributions)

1. 최초의 LLM 기반 오프스케이터 테스트 프레임워크: 오프스케이터의 정확성을 검증하기 위해 LLM 과 스케치 기법을 결합한 최초의 체계적인 도구인 OBsmith 를 제안했습니다.
2. 실제 버그 발견: 두 가지 널리 사용되는 오프스케이터 (Obfuscator.IO, JS-Confuser) 를 대상으로 11 가지의 새로운 정확성 버그를 발견했습니다. 이는 기존 상태-of-the-art 자바스크립트 퍼저 (FuzzJIT, Fuzzilli 등) 가 동일한 예산으로 발견하지 못한 문제들입니다.
3. 새로운 테스트 패러다임: 단순한 크래시 탐지를 넘어, "침묵하는 오류 (Silent Miscompilation)"와 같은 의미론적 편차를 탐지할 수 있는 오라클을 설계했습니다.

4. 실험 결과 (Results)

• 실험 설정: 6 개의 LLM(Gemini, GPT-5, Claude 등) 을 사용하여 600 개의 스케치를 생성하고, 이를 채워 3,000 개 이상의 프로그램을 생성했습니다. 이를 7 가지 다른 오프스케이터 설정으로 테스트했습니다.
• 버그 발견:
  • JS-Confuser: 생성자 이름 손상, eval() 크래시, 예외의 침묵적 수정 (Suppression), 스코프 위반, 제어 흐름 변경 등 8 가지 버그.
  • Obfuscator.IO: 처리되지 않은 문법 구조, 타입 오류 등 3 가지 버그.
• 기존 퍼저와의 비교: 동일한 프로그램 예산 (3,000 개) 하에서 5 가지 주요 JavaScript 퍼저 (FuzzJIT, Jsfunfuzz 등) 는 OBsmith 가 발견한 11 가지 버그 중 하나도 재발견하지 못했습니다. 이는 OBsmith 가 오프스케이터 특유의 변환 오류를 탐지하는 데 훨씬 효과적임을 보여줍니다.
• 성능 영향: 오프스케이터 설정에 따라 파일 크기와 실행 시간이 크게 증가할 수 있음을 정량적으로 분석했습니다 (예: JS-Confuser High 설정 시 파일 크기 7,500% 증가).

5. 의의 및 결론 (Significance)

• 보안 및 신뢰성 강화: 오프스케이터가 의도한 보안 목적을 달성하면서도 프로그램의 기능을 손상시키지 않도록 보장하는 자동화된 검증 도구를 제공합니다.
• 개발자 및 연구자 지원: 오프스케이터 개발자에게는 버그 수정을 위한 인사이트를, 실무자에게는 안전한 도구 선택을 위한 기준을 제공합니다.
• 미래 지향성: LLM 을 활용한 프로그램 생성과 테스트 오라클 설계는 오프스케이터뿐만 아니라 의미 보존이 필요한 다른 변환 도구 체인 (Toolchains) 의 품질 보증에도 적용 가능한 중요한 발걸음입니다.

요약하자면, OBsmith는 LLM 의 도메인 지식 활용 능력을 통해 JavaScript 오프스케이터가 숨겨진 기능적 결함을 가지고 있는지 체계적으로 찾아내는 혁신적인 테스트 프레임워크입니다.