기술 요약: 적대적 코드 난독화 및 암호화 하의 IoC 복구 평가를 위한 대규모 언어 모델 벤치마킹

문제 제기

소프트웨어 난독화와 암호화는 사이버 보안 분석가들에게 지속적인 도전 과제이며, 특히 적대자가 소스 코드 내에 침해 지표 (IoC) — 예를 들어 IP 주소, 도메인, 또는 API 키 — 를 숨길 때 더욱 그렇습니다. 대규모 언어 모델 (LLM) 은 코드 추론과 난독화 해독에서 상당한 진전을 보였지만, 암호학적 암호화와 같은 적대적 은폐 기법에 대한 내성은 여전히 largely 미개척 상태입니다. 기존 벤치마크는 종종 점진적 난독화 하에서 보안 관련 아티팩트의 체계적 탐지보다는 구조적 복구나 가독성 개선에 초점을 맞추고 있습니다. furthermore, LLM 을 사용한 JavaScript 난독화 해독을 평가한 이전 연구들은 일반적으로 암호화 기법을 제외하고 IoC 의 자동 추출에 집중하지 않았습니다. 이 격차는 LLM 이 암호화된 코드에 숨겨진 아티팩트를 신뢰할 수 있게 식별할 수 있는지, 그리고 다양한 난독화 계층이 이 능력에 어떤 영향을 미치는지에 대한 중요한 질문들을 답하지 못하게 합니다.

방법론

저자들은 난독화 및 암호화된 JavaScript 프로그램에 내재된 IoC 를 복구하는 LLM 의 능력을 평가하기 위해 체계적이고 자동화된 벤치마크를 제안합니다. 방법론은 두 가지 주요 구성 요소로 이루어집니다:

1. 데이터셋 구축

본 연구는 "The Algorithms Project"에서 가져온 336 개의 원본 정상 JavaScript 파일을 기반으로 한 데이터셋을 활용합니다. 이러한 파일들은 현실적인 위협 시나리오를 모방하기 위해 12 단계의 점진적 은폐 수준으로 체계적으로 변환되었습니다. 변환 파이프라인은 다음과 같습니다:

• 구문 및 구조적 난독화: 변수 이름 변경, 죽은 코드 주입, 제어 흐름 평탄화, 그리고 문자열 인코딩.
• 암호학적 은폐: XOR 암호화와 AES-256 암호화.
• 점진적 복잡성: 14 단계는 경량 변환을 포함하며, 56 단계는 소스 코드에 직접 암호화 키와 루틴이 내장된 XOR 및 AES-256 암호화를 도입합니다. 7~12 단계는 암호화를 이전의 구문 및 구조적 난독화와 결합합니다.

중요하게도, 코드 내에 복호화 키를 포함함으로써 정적 분석을 통해 진실 (ground truth) 을 복구할 수 있도록 보장하여, 본 연구가 LLM 의 암호학적 구조에 대한 추론 능력을 평가할 수 있게 하고, 무차별 대입 암호 분석 능력을 평가하는 것이 아니게 합니다.

2. AI 지원 난독화 해독 및 평가

여러 상용 LLM(ChatGPT, Gemini, Anthropic, Grok, Cohere) 의 API 를 통해 쿼리하는 자동화된 프레임워크가 개발되었습니다. 이 과정은 다음과 같습니다:

• 표준화된 프롬프팅: 통제된 프롬프트 템플릿을 사용하여 모델에게 IoC 가 존재하는지 (YES/NO/DON'T KNOW) 판단하고, YES 인 경우 값을 추출하도록 요청합니다.
• 응답 정규화: 원시 출력을 자동화된 평가를 용이하게 하기 위해 통합된 스키마로 정규화합니다.
• 지표: 시스템은 탐지율, 추출 정확도, 오탐지/미탐지, 불확실성률, 그리고 환각 발생률을 측정합니다.

주요 기여

본 논문은 자동화된 위협 인텔리전스 및 코드 분석 분야에 세 가지 주요 기여를 합니다:

1. 자동화된 방법론: 다양한 수준의 난독화 및 암호화 하에서 숨겨진 IoC 를 탐지하는 여러 LLM 의 능력을 평가하기 위한 재현 가능한 프레임워크.
2. 대규모 데이터셋: 적대적 조건 하의 IoC 복구 벤치마킹을 위해 특별히 설계된 4,368 개의 수정된 JavaScript 인스턴스 (원본 336 개 × 12 개 변환 수준) 로 구성된 데이터셋의 구축 및 공개.
3. 포괄적인 실증적 평가: 최신 LLM 들의 상세한 비교를 통해 경량 변환 처리에서의 특정 강점과 암호화되거나 의미적으로 왜곡된 코드에 직면했을 때의 일관된 한계를 식별합니다. 또한 환각 패턴을 분석하여 모델 출력에서의 체계적 편향을 드러냅니다.

주요 결과

평가 결과, 난독화 유형에 기반한 LLM 성능의 날카로운 이분법이 드러났습니다:

• 경량 난독화 (0~4 단계): LLM 은 높은 성공률을 보입니다. ChatGPT, Claude, Gemini, Grok 와 같은 모델들은 일반 텍스트 및 Base64, 식별자 이름 변경, 죽은 코드, 구조적 평탄화와 같은 구문적 난독화에 대해 거의 완벽한 탐지 (100%) 를 달성했습니다. Cohere 는 점진적인 저하를 보였으나 여전히 기능적이었습니다.
• 암호학적 난독화 (5~12 단계): 성능이 급격히 붕괴됩니다. 암호화 (XOR 또는 AES-256) 가 도입되는 순간, 복호화 키가 코드에 존재하는지 여부와 상관없이 모든 모델의 탐지율이 거의 0 으로 떨어졌습니다.
  • 4 단계 (구조적 난독화) 에서 5 단계 (XOR 암호화) 로의 전환은 "성능 절벽"을 나타내며, 여기서 모델들은 체계적인 성공에서 거의 완전한 실패로 전환됩니다.
  • 암호화된 코드에 추가적인 구문적 또는 구조적 계층을 추가하는 것 (7~12 단계) 은 기본 암호화 실패 이상의 성능 저하를 크게 악화시키지 않았으며, 이는 암호화 자체가 지배적인 장벽임을 시사합니다.
• 환각: 대부분의 모델에서 집계된 환각 발생률은 낮았습니다 (Anthropic 과 ChatGPT 의 경우 0.25% 미만). 그러나 Gemini 는 더 높은 비율 (4.8%) 을 보였습니다. 환각된 IoC 는 무작위가 아니었습니다. 이들은 사설 IP 범위 (예: 192.168.17.101) 로 강한 편향을 보였으며, 이는 모델들이 자료를 해독하지 못할 때 "타당한" 보안 컨텍스트에 대한 학습된 휴리스틱으로 회귀함을 시사합니다.

중요성 및 주장

본 논문은 그 발견들이 LLM 기반 코드 분석을 위한 암호화를 중요한 최전선으로 확립한다고 주장합니다. 결과는 LLM 이 암호화되지 않거나 경량으로 난독화된 코드의 정적 분석 및 초기 분류에는 효과적인 도구이지만, 암호화된 페이로드에서 IoC 를 복구하기 위해 필요한 심볼릭 추론이나 코드 실행 시뮬레이션 능력을 현재는欠缺하고 있음을 나타냅니다.

저자들은 현재의 LLM 아키텍처가 심층 프로그램 의미론이나 제어 흐름 추론보다는 표면 수준의 토큰 인식과 의미적 패턴 매칭에 주로 의존한다고 결론지었습니다. 따라서 암호화의 존재는 LLM 이 IoC 인식에 사용하는 메커니즘을 근본적으로 방해합니다. 본 논문은 LLM 을 사이버 보안 파이프라인에 신중하게 통합할 것을 옹호하며, 전통적인 정적 또는 동적 분석이 그 능력을 보완하는 하이브리드 프레임워크의 일부로 사용되어야 하며, 암호화된 위협 인텔리전스에 대한 독립적인 솔루션으로 의존해서는 안 된다고 제안합니다.