기술 요약: SecRL-Prune

문제 정의

대규모 코드 언어 모델(CodeLLMs)은 프로그램을 생성하고 재작성하는 능력을 갖추고 있으며, 이러한 기능은 시그니처 기반 탐지를 회피하는 다양한 악성코드 변종을 생성하는 데 악용될 수 있습니다. 여기서 중요한 보안 질문이 제기됩니다. 이러한 모델들이 제한된 하드웨어 예산(예: 악성코드 페이로드에 내장되거나 소비자용 하드웨어에서 실행되는 경우) 내에 적합하도록 압축(프루닝, 증류 또는 양자화)되면서도, 의미론적으로 보존된 코드 변이(semantics-preserving code mutation) 능력을 유지할 수 있는가 하는 점입니다.

현재의 모델 압축 연구는 주로 자연어 작업에 집중되어 있어, 구조적 압축이 CodeLLM의 실행 정확성과 변이 다양성에 미치는 영향에 대한 연구는 미진한 상태입니다. 또한, 기존의 구조적 프루닝(structured pruning) 방법들은 학습 중에 교사(teacher) 모델과 학생(student) 모델을 GPU 메모리에 동시에 유지해야 하는 등 상당한 계산 자원을 요구하며, 이는 자원이 제한된 적대적 시나리오에서의 실현 가능성을 제한합니다.

방법론: SecRL-Prune

저자들은 코드 변이의 충실도(fidelity)를 보존하면서 CodeLLM을 프루닝하기 위해 설계된 구조적 강화 학습(RL) 프레임워크인 SecRL-Prune을 제안합니다. 이 접근 방식은 트랜스포머 블록 내의 피드 포워드 네트워크(FFN/MLP) 채널을 대상으로 합니다. 이 레이어들은 모델 파라미터의 대부분을 포함하고 있기 때문입니다.

핵심 구성 요소

1. RL 기반 정책 학습 (RL-Based Policy Learning):

   • 이 문제는 모든 레이어에 걸쳐 최적의 프루닝 마스크(각 MLP 채널을 유지하거나 제거할지에 대한 이진 결정)를 찾는 문제로 정식화됩니다.
   • 정책 네트워크(policy network)는 각 채널에 중요도 점수를 할당하는 법을 학습합니다. 학습 과정에서 정책은 마스크를 샘플링하여 "학생" 모델을 생성합니다.
   • 목표는 어떤 채널이 교사 모델의 동작을 유지하는 데 필수적인지, 그리고 어떤 채형이 안전하게 제거될 수 있는지를 식별하는 것입니다.

2. KL-Divergence 보상 신호 (KL-Divergence Reward Signal):

   • 보상 함수는 지식 증류(Knowledge Distillation)를 기반으로 합니다. 프루닝된 학생 모델은 원래의 "교사" 모델과 비교 평가됩니다.
   • 보상은 교사의 다음 토큰 확률 분포와 학생의 분포 사이의 음의 쿨백-라이블러 발산(Kullback-Leibler divergence)으로 정의됩니다.
   • 학생 모델이 교사의 능력을 보존하도록 보장하기 위해, 정책은 이 보상을 최대화하도록(즉, 발산을 최소화하도록) REINFORCE 알고리즘을 사용하여 업데이트됩니다.

3. Top-$P$ 캐싱 메커니즘 (Top-$P$ Caching Mechanism):

   • 효율성을 높이기 위한 핵심 혁신은 교사 출력의 캐싱입니다. 교사와 학생 모델을 병렬로 실행하는 대신(이는 두 배의 GPU 메모리를 요구함), 교사 모델을 캘리브레이션 세트(calibration set)에 대해 한 번만 실행합니다.
   • 각 타임 스텝마다 상위 $P$개의 토큰 예측(로짓 및 인덱스)과 하나의 통합된 "기타(Other)" 버킷만을 캐싱합니다.
   • RL 학습 중에 학생 모델은 이 압축된 캐시된 타겟에 대해서만 평가됩니다. 이를 통해 최적화 과정 중에는 학생 모델만이 메모리에 존재하게 되어 피크 GPU 메모리 사용량을 크게 줄일 수 있습니다.

주요 기여

본 논문은 네 가지 주요 기여를 설명합니다:

1. SecRL-Prune 프레임워크: 압축 하에서도 교사의 행동을 보존하기 위해 KL 가이드 목적 함수를 사용하는 CodeLLM용 새로운 RL 기반 구조적 프루닝 프레임워크를 제시합니다.
2. 메모리 효율적 학습: 교사 출력을 사전 계산하는 캐싱 메커니즘을 도입하여, 프루닝 정책이 메모리에 학생 모델만 가지고도 학습할 수 있도록 합니다. 이는 기존 구조적 프루닝 기술에 비해 훨씬 낮은 피크 GPU 사용량을 제공합니다.
3. 변이에 대한 경험적 연구: 실행 기반 메트릭을 사용하여 구조적 압축이 CodeLLM의 기능 보존형, 구문 다양성 코드 변이 능력에 미치는 영향을 체계적으로 평가합니다.
4. 악성코드 회피 사례 연구: 프루닝된 모델에 의해 생성된 의미 보존 변이가 산업 표준 악성코드 엔진(VirusTotal)의 탐지율에 미치는 영향을 평가합니다.

실험 결과

저자들은 세 가지 7B 규모의 CodeLLM(CodeLlama-7B-Instruct, CodeLlama-7B-Python, Qwen2.5-Coder-7B-Instruct)에 대해 10%에서 30%의 압축 비율로 SecRL-Prune을 평가하였으며, 이를 압축되지 않은 교사 모델 및 최신 베이스라인인 PruneNet과 비교하였습니다.

성능 지표

• 실행 정확도 (pass@k): SecRL-Prune은 일관되게 PruneNet보다 우수한 성능을 보였습니다. 10% 압축 시, SecRL-Prune은 교사의 pass@k 성능의 8085%를 유지한 반면, PruneNet은 4572%만을 유지했습니다. 공격적인 30% 압축에서도 SecRL-Prune은 유의미하게 높은 정확도(예: Qwen2.5-Coder에서 63.7% vs 35.7%)를 유지했습니다.
• 변이 다양성 (var@k): 이 프레임워크는 베이스라인보다 올바른 솔루션의 다양성을 더 잘 보존했습니다. 특히 10% 압축 시, Qwen2.5-Coder에 대한 SecRL-Prune은 밀집(dense) 모델과 비교하여 솔루션 다양성을 약간 향상시킨 반면, PruneNet은 급격한 감소를 보였습니다.
• 자원 효율성: 20% 압축 시 학습 중 피크 GPU 메모리 사용량 측면에서, SecRL-Prune은 PruneNet의 절반 미만의 메모리를 사용했습니다(사용량을 약 3337 GiB에서 1416 GiB로 감소, 약 55~60% 감소).

악성코드 회피 사례 연구

실제 악성코드 샘플(Python 및 JavaScript)을 사용하여, 20% 프루닝된 CodeLLM이 생성한 변이가 탐지를 회피할 수 있는지 테스트했습니다.

• 결과: 프루닝된 모델은 VirusTotal의 탐지율을 유의미하게 낮추는 의미 보존형 재작성(rewrites)을 성공적으로 생성했습니다.
  • 하나의 Python 샘플은 탐지율이 28/63에서 9/63으로 감소했습니다 (68% 감소).
  • 하나의 JavaScript 샘플은 탐지율이 9/62에서 1/62로 급락했습니다 (88% 감소).
• 시사점: 상당한 압축에도 불구하고, 모델은 정적 분석 및 시그니처 기반 탐지를 우회하는 변종을 생성하는 능력을 유지했습니다.

의의 및 주장

본 논문은 코드 변이 능력이 상당한 구조적 프루닝 후에도 생존할 수 있음을 주장합니다. 이 발견은 중요한 보안 위험을 강조합니다. 즉, 고도로 압축되고 특화된 CodeLLM을 악성코드 페이로드 내에 직접 배치하거나 소비자용 하드웨어에서 실행하여, 회피형 악성코드 변종 생성을 자동화하는 것이 가능하다는 점입니다.

저자들은 프룬 모델이 여전히 능력을 갖추고 있지만, 밀집 모델의 완벽한 대체제는 아니라는 점(성능 격차가 존재함)을 강조합니다. 그러나 이러한 모델을 압축하면서도 그 적대적 유용성을 유지할 수 있다는 점은 "소형화된 변이 엔진(miniaturized mutation engines)"을 만드는 진입 장벽을 낮춥니다. 이 연구는 방어자들에게 경고의 메시지를 전달하며, 미래의 악성코드가 폴리모피즘(polymorphism)을 자동화하기 위해 압축된 RL 프룬 모델을 활용할 수 있음을 시사하며, 정적 시그니처를 넘어서는 새로운 방어 메커니즘이 필요함을 보여줍니다.

논문은 보상 함수를 위한 절단된(truncated) Top-$P$ 지원에 대한 의존성과 어텐션 헤드(attention head) 프루닝의 제외를 한계점으로 언급하며, 향후 연구에서 더 넓은 캘리브레이션 데이터와 결합된 프루닝 전략을 탐구해야 한다고 결론지었습니다.