기술 요약: ANVIL – 레이블된 학습 데이터 없는 이상 기반 취약점 식별

문제 정의

지도 학습 기반의 취약점 탐지기들은 대규모의 고품질 레이블링된 학습 데이터셋의 부족으로 인해 성능이 저하되는 경우가 빈번하다. 대규모 언어 모델(LLM)은 방대한 양의 레이블 없는 코드 코퍼스로 학습되며 코드 생성 능력은 뛰어나지만, 직접적으로 취약점 탐지를 수행하도록 프롬프트를 입력할 경우 종종 무작위 추측과 다를 바 없는 낮은 정확도를 보인다. 이러한 한계는 LLM이 명시적인 감독 없이 "버그가 있는" 또는 "취약한" 코드에 대한 학습을 수행하지 않고, 학습 분포와 유사한 코드를 생성하도록 학습되었기 때문에 발생한다. 결과적으로, 이들은 취약한 코드와 정상적인 코드를 구별할 수 있는 도메인 특화 지식이 부족하다. 또한, 합성 취약점을 생성하거나 특정 코드 특징을 선택하여 데이터 부족을 보완하려는 기존의 시도들은 합성 데이터가 실제 세계의 다양한 취약점 양상을 포착하지 못하기 때문에 미미한 개선만을 달성했다.

방법론

본 논문은 취약점 탐지를 이상 탐지(anomaly detection) 작업으로 재정의하는 라인 단위 취약점 위치 식별 접근 방식인 ANVIL을 소개한다. 핵심 전제는 취약한 코드는 드물게 나타나므로, LLM이 사전 학습 과정에서 학습한 분포에 대해 이상치(anomaly)를 구성한다는 것이다.

핵심 워크플로우

1. 마스크 처리된 코드 재구성 (Masked Code Reconstruction): 분석 대상이 되는 특정 코드 라인에 대해, 원래의 라인을 마스킹(제거)한다. 그 후 LLM은 주변 문맥을 바탕으로 이 라인을 재구성하도록 지시받는다.
2. 이상 점수 산출 (Anomaly Scoring): LLM이 생성한 재구성된 코드와 실제 정답(원래의 라인)을 비교한다. 편차는 이상치로 점수화된다. 높은 이상 점수는 원래의 라인이 모델에게 "분포 외(out-of-distribution)"임을 나타내며, 이는 해당 라인이 취약할 가능성이 높음을 시사한다.
3. 문맥 선택 (Adaptive Context): 적절한 문맥을 선택하는 문제를 해결하기 위해, ANVIL은 적응형 문맥(Adaptive Context, AC) 전략을 사용한다. AC는 고정된 윈도우 크기를 사용하는 대신, 마스킹된 라인을 포함하는 가장 큰 복합 문장(예: 함수 본문)을 선택한다. 이를 통해 모델이 관련 없는 코드의 노이즈나 지나치게 긴 문맥과 관련된 "중간 부분 소실(lost-in-the-middle)" 문제 없이 의미론적으로 유효한 문맥을 전달받도록 보장한다.

하이브리드 이상 점수 (Hybrid Anomaly Score)

ANVIL은 생성된 코드와 원래 코드 사이의 불일치를 정량화하기 위해 네 가지 별도의 구성 요소를 결합한 하이브리드 이상 점수($\delta_{hybrid}$)를 제안한다.

• 교차 엔트로피 손실 ($\delta_{loss}$): 재구성된 라인의 평균 교차 엔트로피 손실을 측정하여 생성된 토큰의 확률을 측정한다.
• 정확 일치 지표 ($\delta_{EM}$): 실제 정답으로부터의 모든 편차에 페널티를 부여하는 이진 메트릭이다. 생성된 라인이 원래 라인과 정확히 일치하지 않으면 이상 점수에 기여한다. 이는 미세하지만 결정적인 문자 차이(예: >와 >=)가 과소 가중될 수 있는 소프트 손실(soft loss) 값의 한계를 해결한다.
• 첫 번째 토큰 분산 ($\delta_{var}$): 모델의 확신도를 측정하며, 첫 번째 생성 위치에 대한 상위 10개 예측 토큰의 분산으로 계산된다. 취약한 라인은 보통 중간 정도의 분산을 보이는 반면, 정상적인 라인은 높은 분산(명확한 완성)을 보이거나 낮은 분산(단순한 문맥에서의 주저함)을 보인다.
• AST 복잡도 ($\delta_{ast}$): 원래 라인의 추상 구문 트리(AST) 노드 수를 기반으로 하는 메트릭이다. 높은 복잡도는 간과된 엣지 케이스의 위험이 높음을 의미한다.

최종 점수는 이 구성 요소들의 정규화된 합이며, 정확한 일치를 보상하는 동시에 미세한 편차, 모델의 불확실성 및 코드 복잡도를 포착하도록 설계되었다.

주요 기여

1. ANVIL 프레임워크: 레이블된 학습 데이터가 필요 없이, 사전 학습된 LLM을 활용하여 마스크 재구성을 통해 취약점을 이상치로 식별하는 새로운 라인 단위 취약점 탐지 접근 방식을 제안한다.
2. 하이브리드 스코어링 메커니즘: 손실, 정확한 일치, 확신도 분산 및 구문 복잡도를 결합한 복합 점수 함수를 제안하고 검증하였으며, 이 조합이 개별 메트릭보다 우수함을 입증하였다.
3. 적응형 문맥 전략: 관련 복합 문장을 동적으로 식별하는 구조 인식 문맥 선택 방법을 도입하여, 고정된 크기의 윈도우 방식에 비해 탐지 정확도와 계산 효율성을 모두 향상시켰다.
4. 포괄적 평가: 다양한 LLM 제품군, 문맥 크기, 스코어링 방법론에 대한 엄격한 평가를 수행하였으며, 여기에는 LLM의 학습 중단 시점 이후에 공개된 취약점에 대한 데이터 누출 없는(leakage-free) 평가가 포함된다.

실험 결과

저자들은 PrimeVul 데이터셋(대규모 오픈 소스 C/C++ 프로젝트 모음)에서 ANVIL을 평가하였으며, 이를 최신 지도 학습 기반 탐지기인 LineVul, LineVD, LLMAO와 비교하였다.

• 지도 학습 탐지기와의 성능 비교: ANVIL은 모든 지도 학습 베이스라인을 크게 앞질렀다.
  • Top-3 정확도: ANVIL은 최대 2배 높은 정확도를 달성했다 (최고 베이스라인 17.3% 대비 ANVIL 31.3%).
  • 정규화된 MFR: ANVIL은 75%의 개선을 보였다 (최고 베이스라인 0.39 대비 ANVIL 0.18).
  • ROC-AUC: ANVL은 **61.8%**를 달성하여, 무작위 추측 수준(~50%) 근처에 머물렀던 베이스라인들보다 실질적으로 높았다.
• 문맥 및 스코어링: 연구를 통해 하이브리드 스코어링 방식과 적응형 문맥이 최상의 성능을 낸다는 것을 확인했다. 100라인 미만의 고정 문맥 크기는 성능 저하를 초래했으나, 더 큰 고정 크기는 노이즈와 메모리 문제를 야기했다.
• 일반화 능력: ANVIL은 LLM의 학습 중단 시점 이후에 공개된 취약점을 포함하는 데이터 누출 없는 데이터셋에서 강력한 일반화 능력을 입증하였으며, 재학습 없이도 미지의 취약점을 탐지할 수 있음을 증명했다.
• 실용적 유용성: ANVIL을 퍼저(fuzzer)와 통합하여 시드(seed) 선택을 유도함으로써, 저자들은 두 건의 알려지지 않은 취약점을 발견했으며, 그 중 하나는 CVE를 할당받아 ANVIL의 이상 기반 탐지 능력을 입증했다.

의의

본 논문은 ANVIL이 레이블된 데이터의 병목 현상을 우회함으로써 취약점 탐지를 위한 실용적인 대안을 제공한다고 주장한다. LLM이 학습한 코드의 내재적인 "자연스러움(naturalness)"을 활용함으로써, ANVIL은 라인 단위에서 취약점을 효과적으로 격리한다. 결과에 따르면, 특히 하이브리드 스코어링과 적응형 문맥을 통해 강화된 이상 기반 탐지는 현재의 지도 학습 방식보다 뛰어난 성능을 보일 수 있다. 이는 학습 데이터가 없는 새로운 코드베이스 환경에서도 유효하다. 본 연구는 LLM이 본질적으로 취약점이 무엇인지 "알지" 못하더라도, 통계적 규범에서 벗어나는 코드를 식별하는 데 매우 효과적일 수 있음을 보여준다.