UntrustVul: An Automated Approach for Identifying Untrustworthy Alerts in Vulnerability Detection Models

UNTRUSTVUL: 취약점 탐지 모델에서의 자동화된 비신뢰성 경고 식별에 대한 기술적 요약

1. 문제 제기

머신러닝 (ML) 모델은 소프트웨어 취약점 탐지에서 높은 정확도를 보여왔습니다. 그러나 최근 연구들은 이러한 모델들이 종종 ** spurrious correlation(허위 상관관계)** 에 의존한다고 지적합니다. 이는 실제 취약점과 의미론적으로 관련이 없으나 취약한 코드에서 자주 나타나는 특정 식별자, 함수 시그니처, 또는 코딩 스타일과 같은 관련 없는 코드 특징들입니다. 결과적으로, 모델이 함수를 취약한 것으로 올바르게 분류하더라도, 해석 가능성 기술 (예: 어텐션 메커니즘) 을 통해 "의심스러운" 것으로 강조하는 특정 코드 행들은 실제 근본 원인과 무관할 수 있습니다.

이러한 현상은 예측을 비신뢰적으로 만듭니다. 이러한 오해의 소지가 있는 주석을 신뢰하는 개발자들은 관련 없는 코드를 조사하는 데 시간을 낭비하거나, 비효율적인 패치를 생성하거나, 심지어 새로운 취약점을 도입할 수 있습니다. 모델 신뢰도 점수와 같은 기존 지표들은 신뢰할 수 있는 예측과 비신뢰적인 예측을 구분하지 못합니다. 높은 신뢰도를 가진 예측조차도 잘못된 추론에 기반할 수 있기 때문입니다. 이러한 비신뢰적인 예측이 인간 검토자에게 도달하기 전에 이를 식별하고 플래그로 표시하기 위한 자동화된 접근 방식이 시급히 필요합니다.

2. 방법론: UNTRUSTVUL

이 논문은 비신뢰적인 취약점 예측을 식별하도록 설계된 최초의 자동화된 접근 방식인 UNTRUSTVUL을 소개합니다. 핵심 철학은 모델이 강조하는 행들이 취약점과 무관하다면 그 예측은 비신뢰적이라는 것입니다. 한 행이 취약점과 무관하다고 정의되는 조건은 다음과 같습니다:

1. 본질적으로 취약하지 않은 경우 ("안전한 후보").
2. 제어 또는 데이터 의존성을 통해 잠재적으로 취약한 어떤 행에도 영향을 미치지 않는 경우.

UNTRUSTVUL 은 두 가지 주요 단계로 운영됩니다:

1 단계: 행 단위 평가 (안전한 후보 식별)

• 목표: 모델이 주석으로 달아놓은 의심스러운 행이 역사적 취약 행들과 문법적으로 구별 가능한지 판단합니다.
• 메커니즘: 시스템은 BigVul 데이터셋과 같은 역사적 데이터를 활용하여 CodeBERT, GraphCodeBERT, UniXcoder 와 같은 트랜스포머 기반 코드 모델을 사용하여 앙상블 분류기를 훈련합니다.
• 과정: 의심스러운 행들은 깊은 표현으로 인코딩되어 역사적 취약 행 및 비취약 행과 비교됩니다. 역사적 비취약 행과 유사한 행들 (맥락 없는 안전한 행) 은 안전한 후보로 분류됩니다. 역사적 취약 패턴과 유사한 행들은 비안전한 후보(잠재적 취약점) 로 분류됩니다.
• 정제: 견고성을 보장하기 위해 시스템은 BLEU 점수를 사용하여 취약한 행들과 문법적으로 너무 유사한 비취약 행들을 필터링하여 "안전한" 집합이 명확히 구분되도록 합니다.

2 단계: 의존성 단위 평가 (도달 가능성 측정)

• 목표: 안전한 후보가 코드 의존성을 통해 비안전한 후보 (잠재적 취약점) 에 영향을 미칠 수 있는지 평가합니다.
• 메커니즘: 소스 코드는 정적 분석 도구 (Joern) 를 사용하여 프로그램 의존성 그래프 (PDG) 로 파싱됩니다.
• 도달 가능성 분석: 시스템은 각 안전한 후보에서 가장 가까운 비안전한 후보까지의 도달 거리를 계산합니다.
  • 만약 안전한 후보가 제어 또는 데이터 의존성을 통해 어떤 비안전한 후보에도 도달할 수 없다면, 이는 완전히 취약점과 무관한 것으로 간주됩니다.
  • 만약 비안전한 후보에 도달할 수 있다면 거리를 측정하며, 거리가 짧을수록 영향력이 강함을 의미합니다.
• 점수 매기기: 의심스러운 행들의 중요도 점수와 비안전한 후보까지의 도달 거리를 집계하여 연속적인 신뢰도 점수 ($T$) 를 계산합니다.
  • 낮은 $T$ 점수는 비신뢰성 가능성이 높음을 나타냅니다 (즉, 모델이 본질적으로 안전하고 실제 취약점과 단절된 행들에 크게 의존하고 있음).

3. 주요 기여

• UNTRUSTVUL 프레임워크: 모델이 주석으로 달아놓은 의심스러운 행들의 타당성을 분석함으로써 비신뢰적인 취약점 예측을 노출하는 최초의 자동화된 접근 방식.
• 신뢰도에 대한 통찰: 모델 신뢰도가 신뢰성의 불충분한 지표임을 보여주는 조사; 높은 신뢰도의 예측조차도 비신뢰적일 수 있음.
• 종합적 평가: LineVul, SVulD, IVDetect, ReVeal 의 네 가지 최첨단 (SOTA) 탐지기 및 BigVul, MegaVul, SARD, PrimeVul 의 네 가지 데이터셋을 아우르는 광범위한 평가 (115,000 개 이상의 예측 포함).
• 오픈 리소스: 추가 연구를 촉진하기 위한 코드 및 데이터셋의 공개 배포.

4. 실험 결과

저자들은 UNTRUSTVUL 을 신뢰도 기반 접근 방식 ("Naive") 과 교란 기반 방법 (CausalVul 변형) 을 포함한 베이스라인에 대해 평가했습니다.

• 탐지 성능: UNTRUSTVUL 은 비신뢰적인 예측을 탐지하는 데 AUC 70%–88% 및 F1 점수 82%–94% 를 달성했습니다.
• 비교: 기존 접근 방식보다 AUC 에서 6%–59%, F1 점수에서 13%–92% 더 우수한 성능을 보였습니다. 특히 신뢰도 기반 베이스라인 (종종 신뢰성을 구분하지 못함) 과 교란 기반 방법보다 크게 우월했습니다.
• 탐지기 개선: 필터링 또는 모델 재훈련 가이드로 사용될 때, UNTRUSTVUL 은 프로젝트 간 설정에서 취약점 탐지기의 F1 점수를 최대 321% 향상시켰으며, 신뢰도 지표 (IoU 및 $T$ 점수) 를 최대 100% 향상시켰습니다.
• 효율성: 이 도구는 함수당 약 1.02–1.47 초를 처리하며, 저자들은 단순한 신뢰도 검사보다 느리지만 보안 관련 작업에 대해 수용 가능하다고 판단했습니다.

5. 중요성 및 주장

이 논문은 UNTRUSTVUL 이 소프트웨어 보안 수명주기의 중요한 격차를 해소한다고 주장합니다. 이전 연구가 ML 모델에 대한 해석 (설명) 생성에 초점을 맞췄다면, 이 작업은 이러한 해석들의 타당성을 평가하는 데 초점을 맞춥니다.

• 개발자 워크플로우: 비신뢰적인 예측을 자동으로 필터링함으로써 UNTRUSTVUL 은 수동 검토의 부담을 줄이고, 개발자들이 관련 없는 코드를 추적하는 것을 방지하며, 결함 있는 패치 전략을 피하도록 돕습니다.
• 모델 독립성: 이 접근 방식은 특정 취약점 위치나 탐지기 내부 아키텍처에 대한 지식을 요구하지 않습니다. 행 단위 해석 (예: 어텐션 또는 GNNExplainer 를 통해) 을 제공하는 모든 모델과 함께 작동합니다.
• 보수적 설계: 신뢰할 수 있는 예측을 비신뢰적인 것으로 잘못 라벨링하는 것을 피하기 위해 방법론은 보수적으로 설계되었으며, 명확한 무관성 사례를 식별하는 정밀도를 우선시합니다.

저자들은 현재 이 접근 방식이 C/C++ 및 특정 데이터셋에 초점을 맞추고 있지만, 구문 및 의존성 도달 가능성을 분석하는 근본적인 논리는 더 신뢰할 수 있는 ML 기반 소프트웨어 공학 도구를 향한 일반화 가능한 경로를 제공한다고 결론지었습니다.