💻 컴퓨터 과학

SemanticVul: Evidence-Grounded Structured LLM Explanations for Vulnerability Detection

SemanticVul은 로컬에서 생성된 증거 기반의 의미론적 설명을 활용하여 기존 베이스라인보다 정확도와 소수 클래스 재현율을 크게 향상시키면서, 결정론적 코드 매칭과 데이터셋 감사를 통해 주장을 엄격하게 검증하는 C/C++ 취약점 탐지를 위한 재현 가능한 프레임워크이다.

원저자: Abdul Razak, Ihtesham Ul Islam, Rabia Khan

게시일 2026-10-15

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Abdul Razak, Ihtesham Ul Islam, Rabia Khan

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

소프트웨어 취약점은 디지털 세계의 숨겨진 균열이며, 공격자가 시스템에 침입하거나 데이터를 훔치거나 혼란을 야기할 수 있게 만드는 코드상의 작은 실수들입니다. 현대의 소프트웨어는 방대한 양으로 작성되며, 특히 C나 C++처럼 강력하지만 이러한 오류가 발생하기 쉬운 언어로 작성되는 경우가 많기 때문에, 인간 전문가가 모든 줄을 읽어 약점을 찾아내는 것은 불가능합니다. 이를 따라잡기 위해 연구자들은 인공지능, 구체적으로는 방대한 양의 텍스트와 코드를 학습하여 패턴과 의미를 이해하도록 훈련된 컴퓨터 프로그램인 대규모 언어 모델로 눈을 돌렸습니다. 이 모델들은 소프트웨어의 한 조각을 읽고 그것이 무엇을 하고 있는지 설명할 수 있어, 위험한 결함을 자동으로 찾아내는 새로운 방법을 제시합니다. 그러나 중대한 문제가 발생했습니다. 이 모델들에게 코드를 설명하도록 요청하면, 때때로 존재하지 않는 세부 사항을 지어내거나 분석이 끝나기도 전에 정답을 실수로 드러내어, 보안 작업에 대한 그들의 도움을 신뢰할 수 없게 만든다는 점입니다.

파키스탄 국립과학기술대학교의 연구팀은 이 문제를 해결하기 위해 SemanticVul이라는 새로운 시스템을 개발했습니다. 검증되지 않은 자유로운 형식의 텍텍스트를 생성하는 값비싼 상용 AI 서비스에 의존하는 대신, 이들의 시스템은 로컬에서 실행되는 오픈 소스 모델을 사용하여 구조화되고 증거에 기반한 설명을 생성합니다. 연구진은 AI가 보안 위험에 대해 내리는 모든 주장을 뒷받침하기 위해 반드시 특정 코드 줄을 지목해야 하는 파이프라인을 구축했습니다. 만약 AI가 자신이 말하고 있는 코드를 찾지 못하면, 시스템은 해당 주장을 폐기합니다. 그 후 연구진은 이 근거 중심의 증거 기반 방식이 이전 기술들보다 더 많은 취약점을 찾아낼 수 있는지 확인하기 위해, Devign과 Reveal로 알려진 두 가지 주요 실제 소프트웨어 함수 컬렉션에서 이 접근 방식을 테스트했습니다.

결과는 이러한 세심한 증거 우선 접근 방식이 현재 사용되는 표준 방식보다 훨씬 더 효과적이라는 것을 보여줍니다. 매우 적은 수의 취약한 함수가 많은 안전한 함수들 사이에 섞여 있는 Reveal 데이터셋에서, 이 새로운 시스템은 그 희귀한 위험 함수들을 찾아내는 능력을 약 40퍼센트에서 63퍼센트로 향상시켰습니다. 이는 실제 시스템에서 취약점을 놓치는 것이 재앙적인 결과를 초래할 수 있다는 점에서 매우 중요한 개선입니다. 또한 이 시스템은 경고를 실제 코드 조각과 올바르게 연결하는 횟수를 두 배로 늘린 반면, 코드 참조를 환각하거나 지어내는 횟수는 절반으로 줄였습니다. AI가 코드에 존재하는 사실에만 충실하도록 강제하고, 답을 무심코 누설할 수 있는 언어를 제거함으로써, 연구진은 보안 분석을 위한 더 신뢰할 수 있고 효과적인 도구를 만들어냈습니다.

연구진은 또한 원시 코드 데이터와 이러한 새로운 설명을 가장 잘 결합하는 방법도 탐구했습니다. 그들은 이 정보를 병합하는 세 가지 다른 방식을 테스트했습니다: 코드만을 사용하는 방식, 코드와 설명을 고정된 방식으로 섞는 방식, 그리고 각 코드 조각에 대해 설명에 얼마만큼의 가중치를 줄지 결정하는 스마트 스위치를 사용하는 방식입니다. 스마트 스위치가 일부 초기 테스트에서 약간 더 나은 성능을 보였지만, 그 개선 정도가 결정적인 돌파구라고 간주될 만큼 일관되지는 않았습니다. 가장 신뢰할 수 있는 발견은 설명 채널 자체, 즉 증거에 기반한 추론을 제공하는 부분이 성공의 주요 동력이었다는 점입니다. 이 시스템은 당신이 추측을 걷어내고 AI가 실제 프로그램의 텍스트에 근거하여 추론하도록 강제할 때, 그것이 보안 결함을 찾아내는 훨씬 더 강력한 탐지기가 된다는 것을 입증했습니다.

단순히 버그를 찾는 것을 넘어, 이 연구는 시스템을 훈련하고 테스트하는 데 사용되는 데이터셋의 문제점도 밝혀냈습니다. 연구진은 일부 표준 벤치마크가 서로 상충하는 레이블을 가진 중복 코드를 포함하고 있다는 사실을 발견했는데, 즉 동일한 함수가 데이터의 다른 부분에서는 안전하다고, 다른 부분에서는 위험하다고 표시되어 있는 경우였습니다. 이러한 종류의 오류는 컴퓨터가 실제로 학습하지 않은 것을 학습한 것처럼 착각하게 만들 수 있습니다. 이러한 데이터 세트를 감사하고 모순을 제거함으로써, 팀은 자신들의 결과가 오류를 암기하는 것이 아니라 진정한 학습에 기반하도록 보장했습니다. 이러한 데이터 품질에 대한 주의는 새로운 설명 생성 방식과 결합되어, 단순히 추측하는 것이 아니라 보호하려는 코드를 실제로 이해하는 더 신뢰할 수 있는 보안 도구를 구축하기 위한 앞길을 제시합니다.

기술 요약: SemanticVul

문제 정의
대규모 언어 모델(LLM)이 취약점 탐지에 유망한 의미론적 정보를 제공함에도 불구하고, 이를 보안 중심의 맥락에 적용하는 데에는 세 가지 주요 문제가 걸림돌이 되고 있다. 즉, 독점 API 추론과 관련된 높은 비용 및 재현성 부족, 지원되지 않거나 "환각(hallucination)"된 주장의 생성, 그리고 설명 내에 정답 레이블이 누출되는 문제(예: 추론 과정에서 "취약함(vulnerable)"과 같은 판정 단어를 사용하는 것)이다. 나아가 기존의 융합 방법들은 종종 단일한 고정 메커니즘에 의존하기 때문에, 성능 향상이 설명의 내용 자체에서 기인한 것인지 아니면 융합 블록의 추가 파라미터에서 기인한 것인지 구분하기 어렵다. FuSEVul과 같은 이전 연구는 검증되지 않고 자유로운 산문 형태의 상용 설명을 활용하여 이러한 실패 모드에 취약하다.

방법론
SemanticVul은 증거에 기반한 구조화된 설명 파이프라인과 제어된 융합 사다리(fusion ladder)라는 두 가지 핵심 혁신을 통해 위와 같은 격차를 해소하는 C/C++ 코드 대상 함수 수준 이진 취약점 탐지 프레임워크이다.

증거 기반 구조화된 설명 파이프이션:
- 로컬 생성: 상용 API에 의존하는 대신, SemanticVul은 로컬에서 서빙되는 오픈 웨이트 코드 LLM(Qwen2.5-Coder 14B)을 사용하여 오프라인으로 설명을 생성한다.
- 스키마 제약: 모델은 목적(purpose), 데이터 흐름(data flow), 위험한 연산(risky operations), 누락된 검사(missing checks), 증거 토큰(evidence tokens), 안전 지표(safety indicators), 위험 요약(risk summary), 위험 수준(risk level)을 포함하는 스키마 제약 JSON 객체를 출력하도록 강제된다.
- 결정론적 검증: 검증기는 "근거 계약(grounding contract)"을 집행한다. 이는 공백에 무관한 코드 매칭을 수행하여 위험한 연산이나 누락된 검사에 대한 주장이 분석된 함수 내의 실제 서브스트링(substring)과 연결되도록 보장한다. 근거 없는 주장은 폐기되며, 필요한 경우 설명이 재생성된다.
- 누출 방지: 파이프라인은 인코딩 전 텍스트에서 모든 판정 관련 어휘(예: "vulnerable", "exploit")를 제거한다.
- 신뢰도 측정: 자기 보고식 신뢰도 대신, 시스템은 생성된 위험 수준 토큰의 디코드 시 로그 확률(log-probabilities)을 기반으로 스칼라 신뢰도 값( $\kappa$ )을 측정한다. 이 값은 보조 특징량으로서 탐지기에 입력된다.
- 인코딩: 검증되고 정제된 JSON 텍스트는 RoBERTa를 사용하여 인코딩되며, 소스 코드는 CodeT5+를 사용하여 인코딩된다.
제어된 융합 사다리 (L1–L3):
설명 채널의 기여도를 융합 메커니즘으로부터 분리하기 위해, 저자들은 일치된 조건 하에서 세 가지 구성을 훈련시킨다.
- L1 (Code-Only): 코드 인코더 출력만을 사용하는 베이스라인.
- L2 (Static Attention Fusion): 코드와 설명 토큰 상태를 융합하는 고정된 교차 주의(cross-attention) 메커니즘 (FuSEVul과 유사).
- L3 (Adaptive Gating): 풀링된 코드 벡터와 설명 벡터를 혼합하기 위해 볼록 조합 가중치( $w$ )를 학습하는 샘플별 적응형 게이트. 이 게이트는 설명 벡터와 측정된 신뢰도 $\kappa$ 를 입력으로 받는다.

주요 기여

로컬, 근거 기반 설명 파이프라인: 상용의 자유로운 산문 설명을 로컬의 스키마 제약 및 증거 기반 생성기로 대체한다. 매칭된 Reveal 함수에 대해, 이 방식은 API 언급 근거(API-mention grounding)를 26.2%에서 55.4%로 두 배 이상 높였고, 환각된 호출 언급을 절반으로 줄였으며, 함수 중 87%에 대해 명시적인 증거 앵커를 제공한다.
제어된 융합 사다리: 설명 채널의 유용성을 융합 메커니즘으로부터 분리하는 L1–L3 훈련 프레임워크를 도입한다. 결과에 따르면 설명 채널이 가장 지속적인 이득(코드 전용 대비 최대 +17.5 F1)을 제공하며, 적응형 게이트가 정적 융합보다 우위에 있다는 점은 통계적으로 해결되지 않았다.
성능 향상: 동일 베이스 비교 프로토콜 하에서, SemanticVul은 보고된 FuSEVul 참조 결과 대비 상당한 이득을 달성한다: Devign에서 정확도 +8.60 및 F1 +7.31, Reveal에서 정확도 +1.23 및 F1 +15.09를 기록했다. 특히, Reveal 데이터셋의 소수 클래스 재현율(recall)이 39.52%에서 63.00%로 증가했다.
데이터 품질 감사: 분산된 Devign 및 Reveal 분할(split)에 대한 공개 감사는 레이블 충돌 중복 및 크로스 스플릿 누출을 포함한 심각한 데이터 품질 문제를 드러냈으며, 이는 Devign의 경우 약 99.0%, Reveal의 경우 약 96.96%의 조건부 암기 경계(conditional memorization bounds)를 시사한다.

실험 결과

전반적인 성능: SemanticVul은 두 데이터셋 모두에서 발표된 FuSEVul 참조 모델을 능가한다. L2(정적 융합) 구성이 주요 구성으로 식별되었는데, 이는 그 개선 효과가 베이스 비교 가능 프로토콜과 홀드아웃(held-out) 평가 프로토콜 모두에서 유지되기 때문이다.
설명의 유용성: L1(코드 전용)에서 L2(설명 포함)로 이동할 때 유의미한 F1 이득(Devign에서 +9.56, Reveal에서 +17.16)이 발생하며, 이는 근거 있는 의미론적 신호의 가치를 확인시켜 준다.
근거 품질: 검증 파이프라인은 환각을 성공적으로 감소시킨다. API 언급 근거는 26.2%에서 55.4%로 개선되었고, 부재하는 호출(absent-call) 주장의 비율은 76.0%에서 46.7%로 떨어졌다.
적응형 게이팅: L3 적응형 게이트가 베이스 비교 가능 프로토콜 하에서 가장 높은 F1을 달성했으나, 5개 시드에 대한 쌍체 t-검정 결과 L3와 L2 사이에 통계적으로 유의미한 차이가 없었다. 게이트의 이점은 홀드아웃 평가 하에서 일관되지 않았으며, 이는 정적 융합에 대한 결정적인 기여로 해석되어서는 안 됨을 시사한다.
임계값 및 앙상블: 임계값 튜닝과 멀티 시드 앙상블은 특히 불균형한 Reveal 데이터셋에서 추가적인 이득을 제공했으나, 이는 실제 배포 추정치가 아닌 낙관적인 상한선으로 보고되었다.

의의 및 주장
본 논문은 로컬에서 생성된 증거 기반 설명이 취약점 탐지를 위한 재현 가능한 의미론적 신호를 제공할 수 있으며, 이를 통해 비용이 많이 들고 검증되지 않은 상용 API를 효과적으로 대체할 수 있다고 주장한다. 본 연구는 설명 기반의 성능 향상을 평가할 때 엄격한 스플릿 감사와 홀드아웃 평가가 매우 중요하다는 점을 강조하며, 데이터 누출과 레이블 모순이 보고된 점수를 부풀릴 수 있음을 지적한다.

저자들은 적응형 게이팅 메커니즘에 대해 신중한 입장을 유지하며, 특정 설정에서는 잘 작동하지만 정적 융합보다 우월하다는 점은 통계적으로 견고하지 않다고 언급한다. 주요 기여는 근거 기반의 설명 채널 자체로 검증되었으며, 이는 독점 인프라나 검증되지 않은 추론에 의존하지 않고도 특히 불균형한 데이터셋의 소수 클래스에 대한 탐지 유용성을 크게 향상시킨다. 이 연구는 설명의 내용과 융합 메커니즘을 분리하여 그 영향을 정확하게 측정해야 할 필요성을 역설한다.

유사한 논문