기술 요약: LLM을 이용한 정적 버그 탐지의 오탐(False Positives) 감소: 산업 현장에서의 실증 연구

문제 정의

정적 분석 도구(Static Analysis Tools, SATs)는 소프트웨어 보안과 신뢰성을 보장하는 데 필수적이지만, 특히 대규모 엔터프라이즈 시스템에서 높은 오탐(False Positive, FP) 발생률 문제를 겪고 있다. 이 문제는 프로그램 동작을 건전하게(soundness) 보장하기 위해 과잉 근사(over-approximation)를 수행하는 과정에서 발생하는 불가해한 경로(infeasible paths)상의 허위 경고(spurious warnings) 때문에 발생한다. 텐센트(Tencent)와 같은 산업 현장에서 이러한 허위 알람은 심각한 병목 현상을 일으킨다. 개발자는 모든 알람을 수동으로 검사해야 하며, 이 과정은 알람당 10~20분이 소요된다. 스캔당 수백 개의 알람이 생성되는 상황에서, 오탐을 걸러내기 위한 수동 작업은 상당한 노력을 요구하며 코드 리뷰 워크플로우의 효율성을 저해한다. 대규모 오픈소스 벤치마크에서는 LLM이 오탐을 줄이는 데 유망한 성능을 보였으나, 독점적인 대규모 엔터프라이즈 환경에서의 효과는 아직 검증되지 않았다.

방법론

저자들은 텐센트의 광고 및 마케팅 서비스(AMS) 부문에 배포된 엔터프라이즈 맞춤형 SAT인 BkCheck의 데이터를 활용하여, LLM 기반의 오탐 감소 기술에 대한 첫 번째 종합적인 실증 연구를 수행하였다.

데이터 수집

• 데이터셋: 328개의 오탐(False Positives)과 105개의 정탐(True Positives)으로 구성된 433개의 실제 버그 알람 데이터셋을 구축하였다.
• 버그 유형: BkCheck가 보고하는 가장 빈번한 세 가지 버그 유형인 Null Pointer Dereference (NPD), Out-of-Bounds (OOB), Divide-by-Zero (DBZ)를 포함한다.
• 검증: 레이블은 개발자와 전문 코드 리뷰어가 참여하는 엄격한 2단계 수동 검토 과정을 거쳤으며, 정탐을 하나도 놓치지 않도록 하는 "보안 우선(security-first)" 원칙을 준수하였다.

실험 설정

본 연구는 네 가지 연구 질문(RQ)에 답하기 위해 다양한 기법을 평가하였다:

1. RQ1 (보편성): 개발자 인터뷰와 데이터 분석을 통해 SAT의 적용 현황과 수동 작업에 소요되는 노력을 조사하였다.
2. RQ2 (효과성): 다양한 LLM 기반 접근 방식을 평가하였다:
   • 기본 LLM: 네 가지 백본 모델(GPT-4o, Claude-Opus-4, Qwen-3-Coder, DeepSeek-R1)의 직접 적용.
   • 프롬프팅 전략: Chain-of-Thought (CoT), Few-shot learning, 그리고 Bug-type augmentation.
   • 하이브리드 기술: LLM4SA (Sink 주변의 코드 컨텍스트를 분석하는 LLM) 및 LLM4PFA (정적 분석 경로 제약 조건과 에이전트 기반 추론을 통합).
   • 베이스라인 비교: 전통적인 딥러닝 방식(Devign, ReGVD, LLMAO, LineVul)과 비교.
3. RQ3 (비용): 알람당 소요 시간(초)과 경제적 비용(API 비용)을 측정하였다.
4. RQ4 (세부 분석 및 사례 분석): 버그 카테고리별 성능을 분석하고, 한계를 식별하기 위해 "Bad Case" 분석을 수행하였다.

지표: Accuracy, Precision, Recall, F1, False Positive Reduction Precision (FPR_P), False Positive Reduction Recall (FPR_R).

주요 결과

1. 오탐의 보편성 및 영향 (RQ1)

• 높은 FP 비율: 데이터셋의 **오탐율은 76%**였다. 컨텍스트가 불완전하여 제외된 기록까지 고려하면 오탐율은 90%를 상회할 것으로 보인다.
• 수동 작업: 각 알람은 10~20분의 수동 검사(종종 두 번의 검토 단계 포함)를 필요로 한다. 이는 엔지니어링 자원의 상당한 낭비를 의미한다.

2. LLM의 효과성 (RQ2)

• 하이브리드의 우월성: LLM과 정적 분석을 결합한 하이브리드 기술이 다른 모든 방식보다 뛰어난 성능을 보였다. 특히, LLM4PFA는 서로 다른 백본 모델 전반에서 높은 재현율(0한 0.860.88)을 유지하면서도 가장 높은 정확도(**0.930.94**)를 달로 달성하였으며, 오탐을 94~98% 제거하였다.
• 프롬프팅 전략: 단독 LLM 중에서는 Few-shot learning이 가장 좋은 결과를 냈다. 놀랍게도 Chain-of-Thought (CoT)는 기본 프롬프트보다 성능이 떨어졌는데, 이는 고급 모델들이 CoT 프롬프트가 오히려 방해할 수 있는 내부적 추론 능력을 이미 내재화하고 있음을 시사한다.
• 전통적 ML과의 비교: 전통적인 딥러닝 방식(GNN 및 PLM)은 대규모 레이블링된 엔터프라이즈 학습 데이터의 부족과 표면적인 통계 패턴 이상의 일반화 능력 부재로 인해 낮은 성능(정확도 0.36~0.44)을 보였다. 한 방식(LineVul)은 모든 경고를 오탐으로 분류하는 편향을 통해 높은 정확도(0.76)를 보였다.
• 해석 가능성: 이진 레이블만을 출력하는 전통적 모델과 달리, LLM 기반 방식은 자연어 설명을 제공하여 인간의 검증을 돕는다.

3. 비용 분석 (RQ3)

• 시간: LLM 처리 시간은 알람당 2.1초에서 109.5초 사이였다. 가장 느린 모델(DeepSeek-R1, 약 12분)조차 수동 검토에 필요한 1020분에 비하면 훨씬 빠르다.
• 경제성: API 비용은 알람당 $0.0011에서$0.12 사이였다. 오픈소스 모델(예: Qwen-3-Coder)을 내부적으로 배포하면 API 비용을 완전히 제거할 수 있다.
• 결론: 비용 대비 편익이 매우 높아, 수동 검토와 비교했을 때 수십 배의 절감 효과를 제공한다.

4. 한계 및 세부 분석 (RQ4)

• 버그 유형별 차이: LLM은 Divide-by-Zero (DBZ) 버그(단순한 패턴)에서 가장 높은 성능을 보였고, Null Pointer Dereference (NPD) 버그(복잡하고 다양한 제약 조건이 얽힌 패턴)에서 가장 낮은 성능을 보였다.
• 식별된 한계점:
  1. Long-Context 추론: 긴 코드 컨텍스트를 포함하는 경고의 경우 성능이 크게 저하된다 (성공 사례보다 평균 95.6행 더 김).
  2. 복잡한 계층적 제약 조건: LLM은 깊은 중첩, 루프, 복잡한 논리 표현을 다루는 데 어려움을 겪으며, 종종 경계 조건(boundary conditions)을 놓친다.
  3. 의미론적 이해: 생소한 구문, 포인터 조작, 깊게 중첩된 사용자 정의 구조체 처리에 어려움이 있다.

의의 및 기여

본 논문은 소프트웨어 공학 및 AI 분야에 세 가지 주요 기여를 한다:

1. 산업적 조사: 주요 기업(텐센트)에서 오탐이 얼마나 심각하게 발생하는지를 입증하고, 낭비되는 수동 작업량(알람당 10~20분)을 정량화함으로써 자동화된 감소 기술의 시급한 필요성을 검증하였다.
2. 광범적인 비교: 산업 현장에서 LLM 기반 오탐 감소에 대한 가장 포괄적인 평가를 제공한다. 본 연구는 **하이브리드 기술(LLM4PFA)**이 높은 재현율과 함께 최대 98%의 오탐을 제거하며 매우 효과적임을 입증하였고, 이는 단독 LLM 및 전통적인 딥러닝 방식을 크게 상회하는 결과이다.
3. 실무적 통찰 및 시사점:
   • 실무자 대상: 본 연구는 LLM 기반 기술이 비용 효율적이며, 다단계 워크플로우에서 최소 한 단계의 수동 검토를 대체하여 안전성을 해치지 않으면서 개발자의 부담을 획기적으로 줄일 수 있음을 확인시켜 준다.
   • 연구자 대상: LLM이 강력하지만 Long-context 추론 및 복잡한 제약 조건 분석에서 근본적인 한계가 있음을 강조한다. 본 논문은 **지식 강화 LLM(Knowledge-Enhanced LLMs)**과 LLM의 의미론적 이해를 정적 분석의 건전성과 결합하는 더 깊은 통합 방식이 가장 유망한 경로임을 제안한다.

저자들은 LLM이 만능 해결책(silver bullet)은 아니지만, 오탐이라는 노이즈를 효과적으로 필터링함으로써 대규모 산업용 코드베이스에서 정적 분석을 실용적으로 만드는 데 있어 변혁적인 단계가 될 것이라고 결론짓는다.