An Insight into Security Code Review with LLMs: Capabilities, Obstacles, and Influential Factors

제목: LLM 을 활용한 보안 코드 리뷰에 대한 통찰: 능력, 장애물 및 영향 요인

문제 제기
보안 코드 리뷰는 데이터 유출과 재정적 손실을 방지하는 데 필수적이지만, 노동 집약적인 중요한 과정입니다. 조직들이 코드 리뷰에 보안 분석을 점점 더 통합하고 있지만, 기존 자동화 도구 (정적/동적/하이브리드 분석) 는 일반화 능력 부족, 높은 오탐지율, 그리고 거친 탐지 세분성으로 고통받고 있습니다. 또한, 전통적인 머신러닝이나 딥러닝에 기반한 데이터 주도 접근법은 현실적인 학습 데이터셋의 부족으로 인해 견고성이 부족하여 실제 프로젝트에서 성능이 저조합니다. 대규모 언어 모델 (LLM) 은 다양한 소프트웨어 엔지니어링 작업에서 가능성을 보여주고 있지만, 정교한 보안 코드 리뷰 맥락에서의 구체적인 능력, 한계, 그리고 성능에 영향을 미치는 요인들은 여전히 largely 미개척 상태입니다.

방법론
저자들은 코드 리뷰 중 보안 결함을 탐지하는 LLM 의 잠재력을 평가하기 위해 실증 연구를 수행했습니다. 이 연구는 OpenStack Nova/Neutron 및 Qt Base/Creator라는 네 가지 오픈소스 프로젝트에서 파생된 534 개의 코드 파일 (Python 258 개, C/C++ 276 개) 로 구성된 수동으로 큐레이션된 데이터셋을 활용했으며, 614 개의 보안 관련 리뷰 코멘트가 포함되어 있습니다.

• 평가된 모델: 7 개의 LLM 이 테스트되었으며, 여기에는 독점 모델 (GPT-4, GPT-4 Turbo, Gemini Pro), 오픈소스 모델 (Llama 2 7B, Llama 2 70B), 그리고 추론 최적화 모델 (DeepSeek-R1) 이 포함되었습니다.
• 프롬프트 엔지니어링: 모범 사례와 이전 전략에 기반하여 다섯 가지 고유한 프롬프트 템플릿이 설계되었습니다:
  1. 기본 프롬프트 ($P_b$): 코드 리뷰를 위한 직접 지시.
  2. 프로젝트 정보 ($P_r$): 프로젝트 이름 컨텍스트 추가.
  3. 일반 CWE 지시 ($P_c$): CWE 를 참조하도록 지시.
  4. 구체적 CWE 지시 ($P_{cid}$): 최상위 CWE 목록 제공.
  5. 생각의 사슬 (Chain-of-Thought, $P_{cot}$): 커밋 메시지로부터 코드 컨텍스트를 생성한 후 결함을 분석하도록 요구하는 2 단계 프롬프트. 생성된 컨텍스트의 영향을 분리하기 위해 "가드레일" 버전 ($P_{cot-guardrail}$) 도 테스트되었습니다.
• 평가 지표: 응답은 수동으로 네 가지 범주로 라벨링되었습니다: 실용적 (Instrumental) (정확한 결함 유형, 위치 및 설명), 유용함 (Helpful) (부분적으로 정확함), 오해의 소지가 있음 (Misleading) (탐지 실패 또는 오탐지), 그리고 불확실 (Uncertain). 지표로는 I-Score, IH-Score, M-Score 가 포함되었습니다. 일관성은 세 번의 실험 실행 동안 응답 엔트로피를 통해 측정되었습니다.
• 분석: 이 연구는 LLM 성능을 최신 정적 분석 도구 (CodeQL, Bandit, CppCheck 등) 와 비교했습니다. 최상위 성능을 보인 모델에 대해서는 언어학적 분석을 통해 환각, 모호함 등의 품질 문제를 식별했습니다. 마지막으로, 11 가지 요인 (토큰 수, 코드 복잡성, 결함 유형 등) 이 성능에 미치는 영향을 분석하기 위해 누적 링크 회귀 모델이 구축되었습니다.

주요 기여

1. 세분화된 평가: 보안 코드 리뷰에서 인기 있는 LLM 에 대한 포괄적인 평가를 제공하여, 이진 분류를 넘어 결함 위치 특정, 설명 및 수정 제안까지 평가했습니다.
2. 비결정성 분석: 보안 코드 리뷰 결과의 일관성에 미치는 LLM 비결정성의 영향을 측정했습니다.
3. 품질 문제 정량화: 최상위 성능 모델의 응답에서 환각 (사실적 및 충실도 관련) 을 포함한 구체적인 품질 문제를 식별하고 정량화했습니다.
4. 영향 요인 분석: 이 분야에서 특정 코드 및 프로젝트 속성이 LLM 성능에 어떻게 영향을 미치는지 통계적으로 검증하기 위해 최초의 회귀 분석을 수행했습니다.

결과

• 성능 대 베이스라인: LLM 은 보안 코드 리뷰에서 최신 정적 분석 도구보다 훨씬 우수한 성과를 거두었습니다. LLM 중에서는 추론 최적화 모델 (DeepSeek-R1) 이 범용 모델을 능가했습니다.
• 최상위 수행자: DeepSeek-R1 이 전체적으로 가장 높은 성능을 달성했으며, 그 뒤를 ChatGPT 플랫폼을 통한 GPT-4 가 이었습니다.
  • 최적 프롬프트: DeepSeek-R1 은 커밋 메시지와 생각의 사슬 (CoT) 가이드를 결합한 프롬프트 ($P_{cot-guardrail}$) 로 가장 잘 수행했습니다. GPT-4(ChatGPT) 는 구체적인 CWE 목록이 포함된 프롬프트 ($P_{cid}$) 로 가장 잘 수행했습니다.
• 품질 문제:
  • GPT-4(ChatGPT): 모호한 표현을 자주 생성했고 지시 따르기 (예: 행 번호 누락) 에 어려움을 겪었지만, 코드 세부 사항에 관한 사실적 오류는 상대적으로 적었습니다.
  • DeepSeek-R1: 부정확한 코드 세부 사항 (예: 잘못된 행 번호 또는 함수 이름) 을 생성할 가능성이 더 높았으며, 지시 따르기 능력이 더 뛰어났음에도 불구하고 "부정확한 사실" 환각 발생률이 더 높았습니다.
• 영향 요인:
  • 토큰 수: LLM 은 토큰 수가 적은 파일에서 결함을 더 잘 식별했습니다. 토큰 수가 증가함에 따라 성능은 일반적으로 저하되었습니다.
  • 주석: 코드 내 보안 관련 주석의 존재는 탐지 능력을 향상시켰습니다.
  • 복잡성: 메모리 관련 결함을 제외한 특정 결함 유형의 경우, 코드 복잡도가 높을수록 DeepSeek-R1 의 탐지 능력이 향상되어 복잡성이 항상 탐지를 방해한다는 가정과 반대되는 결과가 나타났습니다.
  • 일관성: 탐지 능력이 더 높은 모델 (DeepSeek-R1, GPT-4 ChatGPT) 은 능력이 낮은 모델에 비해 실행 간 일관성이 더 낮았으며 (더 높은 엔트로피), 더 큰 변동을 보였습니다.

의의 및 주장
이 논문은 현재 LLM 이 인간 리뷰어를 대체할 수는 없지만, 보안 결함을 탐지하는 데 있어 기존 정적 분석 도구보다 훨씬 강력한 보조 도구 역할을 한다고 주장합니다. 연구는 LLM 의 효과성이 프롬프트 엔지니어링 (특히 커밋 메시지, CoT, 또는 CWE 목록의 포함) 과 리뷰되는 코드의 특정 특성 (토큰 수, 복잡성, 주석) 에 크게 의존함을 강조합니다.

저자들은 LLM 의 비결정성이 양날의 검이라고 강조합니다. 더 깊은 추론 (따라서 더 나은 탐지) 이 가능한 모델은 더 일관성 없는 출력을 생성하는 경향이 있습니다. 결론적으로, LLM 이 토큰 수가 적은 저난이도 코드의 초기 리뷰를 처리하고 인간 전문가가 고난이도 코드에 집중하며 LLM 의 발견 사항을 검증하는 다층적 리뷰 전략이 필요하다고 결론지었습니다. 또한 이 연구는 코드 세부 사항에 관한 환각을 해결하고 탐지 민감도를 희생하지 않으면서 LLM 출력의 안정성을 개선하기 위한 향후 작업의 필요성을 강조합니다.