Persistent Human Feedback, LLMs, and Static Analyzers for Secure Code Generation and Vulnerability Detection

기술 요약: 안전한 코드 생성 및 취약점 탐지를 위한 지속적인 인간 피드백, LLM 및 정적 분석기

문제 정의
본 논문은 안전한 코드 생성 및 취약점 탐지를 위해 대규모 언어 모델(LLM)에 대한 의존도가 높아지고 있는 상황에서, 현재의 평가 방법론에 존재하는 결정적인 결함을 지적한다. LLM은 소프트웨어 개발에 점점 더 많이 사용되고 있지만, 명시적으로 안전한 코드를 생성하도록 지시받더라도 보안상 취약한 코드를 생성하는 경우가 빈번하다. 기존 문헌들은 주로 자동화된 정적 분석 도구(예: CodeQL, Semgrep)를 유일한 정답(ground truth)으로 사용하여 모델을 평가한다. 저자들은 이러한 접근 방식이 결함이 있다고 주장하는데, 이는 정적 분석기가 높은 오탐률(false-positive rates)을 보이며 실제 보안 취약점에 대한 인간 전문가의 판단과 일치하지 않는 경우가 많기 때문이다. 또한, 현재의 프레임워크는 전문가 피드백을 지속적으로 저장하고 재사용하는 메커니즘이 부족하여, LLM이 과거의 교정 사항으로부터 학습하는 능력을 제한하고 있다.

방법론
본 연구는 포괄적인 문헌 검토와 경험적 검증 연구라는 두 가지 측면의 방법론을 채택하였다.

1. 문헌 검토: 저자들은 현재의 연구 트렌드를 파악하기 위해 최상위 소프트웨어 공학 학술지(A/A*)에 게재된 2025개의 출판물을 조사하였다. 이들은 안전한 코드 생성 및 취약점 탐지 연구에 사용되는 벤치마크, 대상 프로그래밍 언어, 모델 제품군 및 평가 도구를 분석하였다.
2. 경험적 검증:
   • 데이터셋 구축: Recursive Critiques Improvement (RCI) 프롬프팅 기법을 사용하여 GPT-4o로 108개의 고유한 작업(CWE Top 25에 매핑됨)을 기반으로 한 1,080개의 코드 샘플을 생성하였다.
   • 정답(Ground Truth) 생성: 교수진의 지도 아래 훈련된 두 명의 검토자(박사 과정 및 석사 과정 학생)가 샘플을 수동으로 검사하여 특정 대상 CWE에 대해 취약하거나 안전한지를 레이블링하였다. 의견 불일치는 토론이나 전문가 중재를 통해 해결되었으며, 높은 검토자 간 일치도(Cohen's $\kappa = 0.94$)를 달성하였다.
   • 도구 비교: 수동으로 검증된 정답을 두 가지 널리 사용되는 정적 분석 도구인 CodeQL과 Semgrep의 출력 결과와 비교하였다.
   • 프레임워크 제안: 연구 결과를 바탕으로, 저자들은 인간의 피드백을 검색 증강 생성(RAG) 파이프라인에 통합하는 개념적 프레임워크를 제안한다.

주요 결과
경험적 연구 결과, 자동화된 도구와 인간 전문가 사이에 상당한 불일치가 있음이 드러났다:

• 정답(Ground Truth): 생성된 샘플의 61%는 실제로 안전했으며, 39%는 취약점을 포함하고 있었다.
• 도구 성능: Semgrep은 샘ples의 60%를 안전하다고 분류했고, CodeQL은 80%를 안전하다고 분류했다. Semgrep의 총합 비율은 인간의 판단과 근접해 보였으나, 샘플별 분석에서는 상당한 불일치가 나타났다.
• 정확도 지표: Semgrep 보고서의 65%와 CodeQL 보고서의 61%만이 정답 레이블과 정확히 일치했다.
• CWE 커버리지: 두 도구 모두 정답 사례 중 상당 부분에서 대상 CWE를 탐지하는 데 실패했으며, 대상이 아닌 CWE(이 연구에서는 유효성이 확인되지 않음)에 대해서도 빈번하게 결과를 보고했다.
• 자기 비판(Self-Critique): LLM이 "구체적인(specific)" 자기 비판(대상이 명확하고 실행 가능한 피드백)을 제공할 때가 "일반적인(general)" 비판을 제공할 때보다 더 안전한 코드(64% 안전)를 생성한다는 것을 관찰하였다.

제안된 프레임워크: 지속적인 인간 피드백
정적 도구의 한계와 현재 피드백 루프의 일시적 특성을 해결하기 위해, 저자들은 인간 참여형(Human-in-the-Loop, HIL) 에이전트를 동적 RAG 파이프라인에 통합하는 개념적 프레임워크(그림 3 참조)를 제안한다. 이 프레임워크는 네 가지 에이전트로 구성된다:

1. 프롬프트 에이전트(Prompt Agent): 개발자의 프롬프트를 정교화하기 위해 이중 소스 RAG(인간 피드백 및 외부 취약점 지식)로부터 관련 보안 가이드를 검색하여 코드 생성을 조율한다.
2. 보안 에이전트(Security Agent): 정적 분석기와 LLM을 사용하여 생성된 코드를 평가하고, 기계 판독 가능 및 인간 판독 가능 보고서를 생성한다.
3. 인간 참여형(HIL) 에이전트: 최종 의사 결정자 역할을 한다. 전문가는 보안 에이전트의 보고서를 검토한다. 불일치가 발생하는 경우, 전문가의 피드백은 RAG에 지속적으로 저장된다.
   • 신뢰 가중치(Trust Weighting): 시스템은 검토자 간의 합의와 역사적 경험적 성공(지수 이동 평균 사용)을 바탕으로 피드백에 동적인 신뢰 가중치를 할당한다.
   • 이중 검토(Dual Review): 데이터 오염을 방지하기 위해, 새로운 피드백이 활성 검색 풀에 들어가기 위해서는 두 명의 서로 다른 검토자로부터 승인을 받아야 한다.
4. 이중 소스 RAG(Dual-Source RAG): 일반적인 외부 지식(EVK)보다 인간이 검증한 피드백(HF)을 우선시하는 합성 점수 함수를 사용하여 공유 지식 서비스를 제공하며, 이 함수는 일반적인 조언과 전문가 피드백 간의 모순에 페널티를 부여한다.

의의 및 주장
본 논문은 LLM이 생성한 코드를 평가할 때 정적 분석 도구에만 의존하는 것은 신뢰할 수 없으며 보안 연구의 타당성에 위험을 초래한다고 주장한다. 저자들은 전문가의 피드백이 개별 사례뿐만 아니라 유사한 미래 사례로 일반화될 수 있다고 단언한다. 결과적으로, 제안된 프레임워크는 LLM이 이전의 인간 피드백을 동적으로 재사용할 수 있도록 하여, 안전한 코드 생성과 취약점 탐지 능력을 모두 향상시키는 것을 목표로 한다. 본 연구는 소프트웨어 공학 커뮤니티가 자동화된 평가를 넘어, 보안이 중요한 맥락에서 LLM의 신뢰성을 보장하기 위해 지속적이고 전문가 중심적인 피드백 루프를 도입해야 한다고 결론짓는다.

한계점 (타당성 위협)
저자들은 다음과 같은 몇 가지 한계를 인정한다:

• 구성 타당성(Construct Validity): 문헌 검토가 소프트웨어 공학 분야의 2025년 출판물로 제한되어, 보안 특화 학술지(예: USENIX Security, CCS)의 패턴을 놓쳤을 가능성이 있다.
• 내적 타당성(Internal Validity): 정답 레이벨은 수동 평가에 의존하며, 높은 검토자 간 일치도에도 불구하고 인간의 편향이 개입될 수 있다.
• 외적 타당성(External Validity): 실험은 RCI 프롬프팅을 사용하는 GPT-4o 기반의 Python 코드에 집중되었다. 결과가 다른 언어(특히 C/C++와 같은 저수준 언어), 다른 도메인, 또는 다른 LLM 및 정적 분석 도구로 일반화되지 않을 수 있다.