Secure Code Generation at Scale with Reflexion

기술 요약: Reflexion을 통한 대규모 보안 코드 생성

문제 정의
대규모 언어 모델(LLM)이 코드 초안 작성 및 리팩토링에 널리 채택되고 있지만, 생성된 코드의 보안성은 여전히 중대한 관심사입니다. 기존 연구들은 LLM이 기능적으로는 정확하지만, 학습 데이터로부터 취약성을 상속받아 보안상 취약한 코드를 생성하는 경우가 많다는 점을 입증했습니다. 기존의 보안 벤치마크는 좁은 언어 커버리지, 소규모 데이터셋에 대한 의존성, 그리고 프롬프트나 식별자가 의도치 않게 취약성 정보를 유출하여 보안 지표를 부풀리는 "큐 오염(cue contamination)" 등의 한계에 직면해 왔습니다. 또한, 대부분의 평가는 단일 턴(zero-shot) 프롬프팅에 의존하여, 반복적인 성찰(reflection) 및 수정 전략이 보안 결과를 효과적으로 개선할 수 있는지 여부를 평가하지 못하고 있습니다. 고도의 커버리지와 유효성이 강화된 벤치마크를 활용하여, 보안 코드 생성에서 반복적 자기 수정(self-correction)의 효용성을 측정하는 대규모의 체계적인 평가가 부족한 실정입니다.

방법론
저자들은 준수 사항이 요구되는 프롬프트를 제거하고 큐 오염을 줄인 CyberSecEval의 수정 버전인 Instruct Prime 벤치마크를 사용하여 대규모 평가를 수행했습니다. 연구에는 다음 구성 요소가 포함되었습니다:

• 모델: 다섯 가지 명령 튜닝된 코드 LLM을 평가했습니다: Qwen2.5-Coder-32B, Codestral-22B, CodeLlama-34B, DeepSeek-Coder-33B, 그리고 OpenCoder-8B.
• 프롬프팅 전략:
  • Zero-Shot Baseline ($t_0$): 모델은 보안 가이드 없이 작업 설명만을 기반으로 코드를 생성합니다.
  • Reflexion Prompting ($t_1, t_2, t_3$): 모델이 이전 코드, 정적 보안 분석 결과, 그리고 플래그가 지정된 CWE(Common Weakness Enumeration) 범주에 관한 구체적인 힌트를 받는 3라운드 반복 루프입니다. 모델은 기능을 유지하면서 취약점을 제거하도록 코드를 수정하라는 지시를 받습니다.
• 보안 평가: 모든 생성된 코드 스니펫을 스캔하기 위해 CWE와 정렬된 정적 규칙 세트인 **Insecure Code Detector (ICD)**가 사용되었습니다.
• 지표: 반복 성능를 평가하기 위해 세 가지 지표를 도입했습니다:
  • Repair (수정): 이전 라운드에서 보안상 취약했던 샘플 중 다음 라운드에서 보안 상태가 된 비율.
  • Regression (퇴보): 이전 라운드에서 보안 상태였던 샘플 중 다음 라운드에서 취약해진 비율.
  • NetGain (순이익): Repair 비율과 Regression 비율의 차이.
• 후처리: 공정한 평가를 보장하기 위해, 출력물은 "완전한 코드(Complete Code)"만을 포함하도록 필터링되었습니다. 코드 이외의 출력이나 혼합된 출력은 모델이 코드가 아닌 텍스트를 생성함으로써 보안 검사를 우회하는 것을 방지하기 위해 보안이 취약한 것으로 간주되었습니다.

주요 기여

1. 대규모 평가: 본 연구는 검증된 Instruct Prime 벤치마크를 사용하여 5개의 모델, 8개의 프로그래밍 언어, 50개의 CWE 범주에 걸친 보안 코드 생성에 대한 포괄적인 평가를 제공합니다.
2. 반복적 Reflexion 분석: 이는 대규모 환경에서 보안 코드 생성을 위한 자기 성찰(self-reflection)을 체계적으로 평가한 첫 사례로, 모델이 세 번의 수정 라운드를 통해 보안을 반복적으로 개선할 수 있는지 테스트합니다.
3. 포괄적 지표: 본 논문은 단순한 정확도를 넘어 Repair, Regression, NetGain 지표를 보고함으로써, 새로운 취약성을 도입하지 않고 보안을 개선하는 반복 전략의 양상에 대한 미묘한 관점을 제공합니다.
4. 재현 패키지: 감사 및 재사용을 가능하게 하기 위해 프롬프트, 생성 로그 및 스코어링 아티팩트가 포함된 전체 재현 패키지를 제공합니다.

결과

• 기초 보안성(Baseline Insecurity): 제로샷 베이스라인($t_0$)에서 보안 취약성이 만연하며, 생성된 프로그램의 약 **25~33%**가 보안상 취약한 것으로 나타났습니다.
  • 언어별 편차: Python은 가장 높은 보안율(78–88%)을 기록한 반면, C와 C#은 가장 낮은 보안율(55–67%)을 보였습니다.
  • CWE별 편차: XSS(CWE-79), 코드 인젝션(CWE-94), 하드코딩된 비밀번호(CWE-798)와 같은 템플릿화된 취약점은 안정적으로 처리되었습니다(보안율 85–90%). 반대로, 취약한 암호화(CWE-338) 및 설정 의존적 버그는 피하기 가장 어려웠으며, 특정 범주에 대해 보안율이 10–35%까지 떨어졌습니다.
• Reflexion의 영향: Reflexion 전략을 적용하면 평균 보안 생성 정확도가 $t_0$에서의 70.74%에서 $t_3$에서의 79.43%로 향상되었습니다.
  • 수익 체감: 가장 큰 이득은 첫 번째 라운드($t_1$, +6.00 퍼센트 포인트)에서 발생했습니다. 이후 라운드($t_2, t_3$)에서는 더 작은 개선(+1.66 및 +1.03 pp)을 보였습니다.
  • 모델 성능: QwenCoder와 Codestral이 가장 유의미한 개선(약 +11 퍼센트 포인트)을 보였습니다. OpenCoder는 보다 완만한 이득을 보였습니다.
  • 퇴보(Regressions): 수리가 빈번하게 일어났지만, 후기 라운드에서는 보안 코드가 취약한 코드로 수정되는 퇴보 현상이 간혹(1–2%) 발생했습니다.
• 최적의 전략: 데이터는 1~2 라운드의 reflexion이 대부분의 보안 이득을 확보하며, 추가적인 반복은 수익 체감을 가져온다는 것을 시사합니다.

의의 및 주장
본 논문은 LLM이 생성한 코드에서 보안 취약성이 광범위한 문제이며, 초기 출력물의 약 4분의 1에서 3분의 1이 취약점을 포함하고 있다고 주장합니다. 본 연구는 reflexion 프롬프팅이 이러한 보안 취약성을 크게 줄일 수 있는 효과적인 훈련 불필요(training-free) 메커니즘임을 입증합니다. 그러나 저자들은 reflexion이 위험을 완전히 제거하는 것은 아니며, 주로 첫 번째 반복에서 가장 직접적이고 명백한 오류를 수정한다는 점을 강조합니다.

저자들은 반복적 성찰이 보안을 개선하지만, 그 혜택은 수익 체감의 법칙을 따르며 퇴보의 위험이 따른다고 결론짓습니다. 이에 따라 저자들은 실질적인 정책을 제안합니다: 기본적으로 1 라운드의 reflexion을 실행하고, 보안이 해결되지 않은 경우에만 계속 진행하며, NetGain이 거의 개선되지 않거나 퇴보가 수리 수준에 도달할 때 중단하십시오. 본 연구는 LLM이 발전하고 있음에도 불구하고, 특정 취약성 계열(암호학적 약점, 데이터 진위성)과 저수준 언어(C, C#)가 지속적인 투자(보안 기본값 및 고품질 학습 데이터)를 필요로 하는 중요한 과제로 남아 있음을 강조합니다.