On Fixing Insecure AI-Generated Code through Model Fine-Tuning and Prompting Strategies

제목: 모델 미세 조정 및 프롬프트 전략을 통한 AI 생성 취약 코드 수정

문제 제기
소프트웨어 개발 워크플로우에 대규모 언어 모델 (LLM) 이 광범위하게 통합되면서 코드 합성이 크게 가속화되었습니다. 그러나 AI 생성 코드 채택의 주요 장벽은 보안입니다. 기능적 벤치마크에서 강력한 성능을 보임에도 불구하고, LLM 은 훈련 데이터에 존재하는 불안전한 패턴을 반영하여 버그와 보안 약점을 포함하는 코드를 빈번하게 생성합니다. 이전 연구들은 GitHub Copilot 과 같은 도구가 생성한 코드의 상당 부분이 취약점을 포함하고 있으며, 일부 추정에 따르면 제안 사항의 40% 이상이 불안전하다고 나타냈습니다. 프롬프트 엔지니어링과 미세 조정과 같은 완화 전략이 제안되었으나, 그 효과는 모델, 프로그래밍 언어, 특정 취약점 유형에 따라 광범위하게 달라집니다. 또한, 이러한 전략이 공통 약점 목록 (CWE) 을 효과적으로 감소시키는지, 아니면 부수적 효과로 새로운 취약점을 고의적으로 도입하는지 평가하는 포괄적이고 비교적인 연구는 부족합니다.

연구 방법
본 연구는 MITRE CWE 상위 25 대 가장 위험한 소프트웨어 약점에서 파생된 10 가지 시나리오 목록에 대비하여 AI 생성 코드를 강화하기 위한 전략에 대한 체계적인 조사를 제시합니다. 실험 설계는 다음과 같은 구성 요소를 포함했습니다:

• 모델 및 언어: 다섯 가지 다른 LLM 을 평가했습니다. 세 가지 범용 모델 (GPT-4.1, Gemini 2.0 Flash, GPT-5) 과 두 가지 추론 모델 (DeepSeek-R1-32B, o4-mini) 입니다. 코드 생성은 서로 다른 타입 시스템과 패러다임을 대표하는 네 가지 프로그래밍 언어 (Python, JavaScript, Java, Go) 에서 테스트되었습니다.
• 기준선 생성: 10 가지 CWE 시나리오 각각에 대해 각 모델이 10 개의 코드 샘플을 생성하여 "원본"출력의 기준선을 마련했습니다.
• 정제 전략: 모델을 안전한 코드로 유도하기 위해 네 가지 출력 정제 기법을 적용했습니다:
  1. 부정 예제 프롬프팅 (NEP): 모델에게 피해야 할 불안전한 코드 샘플을 제공합니다.
  2. 생각의 사슬 (CoT) 프롬프팅: 보안 위험을 식별하고 완화하기 위해 명시적이고 단계별 추론을 통해 모델을 안내합니다.
  3. 메타 프롬프팅 (MP): 코드를 생성하기 전에 모델에게 스스로를 위한 포괄적이고 보안 중심의 프롬프트를 먼저 생성하도록 지시합니다.
  4. 미세 조정 (FT): 정적 분석으로 검증된 수동 생성 안전 코드 샘플 데이터셋을 사용하여 저랭크 적응 (LoRA) 으로 모델 가중치를 조정합니다.
• 평가: 생성된 모든 코드 샘플 (원본 및 정제된 것) 을 CodeQL 정적 분석 도구를 사용하여 CWE 를 탐지하고 분류했습니다. 취약점의 빈도와 심각도를 모두 고려하여 보안 개선 비율을 계산하기 위해 심각도 기반 지표를 사용했습니다.

주요 기여 및 결과
본 연구는 9,300 개의 코드 샘플을 생성하고 분석하여 다음과 같은 주요 발견 사항을 도출했습니다:

1. 약점의 만연성 (RQ1): 어떤 LLM 도 모든 시나리오와 언어에서 완전히 안전한 코드를 생성하지 못했습니다. 취약한 샘플에는 종종 여러 개의 CWE 가 포함되어 있었습니다. JavaScript 는 가장 높은 비율의 약점을 보인 반면, Go 는 가장 낮은 비율을 보였습니다. 모든 모델에서 가장 빈번한 약점은 CWE-20 (부적절한 입력 유효성 검사), CWE-798 (하드코딩된 자격 증명), CWE-22 (경로 이동) 였습니다.
2. 정제 전략의 효과성 (RQ2):
   • 미세 조정은 프롬프팅 기법을 일관되게 능가하는 가장 효과적인 전략이었습니다. 모델과 언어 전반에 걸쳐 전체 CWE 심각도를 평균 약 80% 감소시켰습니다.
   • 메타 프롬프팅은 프롬프팅 기반 기법 중 가장 강력하여, 종종 미세 조정과 비교 가능한 개선을 달성했습니다 (예: GPT-4.1 의 경우 약 69% 의 심각도 감소). 그러나 변동성이 더 컸습니다.
   • 생각의 사슬은 moderate 한 개선 (~40-50% 감소) 을 제공한 반면, 부정 예제 프롬프팅은 일반적으로 가장 효과가 적었으며, 때로는 약점의 수를 증가시키기도 했습니다.
   • 성능은 언어에 따라 달랐습니다. Python 과 Go 스니펫은 정제로부터 가장 큰 혜택을 받은 반면, JavaScript 와 Java 는 더 moderate 한 감소를 보였습니다.
3. 의도하지 않은 결과 (RQ3): 수정 노력은 때때로 새로운 약점을 도입했습니다. 미세 조정은 가장 적은 수의 새로운 CWE 를 도입한 반면, 프롬프팅 전략 (특히 CoT) 은 기존 취약점을 수정하려는 시도 중에 새로운 취약점을 빈번하게 도입했습니다. 주목할 만한 패턴은 정화 로직을 추가하는 부수적 효과로 CWE-20 (부적절한 입력 유효성 검사) 과 CWE-1333 (비효율적인 정규 표현식 복잡성) 이 도입되었다는 점입니다. 그러나 대부분의 경우 새로 도입된 약점은 원래 취약점보다 심각도가 낮았습니다.

의의 및 주장
저자들은 AI 생성 코드를 보호하기 위한 보편적으로 효과적인 "방탄" 솔루션은 없다고 주장합니다. 본 연구는 보안 개선이 특정 모델, 프로그래밍 언어, 선택된 완화 전략에 크게 의존함을 강조합니다.

본 논문은 미세 조정이 안전한 코드로 가는 가장 신뢰할 수 있는 경로를 제공하지만 상당한 계산 비용이 따른다고 주장합니다. 프롬프팅 전략, 특히 메타 프롬프팅은 상당한 보안 개선을 얻을 수 있는 비용 효율적인 대안을 제공하지만, 일관성이 부족하고 종종 덜 심각한 새로운 취약점을 도입할 가능성이 있습니다.

저자들은 기능적으로 정확하더라도 AI 생성 코드가 본질적으로 안전하다고 가정해서는 안 된다고 강조합니다. 그들은 LLM 을 포함하는 안전한 소프트웨어 개발 워크플로우에는 엄격한 보안 분석 (정적 또는 동적) 이 통합되어야 하며, 모델 제작자들은 보안과 정렬된 훈련 데이터 및 미세 조정 방법을 우선시해야 한다고 결론지었습니다. 본 연구는 모델 능력의 발전에도 불구하고 현재 LLM 이 여전히 불안전한 코딩 패턴을 재생산하고 있으므로 개발자들이 경계를 늦추지 말아야 함을 강조합니다.