기술 요약: SecureForge

문제 정의

대형 언어 모델 (LLM) 코딩 에이전트가 전례 없는 규모로 코드를 생성하고 있지만, 인간의 개입 없이 코드베이스에 사이버 보안 취약점을 자주 도입하고 있습니다. 본 연구에서 확인된 치명적인 실패 양상은 기능적으로 정확하지만 보안이 취약한 코드를 생성하는 것입니다. 최첨단 모델에게 명시적으로 안전한 프로덕션 코드를 작성하도록 지시하고 피해야 할 특정 취약점에 대한 맥락을 제공하더라도, 250 개의 일반적 코딩 프롬프트로 구성된 말뭉치에서 약 23% 의 확률로 검증 가능한 취약점을 여전히 생성합니다.

이러한 위험을 완화하기 위한 기존 접근 방식은 다음과 같은 중대한 격차를 겪고 있습니다:

1. 정렬되지 않은 위협 모델: 이전의 레드팀링 (red-teaming) 은 종종 일반 사용자의 benign 코딩 작업과의 상호작용을 반영하지 않는 적대적 프롬프트에 의존합니다.
2. 불충분한 커버리지: 특정 공통 취약점 목록 (CWEs) 을 대상으로 수동으로 제작된 시나리오는 실수로 취약한 코드를 생성할 수 있는 전체 benign 프롬프트 공간을 특징짓는 데 실패합니다.
3. 배포 장벽: 현재 강화 방법은 파인튜닝이나 접두사 튜닝을 위해 화이트박스 가중치 접근이 필요한 경우가 많아, API 를 통해 폐쇄형 가중치 모델을 사용하는 개발자들은 접근할 수 없습니다. 또한 파인튜닝은 일반 코딩 능력을 저하시킬 수 있는 분포 변화를 초래할 위험이 있습니다.

모델 가중치 업데이트 없이 최첨단 모델이 생성한 코드에 공통 취약점이 도입되는 것을 측정하고 방지할 수 있는 쉽게 배포 가능하고 자동화된 추론 시간 (inference-time) 접근 방식이 부재합니다.

방법론: SecureForge 파이프라인

SecureForge 는 공통 취약점에 대비하여 AI 코딩 에이전트를 능동적으로 강화하도록 설계된 경량 자동화 파이프라인입니다. 테스트 대상 모델에 대한 API 접근 권한과 정적 분석기만 필요합니다. 파이프라인은 세 가지 명확한 단계로 운영됩니다:

1. 단일 샷 위조 (Discovery)

첫 번째 단계는 정적으로 검증 가능한 취약점을 유발하는 benign 시드 프롬프트를 식별합니다.

• 프롬프트 생성: MITRE CWE 데이터베이스에서 시작하여 알려진 취약점과 관련된 특정 라이브러리를 활용하는 현실적인 코딩 작업을 시스템이 생성합니다 (예: Django 의 SQL 삽입).
• Benign 필터링: 이러한 프롬프트는 공격, 취약점 또는 CWE 에 대한 명시적 언급을 제거하도록 수정됩니다. 생성기는 프롬프트가 표준 사용자 요청처럼 보이도록 "입력이 적절하게 정제되었는지 확인"과 같은 프로덕션 수준의 언어를 사용하도록 지시받습니다.
• 평가: 대상 모델은 온도 (temperature) 1.0 에서 이러한 프롬프트에 대한 코드를 생성합니다. 출력물은 Semgrep(정적 분석 도구) 을 사용하여 분석됩니다. 유닛 테스트는 통과하지만 정적 분석에서 실패 (취약점 발생) 하는 코드를 생성한 프롬프트는 "위조된" 시드 프롬프트로 유지됩니다.

2. 실패 분포 발견 (Amplification)

초기 실패 예제의 희소성을 극복하고 다양성을 보장하기 위해 SecureForge 는 Markov Chain Monte Carlo (MCMC) 샘플링, 구체적으로 Metropolis-Hastings (MH) 기준을 활용합니다.

• 목표: 특정 취약점 유형 $F_j$에 대한 실패의 조건부 분포 $p(\cdot | F_j)$에서 샘플링합니다.
• 과정: 시드 프롬프트에서 시작하여 탐색 커널 (프롬프트를 재구성하는 언어 모델) 이 후보 변형을 생성합니다. 새로운 프롬프트 $x'$의 수용 여부는 현재 프롬프트의 확률에 전이 커널을 보정한 후, 비정규화된 실패 확률 $\bar{p}(x')$의 비율로 결정됩니다.
• 확률 추정: 실패 확률 $p_{fail}(x)$는 프롬프트를 여러 번 실행하여 성공/실패 횟수에 Beta 분포를 적합시키고 분산이 임계값 이하로 수렴할 때까지 추정합니다.
• 결과: 이 과정은 소수의 시드 프롬프트를 고밀도 취약성을 유지하면서 실패 분포를 탐색하는 대규모 다양성 합성 말뭉치 (80,000 개 프롬프트) 로 증폭시킵니다.

3. 프롬프트 최적화를 통한 강화

최종 단계는 모델 가중치를 수정하지 않고 불안전한 코드 생성 확률을 줄이기 위해 시스템 프롬프트를 최적화합니다.

• 최적화 알고리즘: 파이프라인은 자기 성찰을 활용하는 0 차 유전 알고리즘인 **GEPA(Genetic-Pareto)**를 사용합니다.
• 과정: 일반적인 시스템 프롬프트로 시작하여 GEPA 는 후보 시스템 프롬프트를 반복적으로 생성합니다. 각 후보는 전체 합성 실패 프롬프트 말뭉치에 대해 평가됩니다.
• 적합도 함수: 알고리즘은 유닛 테스트 통과 (기능적 정확성) 를 유지하면서 말뭉치 전반에 걸친 집계 실패 확률을 최소화합니다.
• 피드백 루프: 정적 분석기는 생성된 코드에 취약점이 포함되었는지에 따라 (±1 점) 신호를 제공합니다. 시스템 프롬프트는 보안과 능력을 균형 있게 유지하는 파레토 최적성 (Pareto optimality) 을 기반으로 변이되고 선택됩니다.

주요 기여

1. Benign 실패의 경험적 특성화: 저자들은 최첨단 모델이 명시적으로 안전을 요청받고 CWE 맥락을 제공받음에도 불구하고 불안전한 코드를 생성함을 입증했습니다. 출력물의 12.7% 가 취약점이면서도 유닛 테스트를 통과하는 것으로 발견되어 이러한 실패의 비가시성을 강조했습니다.
2. MCMC 기반 증폭: 본 논문은 개별 위조 예제를 MCMC 를 사용하여 다양한 실패 시나리오 말뭉치로 확장하는 방법을 제시합니다. 제거 실험 (ablation studies) 은 이 방법이 단순한 재구문화보다 최대 2 배 더 성공적으로 새로운 취약 프롬프트를 발견함을 보여줍니다.
3. 추론 시간 강화: SecureForge 는 시스템 프롬프트 최적화만으로 보안을 개선하는 배포 가능한 솔루션을 제공합니다. 파인튜닝, 화이트박스 접근, 또는 최적화 단계 중 실제 사용자 프롬프트 분포에 노출될 필요가 없습니다.
4. 오픈소스 툴킷: 저자들은 benign 실패 프롬프트 생성부터 API 또는 로컬 배포를 통한 시스템 프롬프트 최적화까지 전체 파이프라인을 자동화하는 툴킷 (secureforge) 을 공개합니다.

결과

평가 는 오픈소스 (Qwen, CodeLlama, Kimi) 및 최첨단 폐쇄형 모델 (GPT-5 시리즈, Claude Sonnet 4.6) 세트를 대상으로 수행되었습니다.

• 취약점 감소: SecureForge 는 통계적으로 유의미한 취약점 감소율을 달성하여 테스트된 모델 간 최대 **48%**의 감소를 기록했습니다.
• 파레토 개선: 최적화된 시스템 프롬프트는 유닛 테스트 성공률과 출력 보안 모두에서 공동 개선을 가져왔습니다. 모델은 코딩 능력을 저하시키지 않으면서 (테스트 통과, 보안) 평면의 "더 안전한" 사분면으로 크게 이동했습니다.
• Zero-Shot 전이: 합성 데이터로 최적화된 시스템 프롬프트는 SWE-chat데이터셋의 실제 세계 "야생 (in-the-wild)" 코딩 에이전트 프롬프트에 효과적으로 전이되었습니다. 이 전이는 최적화 단계 중 실제 사용자 프롬프트 분포에 노출되지 않은 상태에서 발생하여, 실제 세계 작업에서 테스트 통과 및 보안의 공동 비율을 최대 13.5% 까지 개선했습니다.
• 베이스라인 비교: 단순 프롬프트 전략 (안전한 코드 요청 또는 CWE 나열) 은 SecureForge 와 동일한 정도로 취약점 비율을 줄이지 못해, 테스트 통과 시나리오에서도 여전히 두 자릿수 취약점 비율을 남겼습니다.

중요성 및 주장

본 논문은 SecureForge 가 자동화된 추론 시간 메커니즘을 제공하여 공통 취약점에 대비한 코딩 에이전트 강화를 통해 LLM 보안의 중대한 격차를 해소한다고 주장합니다.

• 안전 훈련을 넘어선 접근: 결과는 최첨단 모델의 기존 안전 훈련이 benign, 의도하지 않은 사용자 요청에서 발생하는 취약점을 방지하기에 불충분함을 시사합니다. 명시적으로 보안을 요청하거나 CWE 목록을 제공하는 것만으로는 충분하지 않습니다.
• 확장 가능한 강화: 가중치 업데이트 대신 정적 분석과 프롬프트 최적화에 의존함으로써 SecureForge 는 개발자가 폐쇄형 가중치 모델을 즉시 보호할 수 있는 실용적인 경로를 제공합니다.
• Secure-by-Design: 저자들은 이 접근 방식이 대규모로 구현될 경우, 기술 제공자가 코드가 출시되기 전에 실패 양상을 능동적으로 식별하고 완화함으로써 "Secure-by-Design" 약속을 이행하는 데 도움이 된다고 주장합니다.

이 연구는 현재 평가가 단일 턴 Python 코드 생성으로 제한되지만, 파이프라인은 정답 정적 분석만 필요로 하고 인간 주석은 필요하지 않은 최첨단 LLM 의 코딩 보안 취약점을 발견하고 줄이기 위한 일반적인 프레임워크를 제공함을 강조합니다.