SecRepoBench: Benchmarking Code Agents for Secure Code Completion in Real-World Repositories

1. 문제 정의 (Problem)

대규모 언어 모델 (LLM) 기반 코드 에이전트 (Code Agents) 는 소프트웨어 개발 생산성을 높이고 있지만, 생성된 코드에 보안 취약점이 포함될 위험이 있습니다. 기존 연구들은 LLM 이 생성한 코드의 보안성을 평가하기 위한 다양한 벤치마크를 개발했으나, 실제 레포지토리 (Real-world Repositories) 환경에서의 '보안 코드 완성 (Secure Code Completion)' 태스크를 평가하는 데에는 한계가 있었습니다.

기존 벤치마크의 주요 한계점은 다음과 같습니다:

• 기능적 정확성 (Correctness) 과 보안성 (Security) 의 분리 평가: 기존 벤치마크는 기능적 정확성 테스트만 있거나 보안 테스트만 존재하여, 두 가지 요소를 동시에 평가하는 데이터셋이 부족했습니다. 정확성 평가 없이 보안만 평가하면 보안성을 과대평가할 수 있습니다.
• 제한된 컨텍스트 (Context): 코드 에이전트는 전체 레포지토리를 탐색하며 함수 정의나 디렉토리 구조를 참조할 수 있어야 하지만, 기존 벤치마크는 에이전트가 커스터마이징된 컨텍스트 검색 방법을 사용할 수 없도록 고정된 컨텍스트만 제공했습니다.

2. 방법론 (Methodology)

이 논문은 이러한 격차를 해소하기 위해 SecRepoBench라는 새로운 벤치마크를 제안합니다.

• 데이터셋 구성:

  • 규모: 27 개의 인기 있는 GitHub C/C++ 레포지토리에서 추출된 318 개의 코드 완성 태스크.
  • 범위: 15 가지의 공통 취약점 분류 (CWE) 를 포함하며, Google OSS-Fuzz 의 ARVO 데이터셋을 기반으로 구축되었습니다.
  • 태스크 시나리오: 실제 개발자가 IDE 에서 코드를 작성하다가 멈추고 에이전트에게 나머지 코드를 완성하도록 요청하는 상황을 시뮬레이션합니다. 취약점이 발생할 수 있는 보안 민감 영역을 대상으로 합니다.

• 평가 프로세스:

  1. 입력: 타겟 함수 (빈 공간 포함) 와 전체 레포지토리 컨텍스트를 에이전트/모델에 제공합니다.
  2. 코드 생성: 모델은 빈 공간을 채우는 코드를 생성합니다.
  3. 정확성 평가 (Correctness): 해당 레포지토리에 포함된 개발자 작성 단위 테스트 (Unit Test) 를 실행합니다. 모든 관련 테스트가 통과해야 '정확한 코드'로 간주합니다.
  4. 보안성 평가 (Security): OSS-Fuzz 에서 제공하는 PoC (Proof-of-Concept) 익스플로잇을 사용하여 생성된 코드를 실행합니다. 프로그램이 충돌 (Crash) 하지 않으면 '보안적 코드'로 간주합니다.
  5. 메트릭: secure-pass@k (정확성 + 보안성 모두 통과 확률), pass@k (정확성), secure % (보안성) 를 사용합니다.

• 실험 설정:

  • 모델: 29 개의 독립적인 LLM 과 3 가지 최신 에이전트 프레임워크 (OpenHands, Aider, Claude Code) 를 결합한 15 개의 코드 에이전트를 평가했습니다.
  • 컨텍스트: 독립 모델은 BM25 기반 컨텍스트 검색기를 사용했고, 에이전트는 전체 레포지토리를 탐색할 수 있는 도구를 사용했습니다.

3. 주요 기여 (Key Contributions)

1. SecRepoBench 벤치마크 출시: 실제 레포지토리 환경에서 기능적 정확성과 보안성을 동시에 평가할 수 있는 최초의 C/C++ 코드 완성 벤치마크입니다.
2. 종합적인 평가 체계: 개발자 작성 단위 테스트와 OSS-Fuzz 동적 보안 테스트를 결합하여, 기존 벤치마크보다 더 엄격하고 현실적인 평가 환경을 제공합니다.
3. 에이전트 vs 독립 모델 비교 분석: 코드 에이전트가 독립 LLM 보다 보안 코드 생성에 얼마나 효과적인지에 대한 체계적인 분석을 제공합니다.

4. 실험 결과 (Results)

• 전반적 성능: 최첨단 LLM 들조차 레포지토리 환경에서 정확하고 안전한 코드를 생성하는 데 어려움을 겪었습니다. 가장 성능이 좋은 모델 (GPT-5) 의 secure-pass@1 은 **39.3%**에 불과했습니다.
• 에이전트의 우위: 코드 에이전트는 독립 LLM 보다 상징적으로 우수한 성능을 보였습니다. 가장 좋은 에이전트 설정 (OpenHands + OpenAI o3) 은 **53.5%**의 secure-pass@1 을 기록했습니다.
• 성능 향상 요인: 에이전트의 성능 향상은 주로 기능적 정확성 (Correctness) 개선에서 비롯되었으며, 보안성 (Security) 개선 기여도는 상대적으로 작았습니다.
  • 예: OpenHands + GPT-5 는 정확성 (pass@1) 은 25.5% 향상되었으나, 보안성 (secure %) 은 4.7% 만 향상되었습니다.
• 기존 벤치마크와의 비교: SecRepoBench 는 이전의 가장 어려운 벤치마크인 BaxBench 보다 훨씬 어렵습니다. BaxBench 에서 GPT-5 가 53.8% 를 기록한 반면, SecRepoBench 에서는 39.3% 로 떨어졌습니다. 이는 실제 레포지토리 컨텍스트가 모델에게 더 큰 도전임을 시사합니다.
• 실패 모드 분석:
  • 컴파일 오류: 에이전트는 존재하지 않는 변수나 매크로를 '환각 (Hallucination)'하여 생성하거나, 파일 간 의존성을 잘못 이해하여 컴파일 오류를 발생시켰습니다.
  • 정확하지만 보안 취약: 기능은 작동하지만, 필수적인 조건 검사 (Conditional Check) 를 누락하거나 잘못된 메모리 할당을 수행하여 보안 취약점이 발생했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 현실적인 평가 기준: SecRepoBench 는 실제 소프트웨어 개발 워크플로우 (IDE 기반 코드 완성) 를 반영하여, LLM 기반 코드 에이전트의 실제 보안 능력을 평가하는 새로운 표준을 제시합니다.
• 향후 연구 방향: 에이전트들이 기능적 정확성은 개선했으나 보안 취약점 식별 및 수정에는 여전히 미흡함을 보여주었습니다. 이는 에이전트가 보안 인식을 강화하고, 할루시네이션을 줄이며, 복잡한 레포지토리 컨텍스트를 정확히 이해할 수 있도록 하는 향후 연구의 중요한 방향성을 제시합니다.
• 결론: SecRepoBench 는 현재 기능적 정확성과 보안성을 모두 포함하는 가장 도전적인 벤치마크이며, 안전한 코드 생성 기술 발전을 위한 필수적인 도구로 기대됩니다.