기술 요약: 워크플로 내의 보안 – 취약점 처리를 위한 역할 기반 에이전트 아키텍처 탐색

문제 정의

산업 현장에서의 보안 소프트웨어 공학은 취약점 분석, 수정, 그리고 수정 검증으로 구성된 구조화된 다단계 워크플로를 포함한다. 그러나 현재의 대규모 언어 모델(LLM) 기반 소프트웨어 보안 접근 방식은 탐지나 패치 생성과 같은 개별 작업에 집중되어 있어, 실제 보안 프로세스에서 사용되는 엔드 투 엔드(end-to-end) 에이전트 워크플로를 반영하기보다는 파편화되어 있는 경우가 많다. 이는 기존의 LLM 방법론과 실무적인 보안 소프트웨어 공학 사이에 간극을 만들며, 특히 C 및 C++와 같은 저수준 시스템 언어에서 두드로 나타난다. 이러한 언어에서는 취약점이 복잡한 메모리 의미론(semantics), 포인터 조작, 버퍼 관리에 의존하기 때문에 LLM이 진단과 수정을 수행하는 데 어려움이 따른다. 또한, 저수위 컨텍스트를 위한 도구 증강 에이전트 워크플로 및 모델 컨텍스트 프로토콜(MCP) 스킬 통합에 대한 탐색도 제한적이다.

방법론

저자들은 취약점 처리를 조사 계획(investigation planning), 취약점 분석(vulnerability analysis), 패치 생성(patch generation), 수정 검증(fix verification)의 명시적 단계로 분해하도록 설계된 역할 기반 에이전트 워크플로를 제안하고 평가한다.

워크플로 설계

본 연구는 CrewAI 프레임워크를 사용하여 두 가지 워크플로 변형을 구현하였으며, 세 가지 오픈 소스 LLM(nemotron-cascade-2:30b, qwen3-coder-next, gpt-oss:120b)을 인스턴스화하였다. 워크플로는 네 가지의 뚜렷한 역할을 구성한다:

1. Planner (기획자): 정규 표현식을 사용하여 입력된 C 코드를 사전 정의된 취약점 패턴(예: 버퍼 오버플로우, 널 포인터 역참조)으로 스캔하는 규칙 기반 정적 모듈(LLM이 아님)이다. 이는 분석가(Analyzer)를 가이드하기 위해 우선순위가 지정된 조사 영역과 테마를 출력한다.
2. Analyzer (분석가): 기술적 진단을 담당하는 LLM 에이전트이다. 주요 취약점을 결정하고, Common Weakness Enumeration(CWE) ID를 할당하며, 취약한 라인을 식별하고, 근본 원인을 설명하며, 소스-투-싱크(source-to-sink) 흐름을 추적한다.
   • 워크플로 1: 분석가는 Planner의 가이드에만 의존한다.
   • 워크플로 2: 분석가는 진단 과정 중 정적 분석 기능을 제공하는 MCP CodeQL 통합으로 증강된다.
3. Fixer (수정자): 분석가의 진단을 바탕으로 최소한의 안전한 패치를 생성하는 LLM 에이전트이다. 재진단을 피하고 패치와 간결한 설명만을 생성하도록 제한된다.
4. Verifier (검증자): 생성된 패치가 식별된 취약점을 해결하는지, 근본 원인을 제거하는지, 그리고 새로운 결함(regression)을 도입하지 않는지 평가하는 독립적인 LLM 에이전트이다.

실험 설정

• 데이터셋: 5가지 CWE 카테고리(CWE-787: Out-of-bounds Write, CWE-476: Null Pointer Dereference, CWE-190: Integer Overflow, CWE-125: Out-of-bounds Read, CWE-191: Integer Underflow)에 걸친 **25개의 실제 C/C++ CVE(Common Vulnerabilities and Exposures)**로 구성된 큐레이션된 데이터셋을 사용한다.
• Ground Truth (정답): NVD(National Vulnerability Database) 설명 및 개발자가 제공한 패치된 코드로부터 도출되었다.
• 평가: 두 명의 저자에 의한 수동 루브릭 기반 평가(Cohen's kappa $\kappa = 0.83$)를 통해 에이전트 출력을 정답과 비교하였다. 지표에는 탐지 정확도(CWE 할당, 라인 식별, 근본 원인)와 수정 정확도(신뢰할 수 있는 수정 사항과의 의미론적 유사성)가 포함된다.
• 범위: 본 연구는 대규모 벤치마크라기보다 방법론 중심의 탐색적 평가이며, 150회의 워크플로 실행(25개 CVE $\times$ 3개 모델 $\times$ 2개 변형)에 초점을 맞춘다.

주요 기여

1. 역할 기반 에이전트 아키텍처: 계획, 분석, 수정, 검증을 분리하는 엔드 투 엔드 워크플로를 제안하고 평가함으로써, 명시적인 역할 분리가 어떻게 보안 활동을 구조화할 수 있는지 입증한다.
2. 정적 플래너 설계: 산업 현장의 C 프로젝트에서 취약점 조사를 가이드하기 위한 규칙 기반 플래너를 구현하여, 탐지 품질에 미치는 결정적인 영향을 보여준다.
3. 큐레이션된 참조 세트: 정답 메타데이터, 개발자 수정 사항, LLM 생성 출력이 포함된 25개의 실제 C/C++ 취약점 인스턴스와 재현성을 위한 오픈 소스 CrewAI 프레임워크 코드를 제공한다.
4. 도구 통합 분석: 멀티 에이전트 워크플로의 분석 단계에 MCP 기반 정적 분석(CodeQL)을 통합하는 것의 효용성을 조사한다.

결과

연구는 다음 성능 지표를 보고한다 (비교를 위한 기본 모델로 nemotron-cascade-2:30b 사용):

• 탐지 정확도 (Detection Accuracy):
  • 워크플로 1 (CodeQL 미사용): GPT-5.5 베이스라인과 유사한 **44%**의 탐지 정확도를 달了했다.
  • 워크플로 2 (CodeQL 사용): 정확도가 **31%**로 떨어졌으며, 이는 에이전트가 도구의 힌트를 올바르게 해석하거나 우선순위를 정하지 못할 경우 도구 통합이 반드시 개선을 보장하지는 않음을 시사한다.
  • Ablation (제거 실험): Planner를 제거했을 때 탐지 정확도는 25%(CodeQL 미사용 시) 및 19%(CodeQL 사용 시)로 감소하였으며, 이는 Planner의 결정적인 역할을 강조한다.
• 수정 정확도 (Fix Accuracy):
  • 전반적인 수정 정확도는 워크플로 1에서 19%, 워크플로 2에서 **13%**로 낮았다.
  • 수정(Repair)은 탐지보다 훨씬 더 어려운 작업임이 드러났다. 일부 패치는 정답과 "유사"하거나 심지어 "더 나은" 수준이었으나(특히 CWE-476 및 CWE-787의 경우), 많은 패치가 불필요한 로직을 포함하거나 새로운 버그를 유발했다.
• 검증자 정확도 (Verifier Accuracy):
  • Verifier는 nemotron-cascade-2:30b를 사용하여 **69%**의 정확도를 달성하였으며, 이는 생성 능력보다 사후 조치 평가 능력이 더 강함을 나타낸다.
• CWE 가변성: CWE-787과 CWE-476은 탐지하기 가장 쉬웠던 반면, CWE-191(Integer Underflow)은 모든 모델과 설정에서 가장 어려운 과제로 남았다.

의의 및 주장

본 논문은 이 작업을 확정적인 벤치마크라기보다 초기 탐색적 연구로 규정한다. 주요 의의는 다음과 같다:

• 프로세스 개선: 보안 작업을 구조화된 역할 기반 단계(계획, 분석, 수정, 검증)로 분해하는 것이 보안 활동을 어떻게 더 반복 가능하고 투명하게 만들 수 있는지 보여준다.
• Human-in-the-Loop의 필요성: LLM의 발전에도 불구하고, 생성된 패치의 불균일한 품질과 도구 통합의 혼재된 효용성은 보안 필수 환경에서 지속적인 인간의 감독이 필요함을 재확인시킨다.
• 모델보다 워크플로: 초점을 "최고의 모델"을 선택하는 것에서 "기저의 워크플로 아키텍처 및 통합 기술"을 정교화하는 것으로 전환한다. 저자들은 모델 스크리닝도 필수적이지만, 워크플로 설계 자체가 개선을 위한 주요 레버라고 언급한다.
• 도구 통합의 뉘앙스: CodeQL과 같은 도구를 통합하는 것은 에이전트가 힌트를 올바르게 우선순위화할 수 있도록 주의 깊은 에이전트 설계가 필요함을 강조한다. 단순히 도구를 추가한다고 해서 자동으로 성능이 향상되지는 않는다.

저자들은 역할 기반 에이전트 아키텍처가 보안 소프트웨어 프로세스 개선을 위한 유망한 방향임을 결론지으며, 더 큰 데이터셋, 저장소 레벨 분석, 그리고 정교한 워크플로 대안(예: 다중 분석가, 반복 루프)에 대한 후속 연구를 독려한다.