기술 요약: 오픈 소스 LLM 에이전트가 정적 애플리케이션 보안 테스트(SAST) 도구를 대체할 수 있는가?

문제 정의

본 논문은 에이전틱 AI(Agentic AI), 구체적으로 범용 대규모 언어 모델(LLM) 에이전트가 사이버 보안 취약점 스캐닝을 위해 전통적인 정적 애플리케이션 보안 테스트(SAST) 도구를 효과적으로 대체하거나 대등한 수준의 성능을 낼 수 있는지에 대한 새로운 질문을 다룹니다. 생성형 AI가 코드 생성 분야에서는 혁신을 일으켰으나, 저자들은 코드가 보안 적합성을 갖추었는지 '검증'하는 데 있어 GenAI의 효용성을 조사합니다. 핵심 문제는 현대적인 오픈 소스 범용 LLM 에이전트가 현실적인 조건 하에서 파이썬 코드베이스 내의 일반적인 취약점(예: SQL 인젝션, 부적절한 비밀 정보 노출, 경로 탐색)을 신뢰성 있게 식별할 수 있는지, 아니면 기존 규칙 기반 도구와 비교했을 때 환각(hallucination), 높은 오탐률(false-positive rate), 설명 가능성 부족과 같은 고유한 한계를 겪는지 여부를 결정하는 것입니다.

방법론

본 연구는 커스텀 구축된 LLM 에이전트와 검증된 오픈 소스 SAST 도구 간의 경험적 비교를 수행했습니다.

• 베이스라인 도구: 낮은 오탐률과 중간 정도의 정확도로 알려진 파이썬 특화 SAST 도구인 Bandit을 "실제 정답(source of truth)"이자 비교를 위한 베이스라인으로 사용했습니다.
• 실험용 에이전트: 디렉토리를 재귀적으로 스캔하도록 설계된 파이썬 기반 에이전트 애플리케이션인 Snitch를 사용했습니다. Snitch는 Ollama를 활용하여 로컬 LLM을 호스팅하고 실행합니다.
• 평가된 모델: 다음 세 가지 구별되는 오픈 소스 범용 모델을 테스트했습니다:
  1. Gemma3 (Google): 코딩 특화 모델로 마케팅됨.
  2. Llama3.1 (Meta): 범용 LLM.
  3. Qwen2.5 (Alibaba): 추론, 코딩 및 디버깅을 목적으로 함.
• 테스트 대상: 다양한 복잡도와 성숙도를 가진 세 가지 오픈 소스 파이썬 저장소:
  1. Yum: 은퇴한 엔터프라이즈급 패키지 매니저 (높은 성숙도).
  2. Beaverhabits: 개인용 습관 추적기 (캐주얼 상업용).
  3. Fail2ban: 보안 중심의 서비스 데몬.
• 실험 설계:
  • Bandit을 사용하여 세 저장소를 먼저 스캔하여 Medium 및 High 심각도 탐지 결과를 기준으로 설정했습니다.
  • 그 후 Snitch가 각 모델을 사용하여 동일한 저장소를 스캔했습니다 (총 9회의 에이전트 스캔).
  • 프롬프팅: 모든 에이전트 실행에 대해 고정된 상세 프롬프트를 사용하여, 모델이 특정 SAST 이슈를 식별하는 전문가 사이버 보안 엔지니어로 행동하고 결과를 구조화된 JSON 형식으로 출력하도록 지시했습니다.
• 평가 지표:
  • 재현율(Recall): Bandit이 탐지한 Medium/High 결과 중 에이전트가 함께 탐지한 비율 (부분 일치는 0.5 가중치 적용).
  • 오탐률(False Positive Rate): 에이전트가 플래그를 지정했으나 Bandit은 지정하지 않았으며, 인간 검토 결과 맥락적 오해나 환각으로 판명된 이슈의 비율.
  • 복합 점수(Composite Score): 재현율 - 오탐률로 계산.
  • 실행 시간: Bandit과의 효율성 비교를 위해 기록.

주요 결과

경험적 데이터에 따르면, 평가된 오픈 소스 LLM 에이전트는 전통적인 SAST 도구에 비해 현저히 낮은 성능을 보였습니다.

• 낮은 재현율: 어떤 모델도 0.25를 초과하는 재현율을 달키지 못했습니다. 에이전트들은 Bandit이 식별한 취약점의 대부분을 놓쳤습니다.
• 높은 오탐률: 모든 모델이 **40%에서 90%**에 이르는 매우 높은 오탐률을 보였습니다.
  • 흔한 환각 사례로는 표준 라이브러리 상수(예: calendar.MONDAY)를 하드코딩된 비밀 정보로 플래그를 지정하거나, .env 파일 사용을 운영 환경 유출로 오해하거나, 무해한 코드 패턴(예: 주석이나 라이선스 헤더)을 취약점으로 식별하는 것 등이 포함되었습니다.
  • Gemma3 모델이 가장 높은 오탐률을 보였고, Qwen2.5가 가장 낮았으나 여전히 상당한 수준이었습니다.
• 환각 및 정확도:
  • 에이전트들은 빈번하게 취약점의 위치(파일명 및 라인 번호)를 환각하여, 존재하지 않는 파일이나 코드 블록을 참조했습니다.
  • 에이전트들이 가끔 Bandit이 놓친 고유한 이슈(예: 특정 부적절한 requests.get 사용 또는 경로 탐색)를 식별하기도 했으나, 이는 외부의 실제 정답(ground truth) 없이는 검증이 불가능했으며, 발생하는 노이즈에 의해 상쇄되었습니다.
• 성능 및 효율성:
  • Bandit은 저장소당 1분 미만으로 스캔을 완료했습니다.
  • Snitch (LLM 에이전트)는 코드베이스 크기에 따라 저장소당 1~4시간이 소요되었습니다.
  • 세 모델 전체에 걸친 에이전트 스캔의 총 실행 시간은 약 10~12시간이었으며, 이는 몇 분 만에 끝나는 Bandit과 극명한 차이를 보였습니다.

주요 기여

1. 경험적 평가: 본 논문은 이론적 추측을 넘어 측정 가능한 성능 지표(정밀도, 재현율, 오탐률)를 통해 에이전틱 AI에 대한 엄격한 데이터 기반 평가를 제공합니다.
2. 베이스라인 비교: Bandit을 사용하여 직접적인 성능 베이스라인을 설정함으로써, 현재 범용 오픈 소스 LLM이 특화된 보안 스캐닝 작업에 필요한 신뢰성을 갖추지 못했음을 입증했습니다.
3. 한계점 식별: 본 연구는 LLM 에이전트의 구체적인 실패 모드, 특히 취약점 위치에 대한 "환각" 현상과 개발 패턴(예: 환경 변수)을 보안 결함으로 오해하는 문제를 강조합니다.
4. 복합 점수 도입: 놓친 취약점과 노이즈 생성 사이의 트레이드오프를 총체적으로 평가하기 위해 재현율 - 오탐률이라는 복합 점수를 도입했습니다.

의의 및 주장

본 논문은 현대적인 오픈 소스 GenAI LLM 기반 에이전트가 현실적인 조건 하에서 SAST 스캐닝이라는 특화된 작업에 현재 적합하지 않다고 결론짓습니다.

• 신뢰성 격차: 높은 오탐률과 낮은 재현율은 이러한 에이전트를 단독 보안 도구로서 신뢰할 수 없게 만듭니다. 위치에 대한 "환각"은 개발자가 제공된 특정 파일이나 라인 번호를 믿을 수 없게 만들어 자동화된 조치를 불가능하게 하므로, 출력값의 가치를 거의 없게 만듭니다.
• 효율성 장벽: LLM 에이전트에 드는 계산 비용과 시간(시간 단위 vs 분 단위)은 기존 규칙 기반 도구와 비교했을 때 표준 CI/CD 파이프라인에 통합하기에 과도한 장벽이 됩니다.
• AI의 역할: 저자들은 에이전틱 AI가 코드 생성 및 보조에는 유망함을 보여주지만, 현재로서는 검증에 필요한 정밀도와 설명 가능성이 부족하다고 주장합니다. 본 논문은 일관성, 속도, 추적성 측면에서 전통적인 규칙 기반 도구가 코드 분석에 여전히 우월함을 논합니다.
• 향れて 전망: 저자들은 폐쇄형 모델이나 고급 프롬프트 엔지니어링이 적용된 특화 모델이 결과를 개선할 수도 있겠지만, 생성형 시스템의 근본적인 한계(환각, CVE 정의와 같은 외부 지식 베이스의 부재)가 현재로서는 기존 SAST 도체를 대체하는 것을 막고 있다고 봅니다. 저자들은 에이전트가 전통적인 도구를 대체하는 것이 아니라, 새로운 이슈에 집중하여 전통적인 도구를 보완하는 하이브리드 접근 방식을 취할 수 있다고 제안합니다.