💻 computer science

LLM vs. SAST: A Technical Analysis on Detecting Coding Bugs of GPT4-Advanced Data Analysis

본 논문은 GPT-4(Advanced Data Analysis)가 32가지 보안 시나리오 전반에서 결합된 SAST 도구들(SonarQube 및 Cloud Defence)보다 코딩 취약점 탐지 측면에서 유의미하게 우수한 성능을 보이며, 통계적 유의성을 바탕으로 34.375%의 탐지율 대비 93.75%의 탐지율을 달성했음을 입증하는 통제된 연구를 제시한다.

원저자: Madjid G. Tehrani, Eldar Sultanow, William J. Buchanan, Mahkame Houmani, Christel H. Djaha Fodja

게시일 2026-07-15

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Madjid G. Tehrani, Eldar Sultanow, William J. Buchanan, Mahkame Houmani, Christel H. Djaha Fodja

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 컴퓨터 프로그램의 코드 속에 숨어 있는 교활한 도둑을 잡으려는 형사라고 상상해 보세요. 수년 동안 당신은 엄격한 체크리스트를 따르는 로봇 검사관(SAST 도구라고 불림) 팀에 의존해 왔습니다. 이 로봇들은 "빨간 문이 보이면 표시하라"와 같은 규칙을 따르는 데는 뛰어나지만, 가끔 도둑이 빨간 문처럼 보이는 파란 문 뒤에 숨거나 체크리스트가 알지 못하는 속임수를 사용하기도 합니다. 로봇들은 이런 교활한 속임수를 놓치거나, 해롭지 않은 것을 위험한 것으로 오해하여 표시하곤 합니다.

이제, 새로운 형사가 팀에 합류했습니다. 바로 코드를 하나의 이야기처럼 읽어내는 초스마트 AI, GPT-4입니다. 큰 질문은 이것이었습니다: 이 새로운 AI 형사가 기존의 로봇 검사관들보다 더 교묘한 보안 구멍을 잘 찾아낼 수 있을까?

위대한 탐정 대결

이를 알아내기 위해 연구진은 공정한 테스트를 설계했습니다. 그들은 실제 세계의 코딩 실수(예: 백도어를 열어두거나 나쁜 놈들이 가짜 명령어를 주입하게 두는 것 등)를 바탕으로 한 32개의 특정 "범죄 현장"(보안 시나리오)을 만들었습니다. 그리고 이 현장들을 다음에게 전달했습니다:

로봇 팀: 두 종류의 서로 다른 로봇 검사관(SonarQube와 Cloud Defence)입니다. 이들은 협력하며, 만약 둘 중 하나라도 문제를 발견하면 로봇의 승리로 간주했습니다.
AI 형사: 코드를 읽고 무엇이 잘못되었는지 설명하도록 요청받은 GPT-4입니다.

점수판

이들의 결과를 비교했을 때 다음과 같은 일이 일つ 벌어졌습니다:

로봇 팀: 32건의 범죄 중 11건을 잡아냈습니다. 이는 약 **34%**의 성공률입니다.
AI 형사: GPT-4는 32건 중 30건을 잡아냈습니다. 무려 **93.75%**의 성공률을 기록했습니다!

연구진은 이 결과가 단순히 운이 좋았던 것이 아님을 확인하기 위해 특별한 수학적 테스트(맥네머 테스트)를 사용했습니다. 결과는 명확한 "예"였습니다. 이 통제된 실험에서 AI 형사는 로봇 팀보다 이러한 특정 버그를 찾는 데 통계적으로 훨씬 더 뛰어났습니다.

이것이 의미하는 것 (그리고 의미하지 않는 것)

이 논문은 GPT-4와 같은 AI가 로봇 검사관들의 강력한 조력자가 될 수 있음을 시사합니다. AI는 코드 뒤에 숨겨진 이야기를 이해하고, 경직된 체크리스트가 놓치는 복잡한 속임수를 포착하는 데 탁-월합니다. 이는 개발자들이 보안 구멍을 더 빠르게 수정하는 데 도움을 줄 수 있으며, 어쩌면 값비싼 도구에 드는 비용을 절감할 수도 있습니다.

하지만 논문은 로봇이 쓸모없어졌다고 말하는 데 매우 신중합니다.

마법 지팡이가 아닙니다: AI가 완벽한 것은 아닙니다. AI는 32건 중 2건을 놓쳤으며, 로봇이 AI가 잡지 못한 것을 잡아내기도 했습니다.
대체재가 아닙니다: 저자들은 로봇을 그냥 버려서는 안 된다고 주장합니다. 대신, 특히 인간과 같은 추론이 필요한 까다로운 경우를 위해 AI를 사용하여 로봇을 돕도록 해야 합니다.
새로운 위험: 논문은 AI를 사용하는 것이 새로운 위험을 동반한다고 경고합니다. 도둑이 로봇을 속일 수 있듯이, 악의적인 행위자가 AI를 속일 수 있습니다(예: "프롬프트 인젝션"이나 훈련 데이터에 나쁜 명령어를 숨기는 방식). 주의하지 않으면, AI는 안전해 보이지만 실제로는 구멍투성이인 코드를 생성할 수도 있습니다.

결론

이 32개의 정교하게 선택된 사례를 통한 특정 테스트에서, AI 형사는 로봇 검사관들이 놓친 것들을 볼 수 있다는 것을 증명했습니다. 그러나 연구진은 이것이 시작일 뿐이라고 말합니다. 우리는 주의를 기울여야 하고, 계속해서 테스트해야 하며, AI가 눈부신 새로운 도구이긴 하지만 아직 해결된 문제는 아니라는 점을 기억해야 합니다. AI는 강력한 파트너이지만, 여전히 인간이 손전등을 들고 그 작업을 확인해 주어야 합니다.

기술 요약: LLM 및 SAST를 위한 코딩 버그 분석 방법론

문제 정의

본 논문은 사이버 보안의 핵심적인 격차, 즉 기존 정적 애플리케이션 보안 테스트(SAST) 도구와 비교했을 때 대규모 언어 모델(LLM)의 실질적인 취약점 탐지 유효성을 정량화하는 작업이 미흡하다는 점을 다룹니다. SAST는 배포 전 보안 결함을 식별하기 위한 업계 표준이지만, 높은 미탐율(exploitable vulnerabilities를 놓침)과 오탐율(비이슈에 우선순위를 부여함)로 인해 조치를 지연시키고 "취약성 창(window of vulnerability)"을 넓히는 문제가 빈번히 발생합니다. 반면, GPT-4와 같은 LLM은 코드 이해 능력에서 유망한 가능성을 보여주었으나, 통제된 조건 하에서 LLM이 전통적인 SAST 도구보다 더 광범위한 실제 세계의 취약점 패턴을 효과적으로 탐지할 수 있는지 결정하기 위한 투명하고 재현 가능한 방법론이 부족한 실정입니다.

방법론

저자들은 GPT-4(특히 Advanced Data Analysis 인터페이스)를 두 가지 SAST 도구인 SonarQube(SonarCloud) 및 Cloud Defence와 비교 평가하기 위해 설계된 통제된 비교 연구를 제시합니다.

데이터셋: 본 연구는 일반적인 코딩 실수와 제로 데이 잠재적 취약점을 나타내는 32개의 큐레이션된 보안 시나리오를 활용했습니다. 이 시나리오들은 GitHub과 Snyk에서 추출되었으며, MITRE Common Weakness Enumeration(CWE)에 매핑되었고, SQL 인젝션, 버퍼 오버플로, 컨테이너 권한 상승을 포함한 다양한 이슈를 다룹니다.
실험 설계:
- SAST 베이스라인: SonarQube와 Cloud Defence의 출력값은 논리적 OR 연산을 통해 집계되었습니다. 두 도구 중 하나라도 취약점을 식별한 경우 해당 취약점은 "SAST 베이스라인"에 의해 탐지된 것으로 간주되었습니다.
- LLM 실행: 각 코드 스니펫은 보안 취약점을 식별하고 문제를 설명하라는 고정된 지침과 함께 GPT-4에 제출되었습니다.
- 스코어링: 이진 스코어링 규칙이 적용되었습니다. 도구가 할당된 CWE와 일치하는 의도된 취약점 유형을 명시적으로 식별한 경우 **1 (정답)**로 기록되었습니다. 그렇지 않으면 **0 (미탐)**으로 기록되었습니다.
통계 분석: 각 코드 샘플이 쌍으로 된 이진 결과(GPT-4 vs. 집계된 SAST)를 생성하므로, 저자들은 쌍을 이룬 명목 데이터에 대한 통계적 추론을 위해 McNemar 검정을 사용했습니다. 결과 유형을 '둘 다 정답', 'SAST만 정답', 'LLM만 정답', '둘 다 오답'으로 분류하는 분할표(contingency table)가 작성되었습니다. p-값이 0.05 미만인 경우를 통계적 유의성의 기준으로 설정했습니다.

주요 결과

연구를 통해 다음과 같은 정량적 결과가 도출되었습니다:

탐지율: GPT-4는 32개 시나리오 중 30개(93.75%)를 정확히 탐지했습니다. 집계된 SAST 베이스라인은 32개 중 11개(34.38%)만을 탐지했습니다.
불일치 분석: 쌍 비교 결과 유의미한 방향성 불균형이 나타났습니다. GPT-4는 취약점을 탐지했으나 SAST 도구는 놓친 사례가 22건(분할표의 셀 c) 있었던 반면, SAST 도구가 탐지했으나 GPT-4가 놓친 사례는 0건(셀 b)이었습니다.
통계적 유의성: McNemar 검정 결과 카이제곱 값은 20.046이었으며, p-값은 0.000007562였습니다.
가설 검정: 이러한 결과를 바탕으로, 5% 유의 수준에서 귀무가설( $H_0$ : GPT-4는 SAST와 성능이 같거나 더 나쁘다)을 기각하고 대립가설( $H_1$ : GPT-4는 SAST보다 성능이 좋다)을 채택했습니다.

주요 기여

본 논문의 주요 기여는 새로운 취약점 탐지기를 도입하는 것이 아니라, LLM과 SAST 도구를 비교하기 위한 투명하고 재현 가능한 평가 프로토콜을 수립하는 것입니다. 이 방법론은 다음을 포함합니다:

대표적인 취약점 시나리오로 구성된 큐레이션된 세트.
탐지 결과에 대한 일관된 이진 스코어링 규칙.
논리적 OR 연산을 이용한 집계된 SAST 베이스라인.
동일한 입력값에 대해 탐지기를 비교하기 위한 쌍을 이룬 통계적 추론(McNemar 검정)의 적용.

이 프레임워크는 일화적인 증거를 넘어 통계적으로 근거 있는 비교를 가능하게 함으로써, 상대적인 탐지 능력을 통제된 방식으로 측정할 수 있게 합니다.

의의 및 주장

저자들은 자신들의 연구 결과가 범용 LLM이 특정 취약점 탐지 작업에 있어 전통적인 SAST 도구를 보완하거나 잠재적으로 대체할 수 있는 강력한 보조 도구 역할을 할 수 있음을 입증한다고 주장합니다. 본 연구는 LLM이 규칙 기반 정적 분석이 놓치는 복잡한 취약점 메커니즘을 식별하는 데 특히 효과적일 수 있음을 시사합니다.

그러나 논문은 그 함의에 대해 신중하고 절제된 어조를 유지합니다:

보완적 역할: 저자들은 목표가 SAST를 대체하는 것이 아니라 LLM이 언제 보완적인지를 규명하는 것임을 명시적으로 밝힙니다. SAST는 체계적이고 규칙 기반인 분석 및 CI/CD 통합 측면에서 여전히 가치가 있습니다.
운영상의 제약: 연구는 LLM이 완벽하지 않다는 점을 강조합니다. LLM은 훈련 데이터 패턴에 의존하며, 훈련 중단 시점 이후에 등장하는 새로운 취약점을 탐지하는 데 실패할 수 있습니다.
보안 리스크: 논문은 프롬프트 인젝션, 모델 탈취, 그리고 LLM이 보안에 취약한 코드를 생성할 가능성을 포함하여, LLM을 보안 워크플로우에 통합할 때 발생하는 보안 위험을 인정합니다. 이에 따라 회복 탄력성을 높이기 위해 "설계에 의한 보안(Secure by Design)" 원칙, 제로 트러스트 아키텍처, 연합 학습(FL-LLM)의 사용을 권장합니다.
한계점: 저자들은 제한된 시나리오 세트(32개 샘플), 테스트 당시의 특정 도구 구성에 대한 의존성, 그리고 전체 프로젝트나 런타임 환경이 아닌 정적 스니펫의 사용 등을 한계점으로 언급했습니다.

결론적으로, 본 논문은 통제된 조건 하에서 GPT-4가 특정 코딩 버그를 탐지하는 데 있어 결합된 SAST 베이스라인보다 유의미하게 우수한 성능을 보였다는 실증적 근거를 제공하며, 이는 보안 소프트웨어 개발 생명주기에 LLM 지원 분석을 보완적 역량으로 통합하는 것을 뒷받침합니다.