기술 요약: 최첨단 LLM 은 사이버보안에 준비되어 있는가?

1. 문제 제기

본 논문은 최첨단 대형 언어 모델 (LLM) 이 전문적인 사이버보안 작업에 충분히 신뢰할 수 있는지 조사한다. 범용 모델이 코딩과 추론에서 성공을 거두었음에도 불구하고, 저자들은 사이버보안이 현재 최첨단 모델에 내재된 세 가지 구조적 장벽으로 인해 **수직적 기반 모델 (vertical foundation models)**을 필요로 한다고 주장한다:

1. 정렬 세제 (The Alignment Tax): 소비자 지향적 안전 가드레일이 모델 (특히 GPT-5.4) 로 하여금 제로데이 헌팅이나 취약점 테스트와 같은 정당한 공격적 보안 작업을 5 회 중 2~3 회 거부하게 만든다.
2. 방법론 격차 (The Methodology Gap): 최첨단 모델은 도구를 체계적으로 사용하기 위해 필요한 구조화된 침투 테스트 방법론이 부족하다. 외부 도구를 호출할 수는 있지만, 상태를 유지하거나, 기준선을 비교하거나, 다단계 공격 체인을 실행하는 데 실패하여 실제 지면 (ground-truth) 커버리지가 낮아진다.
3. 거짓 긍정 위기 (The False Positive Crisis): 화이트박스 탐지에서 최첨단 모델은 높은 거짓 긍정률 (10~50%) 을 보여, 각 거짓 경보가 비용이 많이 드는 수동 검토를 필요로 하는 프로덕션 트라이지에 실용적이지 않게 만든다.

저자들은 규모만으로는 부족하며, 일반적 추론과 보안 운영 간의 격차를 해소하기 위해서는 도메인 특화 훈련, 전문적 정렬, 그리고 구조화된 방법론이 필요하다고 주장한다.

2. 방법론

본 평가는 알려진 실제 지면 (ground truth) 하에 승인된 조건에서 정적 코드 분석과 동적 웹 애플리케이션 보안 테스트를 모두 테스트하도록 설계된 이중 모드 벤치마크를 활용한다.

2.1 벤치마크

• 화이트박스 탐지: 이진 취약점 분류 (취약점 대 정상) 및 CWE 식별을 테스트하기 위해 VulnLLM-R 데이터셋 (C, Java, Python) 을 사용한다.
• 블랙박스 웹 테스트: 20 개 이상의 CWE 계열에 걸쳐 118 개의 실제 지면 취약점을 포함하는 5 개의 프로덕션 스타일 웹 애플리케이션(Mercury, TeamLedger, GraphQL, ProductWeb, BankWeb) 의 새로운 스위트 를 도입한다. 의도적으로 취약한 훈련 대상 (예: DVWA) 과 달리, 이러한 애플리케이션은 현실적인 비즈니스 로직, 다단계 워크플로우, 인증 시스템을 특징으로 한다.

2.2 평가된 모델

본 연구는 네 가지 패러다임에 걸쳐 여덟 개의 모델을 비교한다:

• 최첨단 모델: GPT-5.4, Codex 5.3, Claude Opus 4.6, Sonnet 4.6, Gemini 3.1 Pro, 그리고 Gemini 3 Flash.
• 도메인 특화 모델:
  • SuperIntel Defense-LLM: 고정밀 취약점 탐지를 위해 최적화됨 (보수적, 낮은 거짓 긍정).
  • SuperIntel Attack-LLM: 전문 침투 테스트 및 익스플로잇 개발을 위해 최적화됨 (공격적, 공격적 워크플로우에 정렬됨).
  • 참고: 두 특화 모델 모두 Qwen3-Next-80B-A3B-Instruct 의 LoRA 적응 변형이다.

2.3 테스트 패러다임

블랙박스 평가는 네 가지 명확한 패러다임 (그림 1) 을 통해 진행된다:

• P1 (직접 프롬프팅): 파일 I/O, bash, HTTP 와 같은 네이티브 기능만 사용하는 최첨단 모델.
• P2 (도구 증강): Playwright MCP, Burp Suite MCP 와 같은 외부 보안 도구로 증강되었으나 구조화된 방법론은 없는 최첨단 모델.
• P3 (방법론 유도): 다중 세션 관리, 기준선 비교, 다중 신호 확인과 같은 전문 침투 테스트 워크플로우를 인코딩한 도메인 특화 에이전트.
• P4 (결정론적 하이브리드 / ARG): LLM 기반 창의적 작업 (정찰, 페이로드 생성) 을 결정론적 분류 노드와 분리하는 에이전트 추론 그래프 (Agentic Reasoning Graph). 이 아키텍처는 LLM 의 판단을 최종 취약점 확인 단계에서 분리하여 환각을 제거한다.

3. 주요 기여

1. 이중 모드 벤치마크: 118 개의 실제 지면 취약점에 대한 화이트박스 함수 수준 탐지와 블랙박스 웹 테스트를 결합한 포괄적인 평가 프레임워크로, CVE-Bench 나 ZeroDayBench 와 같은 이전 벤치마크보다 훨씬 크다.
2. 체계적 제한 분석: 높은 거부율, 낮은 실제 지면 커버리지 (4~8%), 그리고 과도한 거짓 긍정으로 특징지어지는 최첨단 모델이 사이버보안에 구조적으로 준비되지 않았음을 보여주는 경험적 증거.
3. 수직 모델 아키텍처: 방법론을 인코딩한 도메인 특화 에이전트가 계열별 탐지율 50% 이상을 달성함을 입증 (최첨단 에이전트 대비 4 배 향상). 에이전트 추론 그래프 (ARG) 의 도입은 추론과 결정론적 확인을 분리함으로써 거짓 긍정을 크게 줄임을 보여준다.
4. 데이터 병목 식별: 주요 장벽은 구조화된 보안 테스트 흔적 (종단 간 요청/응답 시퀀스, 실패가 많은 데이터, 다단계 공격 체인) 의 부재임을 드러내는 분석. 저자들은 이 누락된 데이터를 생성하기 위해 셀프 플레이 보안 테스트 전략을 제안한다.

4. 주요 결과

4.1 화이트박스 탐지

• 거짓 긍정: 모든 최첨단 모델은 15% 에서 46% 사이의 거짓 긍정률을 보였다. 예를 들어, Sonnet 4.6 과 Gemini 3 Flash 는 모든 샘플의 거의 70% 를 취약점으로 표시했다.
• 특화 성능: SuperIntel Defense-LLM은 최고 정밀도 (0.904) 와 최저 거짓 긍정률 (9.7%) 을 달성하여 Codex 5.3 을 포함한 모든 최첨단 모델을 능가했다. 또한 Sonnet 4.6 보다 18.2 배 적은 토큰을 사용하여 우수한 추론 효율성을 입증했다.
• 언어별 특성: 최첨단 모델은 C 코드에서 크게 어려움을 겪었으며, 종종 정상적인 포인터 연산과 메모리 관리 패턴을 취약점으로 표시했다. Defense 모델은 Java 에서 완벽한 탐지 (F1=1.000) 를 달성했다.

4.2 블랙박스 웹 테스트

• 방법론 격차:
  • P1 (직접 프롬프팅): 실제 지면 커버리지가 **4~8%**에 불과했다.
  • P2 (도구 증강): 커버리지가 **10~19%**로 미미하게 개선되어 도구 접근만으로는 방법론 부족을 해결하지 못함을 시사한다.
  • P3 (방법론 유도): 커버리지가 계열별 취약점당 50% 이상으로 급증했다. 예를 들어, P3 구조 내에서 Claude Opus 4.6 은 118 개의 취약점 중 95 개 (80.5% 재현율) 를 탐지했다.
• 정밀도 레버 (P4): 에이전트 추론 그래프 (ARG) 는 외부 도구 없이 네이티브 기능만 사용하여 **30.2%**의 전체 실제 지면 커버리지를 달성하여, 도메인 정렬 모델과 구조화된 방법론이 도구 증강 최첨단 모델보다 성능이 우수함을 입증했다. 결정적으로 ARG 는 결정론적 논리로 확인을 위임함으로써 20% 미만의 거짓 긍정률을 유지했다.

4.3 운영 효율성

ARG 파이프라인 (P4) 은 대상당 15~17 분에 3~5 달러의 비용으로 테스트를 완료한 반면, 최첨단 LLM 접근 방식은 30~60 분과 15~30 달러가 소요되었다.

5. 중요성과 주장

본 논문은 최첨단 LLM 이 아직 프로덕션 사이버보안 시스템에 신뢰할 수 없다고 결론 내린다. 제한 요인은 단순히 능력이 아니라 신뢰성과 방법론이다.

• 수직 특화의 필수성: 결과는 사이버보안이 구조화된 보안 흔적으로 훈련되고, 전문적 사용에 정렬되며, 재현율뿐만 아니라 정밀도로 평가된 수직적 기반 모델을 필요로 한다고 주장한다.
• 규모보다 방법론: 개선을 위한 주요 레버는 모델 규모가 아니라 에이전트에 전문 침투 테스트 방법론을 인코딩하는 것이다.
• 결정론적 확인: 프로덕션에서 실행 가능하려면 취약점 확인이 LLM 의 판단과 분리되어야 한다. ARG 아키텍처는 창의적 계획과 결정론적 검증을 분리하는 것이 거짓 긍정을 통제하는 데 필수임을 보여준다.
• 데이터 생성: 저자들은 종단 간 보안 테스트 흔적의 부재를 근본적인 훈련 병목으로 식별하고, 향후 수직 모델을 훈련하는 데 필요한 데이터를 생성하기 위한 실행 가능한 전략으로 셀프 플레이 테스트를 제안한다.

저자들은 평가가 승인된 로컬 호스트 애플리케이션으로 제한되며, 멀웨어 분석, 사회 공학, 또는 네트워크 침입 탐지를 다루지 않는다고 noting 하여 겸손한 범위를 유지한다. 그러나 여러 모델과 패러다임에서 관찰된 비교 오류 패턴은 AI 기반 보안에서 도메인 특화 아키텍처 전환의 필요성에 대한 강력한 증거를 제공한다.