기술 요약: ALIBI - 적대적 코드 주석을 통한 LLM 기반 취약점 탐지기에 대한 적응형 에이전트 공격

문제 정의

대규모 언어 모델(LLM)이 취약점 탐지 및 코드 리뷰와 같은 보안 민감 작업에 점점 더 많이 배치됨에 따라, 이들은 프로그램의 의도를 추론하고 안전성 주장을 검증하기 위해 소스 코드 내에 포함된 자연어 컨텍스트(예: 주석, 문서, API 계약)에 크게 의존하게 됩니다. 이러한 의존성은 이전에 탐구되지 않았던 새로운 공격 표면인 **적대적 소스 코드 주석(adversarial source-code comments)**을 만들어냅니다.

실행 가능한 코드를 수정하여 취약점을 숨기는 전통적인 공격과 달리, 본 논문은 "추론 실패(reasoning failure)" 모드를 조사합니다. 핵심 문제는 공격자가 새로운, 진정으로 취약한 구현체를 합성하고, 소스 코드 주석에 의미론적으로 일관되지만 허위인 안전성 주장을 전략적으로 삽입할 수 있는지 여부입니다. 이 주석들은 LLM 기반 탐지기가 실행 가능한 코드에 대한 올로된 분석을 무시하고 허위 주장을 수용하도록 유도하여, 프로그램의 동작이나 취약점 자체를 변경하지 않고도 취약한 프로그램을 정상(Benign)으로 분류하게 만드는 것을 목표로 합니다.

방법론: ALIBI 프레임워크

저자들은 ALIBI(Adaptive Agentic Attacks on LLM-Based Vulnerability Detectors via Adversarial Code Comments)라는 자동화된 적응형 블랙박스 공격 프레임워크를 제시합니다. 이 프레임워크는 3단계 파이프라인을 통해 작동합니다.

1. 코드 합성 (Code Synthesis):

   • 공격자는 실제 취약점 수정 커밋(구체적으로 C/C++ null-pointer dereference, CWE-476)에서 파생된 자연어 코딩 작업을 받습니다.
   • 공격자 모델(QWEN3.6-27B-FP8)은 의도적으로 도달 가능한 null-pointer dereference를 포함하는 기능적인 구현체를 합성합니다.
   • 구현체는 기존 저장소의 테스트 스위트를 통과하고 컴파일되는지 확인하여, 공격이 표준 개발 체크를 통과할 수 있는 코드를 대상으로 함을 보장합니다.

2. 추론 가이드 초기화 (Reasoning-Guided Initialization):

   • 취약한 코드가 대상 탐지기에 제출됩니다.
   • 탐지기가 취약점을 올바르게 식별하면, 공격자는 탐지기의 추론 흔적(reasoning trace)을 분석하여 "취약함" 판정을 뒷받는 특정 증거를 식별합니다.
   • 그 후 공격자는 탐지기 추론의 간극을 겨냥한 검증 불가능한 안전성 주장(예: 외부 불변식이 포인터 안전성을 보장한다는 주장)을 조작합니다.
   • 이 초기 주석은 단순한 메모(NOTE, USR)부터 권위 있는 도구를 인용하는 주장(TOOL_COVERITY, TOOL_CLANGSA, TOOL_FRAMA), 콜 그래프(CALL_GRAPH), 또는 단계별 보안 분석(COT)에 이르기까지 10가지 제시 전략을 사용하여 생성됩니다.

3. 적응형 정교화 (Adaptive Refinement):

   • 초기 주석이 판정을 바꾸는 데 실패하면, ALIBI는 반복적인 정교화 루프(최대 5라운드)에 진입합니다.
   • 공격자는 탐지기의 피드백(판정 및 추론)을 사용하여 주석의 내용과 배치를 정교화합니다.
   • 이 과정은 탐지기의 판정이 "Benign(정상)"으로 바뀌거나 쿼리 예산이 소진될 때까지 계속됩니다.

벤치마크 구축:
저자들은 184개의 실제 취약점 수정 커밋(MegaVul 데이터셋에서 추출)을 코딩 작업으로 변환하여 벤치마크를 구축했습니다. 빌드 성공, 테스트 스위트 통과, 주입된 취약점의 독립적 검증을 위한 필터링 과정을 거쳐, 최종 벤치마크는 125개의 검증된 null-pointer dereference 인스태스로 구성되었습니다.

주요 기여

1. 새로운 공격 표면 식별: 본 논문은 비실행형 소스 코드 주석이 LLM 기반 취약점 탐지기를 조작하는 데 사용될 수 있음을 식별하며, 이는 탐지기가 타당해 보이지만 검증되지 않은 안전성 주장에 부당한 증거적 가중치를 부여하는 "주석 신뢰 사전 확률(comment trust prior)"을 악용하는 것입니다.
2. ALIBI 프레임워크: 의미론적으로 맞춤화된 적대적 주석을 생성하고 탐지기 피드백을 사용하여 반복적으로 정교화하는 적응형 블랙박스 프레임워크를 설계했습니다.
3. 새로운 벤치마크: 역사적인 취약한 코드가 아닌, 새로 합성된 취약한 구현체를 평가하기 위해 취약점 수정 커밋을 코딩 작업으로 변환하는 벤치마크를 구축했습니다.
4. 포괄적 평가: 네 가지 대표적인 LLM 기반 탐지기(OPENVUL, VULNLLM-R, VUL-RAG, VULTRIAL) 및 다양한 방어 전략에 대해 ALIBI를 평가했습니다.
5. 방어 분석: 프롬프트 수준의 방어는 제한적이지만, 아키텍처 격리 및 탐지 전 정화(pre-detector sanitization)가 상당한 회복력을 제공함을 보여주는 평가를 수행했습니다.

실험 결과

공격 효과성 (RQ1)

ALIBI는 평가된 네 가지 탐지기 모두에서 매우 높은 성공률을 달しまいました:

• OPENVUL: 97.4% 공격 성공률(ASR) (112/115 케이스).
• VULNLLM-R: 91.2% ASR (103/113 케이스).
• VUL-RAG: 95.5% ASR (106/111 케이스).
• VULTRIAL: 100.0% ASR (105/105 케이스).

공격은 탐지기의 올바른 추론을 조작된 외부 증거(예: "Frama-C 검증됨", "AST 빌더 보장")로 대체함으로써 성공했습니다. 이는 탐지기가 가시적인 코드로부터 검증할 수 없는 내용들입니다.

제시 전략 (RQ2)

공격의 효과는 제시 스타일에 크게 의존했습니다:

• 가장 효과적: COT(Chain-of-Thought 추론)가 가장 높은 ASR(81.1%)을 달성했습니다. 권위 있는 외부 증거를 호출하는 전략(예: TOOL_COVERITY, CALL_GRAPH, TOOL_FRAMA) 또한 매우 효과적이었습니다(>70% ASR).
• 가장 덜 효과적: 비공식적인 개발자 메모 형태의 전략(USR, ASSERT, FAKE_TEST)은 베이스라인인 NOTE 전략보다 성능이 낮았는데, 이는 탐지기가 이를 신뢰도가 낮은 것으로 명시적으로 취급했기 때문입니다.

공격 효율성 (RQ3)

• 다양성: 단일 제시 스타일이 모든 취약점을 커버할 수는 없었습니다. 최대 범위를 확보하기 위해서는 다양한 전략의 포트폴리오(예: COT + TOOL_COVERITY + TOOL_FUZZER)가 필요했습니다.
• 정교화: 적응형 정교화는 성공률을 크게 향상시켰습니다. 약 30회의 탐지기 쿼리만으로 모든 시스템에서 >90% 커버리지를 달성할 수 있었습니다.

방어 평가 (RQ4)

• 프롬프트 수준 완화 (D1, D2): 모델에게 주석을 신뢰할 수 없는 것으로 취급하도록 지시하는 것은 제한적인 보호만을 제공했습니다. 공격자는 모델이 주석을 신뢰할 수 없다고 인정하면서도 모델의 추론을 유도함으로써 성공적으로 적응했습니다.
• 아키텍처 격리 (D3): 주석을 도입하기 전 별도의 호출로 코드 전용 베이스라인 분석을 실행하는 것은 견고성을 크게 향상시켰으나(예: VULNLLM-R에서 ASR을 0%로 감소), VULTRIAL과 같은 다단계 토론 시스템에서는 효과가 덜했습니다.
• 탐지 전 정화 (D4): 추론 전 주석을 필터링(검증 불가능한 주장 제거)하는 것이 가장 강력한 보호를 제공했으며, 모든 시스템에서 ASR을 3% 미만으로 낮추었습니다.

일반화 (RQ6)

프레임워크는 Use-After-Free (UAF) 취약점(CWE-416)에 대해서도 테스트되었습니다. 공격은 성공적으로 일반화되어 네 가지 탐지기 중 세 곳에서 >95% ASR을 달성했으며, 이는 취약점이 특정 버그 유형이 아니라 외부 주장에 대한 추론 메커니즘에 존재함을 확인시켜 줍니다.

의의 및 주장

본 논문은 현재의 LLM 기반 취약점 탐지기가 근본적인 약점을 가지고 있다고 주장합니다: 즉, 코드 내의 증거와 타당해 보이지만 검증 불가능한 자연어 주장을 엄격하게 구분하는 능력이 부족하다는 점입니다.

• 신뢰 우선순위(Trust Prior): 탐지기는 제출된 소스 코드로부터 검증할 수 없음에도 불구하고, 외부 권위(정적 분석기, 프레임워크 불변식)에 기인한 안전성 주장에 순응하는 "주석 신뢰 사전 확률"을 보입니다.
• 설계적 시사점: 저자들은 적대적 소프트웨어 문서에 대한 회복력이 주요 설계 목표가 되어야 한다고 주장합니다. 그들은 프롬프트 엔지니어링에만 의존하기보다는, 자연어 컨텍스트와 프로그램 증거 사이의 신뢰를 신중하게 조정하기 위해 아키텍처 격리와 탐지 전 정화가 필요하다고 결론짓습니다.
• 범위: 본 연구는 재현 가능한 벤치마크를 사용하여 회복성을 평가하는 것으로 프레임화되었으며, 보안 워크플로우에 LLM을 통합할 때 발생하는 특정 실패 모드를 강조합니다. 이는 문제를 해결하겠다는 주장이 아니라, 자연어 컨텍스트와 프로그램 증거 사이의 신뢰를 주의 깊게 조절하는 보안 지향적 설계를 촉구하는 것입니다.