🤖 AI

ARQ: Agentic CodeQL Query Refinement for C/C++ Vulnerability Detection

ARQ는 레이블이 지정된 데이터셋 없이도 합성된 프로그램과 LLM으로부터 얻은 실행 기반 증거를 사용하여 C/C++ CodeQL 쿼리를 자동으로 정교화함으로써 오탐률과 미탐률을 크게 줄이고, 최대 119.8% 더 많은 진양성 탐지를 달성하며 공식 저장소의 고질적인 문제들을 해결하는 에이전트 기반 프레임워크입니다.

원저자: Chunyi Wang, Yunfei Ke, Junfeng Yang, Yun-Yun Tsai, Penghui Li

게시일 2026-08-24

📖 4 분 읽기☕ 가벼운 읽기

CC0 1.0

원저자: Chunyi Wang, Yunfei Ke, Junfeng Yang, Yun-Yun Tsai, Penghui Li

원본 논문은 CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/)에 따라 공공 도메인에 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

컴퓨터, 휴대폰, 자동차를 구동하는 소프트웨어는 종종 C나 C++ 같은 언어로 구축됩니다. 이러한 도구들은 프로그래머에게 기기가 메모리를 사용하는 방식에 대해 정밀한 제어권을 부여하지만, 그 동일한 힘은 실수하기 매우 쉽게 만듭니다. 프로그램이 메모리를 처리하는 방식에서 발생하는 작은 실수는 공격자가 시스템을 중단시키거나 데이터를 훔칠 수 있는 문을 열어줄 수 있습니다. 이러한 오류가 해를 끼치기 전에 잡아내기 위해, 보안 전문가들은 코드를 읽고 위험한 패턴을 찾는 자동 스캐너를 사용합니다. 이 스캐너들은 인간이 작성한 일련의 규칙에 의존하며, 이 규칙들은 취약한 코드 조각이 정확히 어떤 모습인지 스캐너에게 알려줍니다. 만약 규칙이 너무 엄격하면 스캐너가 실제 위험을 놓치게 되고, 너무 느슨하면 존재하지 않는 문제에 대해 경고를 울려 시간과 신뢰를 낭비하게 만듭니다.

수년 동안 이러한 규칙을 개선하는 것은 느리고 수동적인 작업이었습니다. 전문가들은 코드를 읽고, 스캐너가 어디에서 실패할지 추측하고, 규칙을 직접 다시 작성해야 했습니다. 이 과정은 규칙이 완벽해야 하고 스캔하는 코드가 방대하고 복잡하기 때문에 어렵습니다. ARQ라고 불리는 새로운 접근 방식은 이 작업이 수행되는 방식을 바꿉니다. 인간의 직관에만 의존하는 대신, ARQ는 인공지능을 사용하여 이러한 규칙을 자동으로 테스트하고 수정합니다. 이는 단순히 추측하는 것이 아니라, 규칙이 실제로 작동하는지 확인하기 위해 생성된 코드를 직접 실행합니다. 시스템이 테스트 프로그램을 생성하고, 이를 실행한 다음, 그 결과를 사용하여 규칙을 개선하는 루프를 구축함으로써, ARQ는 인간이 수년 동안 놓쳤던 오류들을 찾아내고 수정합니다.

ARQ의 연구자들은 단순하지만 강력한 아이디어에서 시작했습니다. 즉, 규칙은 안전한 코드와 위험한 코드를 구별하는 능력만큼 가치가 있다는 것입니다. 그들은 인공지능에게 인기 있는 보안 스캐너의 특정 규칙을 주고, 매우 유사한 두 개의 프로그램을 만들라고 요청했습니다. 한 프로그램은 안전하도록 설계되었고, 다른 하나는 위험하도록 설계되었습니다. 그런 다음 AI는 스캐너가 두 프로그램에 어떻게 반응하는지 관찰했습니다. 만약 스캐너가 안전한 프로그램을 위험하다고 표시했다면, 규칙이 너무 느슨한 것이었습니다. 만약 위험한 프로그램을 놓쳤다면, 규칙이 너무 엄격한 것이었습니다. 이 스캐너의 판정과 코드가 실제로 실행되었을 때 일어난 일 사이의 불일치는 AI가 규칙을 수정하는 데 필요한 증거가 되었습니다.

AI가 단순히 추측하는 것이 아님을 보장하기 위해, 시스템은 새니타이저(sanitizer)라고 불리는 특수한 도구를 사용했습니다. 이 도구는 프로그램이 실행되는 동안 관찰하는 고정밀 센서처럼 작동합니다. 만약 프로그램이 이미 해제된 메모리를 사용하는 것과 같이 안전하지 않은 행동을 시도하면, 새니타이저는 프로그램을 중단시키고 즉시 오류를 보고합니다. 이것은 연구자들에게 '그라운드 트루스(ground truth, 실제 참값)'를 제공했습니다. 그들은 스캐너의 판정을 새니타이저의 보고와 비교할 수 있었습니다. 만약 스캐너는 프로그램이 안전하다고 말했지만 새니타이저가 충돌을 발견했다면, 연구자들은 스캐너가 실수를 했다는 것을 알 수 있었습니다. 그러면 AI는 이 확인된 실수를 사용하여 규칙을 다시 작성함으로써 규칙을 더 똑똑하게 만들었습니다.

이 과정은 연속적인 루프 속에서 일발했습니다. AI는 새로운 쌍의 테스트 프로그램을 생성하고, 실행하고, 결과를 확인한 다음, 다시 규칙을 정교화했습니다. 결정적으로, 규칙이 변경될 때마다 시스템은 이미 작동하고 있는 다른 모든 예시들에 대해 다시 테스트하여 수정 사항이 기존의 기능을 망가뜨리지 않는지 확인했습니다. 이는 AI가 문제를 해결하는 과정에서 과잉 수정하여 새로운 문제를 만드는 것을 방지했습니다. 연구팀은 이 방법을 실제 소프트웨어에서 사용되는 12가지 서로 다른 보안 규칙에 테스트했습니다. 그들은 이 규칙들을 보안 도구를 테스트하기 위해 설계된 두 개의 대규모 코드 모음과 대조하여 실행했습니다. 결과는 AI로 정교해진 규칙이 기존의 인간이 작성한 규칙보다 훨씬 더 많은 실제 취약점을 찾아냈음을 보여주었습니다. 어떤 경우에는 탐지된 위협의 수가 두 배 이상 증가하면서도, 오탐율(false alarm rate)은 98% 이상의 정확도를 유지하며 매우 낮게 유지되었습니다.

이 작업의 영향은 테스트 데이터를 넘어섰습니다. 연구자들은 데이터 압축 및 이미지 표시와 같이 인터넷의 많은 부분을 구동하는 실제 널리 사용되는 소프트웨어 라이브러리에 정교해진 규칙을 적용했습니다. 개선된 규칙은 이 라이브러리들 속에 수년 동안 숨어 있던 두 개의 버그를 찾아냈습니다. 또한, 시스템은 공용 소프트웨어 저장소에 보고되었으나 해결되지 않은 채 남아 있던 세 가지 특정 이슈를 성공적으로 해결했습니다. 이 이슈들은 인간 전문가들을 27개월 동안이나 곤혹스럽게 만들었지만, 자동화된 시스템은 규칙을 체계적으로 테스트하고 조정함으로써 이를 해결했습니다.

이 접근 방식은 우리 디지털 인프라의 안전을 유지하는 새로운 방법을 제시합니다. 결함을 찾고 수동으로 수정안을 작성하기 위해 인간을 기다리는 대신, 이제 시스템은 실제 실행에 맞서 스스로의 규칙을 지속적으로 테스트할 수 있습니다. 이 방법은 작동하기 위해 방대한 양의 라벨링된 오류 데이터베이스나 수년간의 역사적 데이터를 필요로 하지 않습니다. 단지 코드를 실행하고 그 결과를 확인할 수 있는 능력만 있으면 됩니다. 인공지능을 단순히 종이 위의 모습이 아니라 프로그램이 실제로 동작하는 방식이라는 구체적인 증거에 기반하게 함으로써, 연구자들은 보안 스캐너가 소프트웨어가 진화함에 따라 날카롭고 효과적인 상태를 유지할 수 있도록 하는 도구를 만들어냈습니다. 이 작업은 인공지능이 실행되는 코드로부터 얻은 구체적인 증거와 결합될 때, 인간의 노력이 오랫동안 저항해 온 복잡한 공학적 문제들을 해결할 수 있음을 입증합니다.

기술 요약: ARQ – C/C++ 취약점 탐지를 위한 에이전트 기반 CodeQL 쿼리 정교화

문제 정의

CodeQL과 같은 정적 분석 도구는 수동으로 작성된 탐지 쿼리를 소스 코드와 매칭하여 C/C++ 시스템 소프트웨어의 취약점을 탐지하는 데 널리 사용됩니다. 그러나 기존 쿼리는 다음과 같은 두 가지 결정적인 한계점을 가집니다:

높은 오탐율 (False Positives, FPs): 무해한 코드가 취약한 것으로 잘못 분류됨.
미탐 (False Negatives, FNs): 실제 취약점을 놓침.

이를 수동으로 해결하려면 소프트웨어 보안, 특정 도메인 특화 언어(DSL), 그리고 대상 시스템에 대한 깊은 전문 지식이 필요합니다. 또한, 기존의 자동화된 접근 방식(예: IRIS, QLCoder)은 주로 Java 웹 애플리케이션의 테인트 트래킹(taint tracking)을 대상으로 하며, 이는 데이터 흐름보다는 메모리 생명주기 및 포인터 에일리어싱(aliasing)에 의존하는 C/C++ 특유의 메모리 안전성 문제(예: use-after-free 또는 double-free)를 포착하는 데 실패합니다. 아울러, 이전 방법들은 레이블이 지정된 데이터셋, 커밋 히스토리 또는 취약점별 템플릿에 의존하는 경우가 많으나, 이러한 자원들은 항상 가용하거나 확장 가능한 것은 아닙니다.

방법론: ARQ 프레임워크

저자들은 합성된 C/C++ 프로그램을 통해 실행 근거(execution-grounded evidence)를 사용하여 CodeQL 쿼리를 자동으로 정교화하는 에이전트 프레임워크인 ARQ를 제안합니다. 핵심 통찰은 합성된 프로그램의 런타임 실행(실제 진실, ground truth)이 쿼리의 정적 판정(static verdict)과 불일치할 때마다 해당 쿼리의 약점이 드러난다는 점입니다.

ARQ는 다음 다섯 가지 단계로 구성된 반복 루프를 통해 작동합니다:

증거 생성 (Gen): LLM은 제어 흐름(control flow)만 다르고 나머지는 거의 동일한 쌍(pair)의 C/C++ 프로그램을 합성하도록 과업을 부여받습니다. 한 프로그램은 진양성(True Positive, TP)(실제로 취약함)으로 설계되며, 다른 하나는 미탐(False Negative, FN)(실제로 취약하지만 쿼리에 의해 놓침) 또는 오탐(False Positive, FP)(무해하지만 플래그가 지정됨)으로 설계됩니다.
오라클 검증 (Oracle & Analyze):
- 합성된 프로그램들은 컴파일러 새니타이저(예: AddressSanitizer, UndefinedBehaviorSanitizer)를 사용하여 실행되어, 실제 취약 상태에 대한 **실제 진실( $c_o$ )**을 확립합니다.
- 원본 쿼리가 이 프로그램들을 실행하여 판정( $c_q$ )을 내립니다.
- 쿼리의 판정이 새니타이저의 보고와 다를 경우(예: $c_o = P$ 이지만 $c_q = N$ )에만 "증거(witness)"가 확정됩니다. 이 단계는 LLM의 환각(hallucination)을 필터링합니다.
쿼리 정교화 (Improve): 확정된 증거를 바탕으로, LLM은 특정 약점(예: 다른 제어 흐름 분기에서도 탐지가 가능하도록 서술어(predicate)를 완화함)을 해결하기 위해 정교화된 쿼리( $Q'$ )를 제안합니다.
회귀 테스트 (Regression Testing): 정교화된 쿼리는 이전에 검증된 모든 증거(회귀 세트 $W_r$ )에 대해 다시 실행됩니다. 만약 새로운 쿼리가 새로운 오류를 유발하면(예: 이전의 TP를 FP로 바꾸거나 그 반대의 경우), 정교화 작업은 거부되거나 추가 조정됩니다.
반복 (Iteration): 예산이 소진되거나 더 이상의 개선이 발견되지 않을 때까지 FN과 FP를 찾는 과정을 번갈아 가며 반복합니다.

주요 기술 구성 요소:

실행 근거 기반 추론 (Execution-Grounded Reasoning): 순수 정적 추론과 달리, ARQ는 런타임 새니타이저 보고를 LLM 추론의 "오라클"로 사용하여 취약성을 검증합니다.
대조 쌍 (Contrastive Pairs): LLM이 특정 함수 이름에 과적합(overfitting)되는 대신 특정 제어 흐름 패턴에 대해 추론하도록 유도하기 위해 쌍을 이룬 프로그램을 생성합니다.
외부 레이블 불필요: 이 프레임워크는 레이블이 지정된 취약점 데이터셋, 커밋 히스토리 또는 수동 템플릿을 요구하지 않습니다.

주요 기여

자동 증거 합성: ARQ는 런타임 동작을 사용하여 취약점의 존재를 확인함으로써, 쿼리의 실패를 드러내는 증거 프로그램을 자동으로 생성하고 검증합니다.
쌍 프로그램 가이드: 쌍을 이룬 프로그램을 사용하여 LLM이 쿼리를 반복적으로 정교화하도록 가이드하며, 이를 통해 오탐 폭발을 효과적으로 억제하면서 재현율(recall)을 향상시킵니다.
성능 향 향상: Juliet v1.3 및 FormAI v2 데이터셋에서, ARQ로 정교화된 쿼리(GPT-5.4, Claude-Sonnet-4.6, Gemini-3.5-flash 모델 사용)는 기존 CodeQL 쿼리 대비 실질적으로 더 많은 진양성(TP)을 탐지했습니다(최대 +119.8% 증가). 동시에 **최소 98.0%의 정밀도(Precision)**를 유지했습니다.
실제 세계에 미치는 영향:
- 공식 CodeQL 저장소에 열려 있던 3개의 미해결 GitHub 이슈를 성공적으로 해결했습니다 (해당 이슈들은 각각 6, 9, 27개월 동안 열려 있었음).
- 널리 사용되는 실제 라이브러리인 libpng와 zlib에서 이전에 알려지지 않은 2개의 버그를 발견했습니다.

평가 결과

데이터셋: 평가는 Juliet v1.3 및 FormAI v2 데이터셋 전반에 걸쳐 버퍼 오버플로우, use-after-free, double-free 취약점을 다루는 12개의 공식 CodeQL 쿼리를 활용했습니다.
지표: 기존 데이터셋에서 특정 쿼리 유형에 대한 전체 음성 샘플(negative samples)을 정의하기 어렵기 때문에 정밀도(Precision)를 주요 지표로 사용했습니다.
성능:
- FormAI v2: 세 모델 모두 베이스라인 CodeQL 쿼리 대비 진양성(TP) 측면에서 상당한 이득을 보였습니다 (Gemini3.5: +119.8%, Sonnet4.6: +82.7%, GPT5.4: +77.7%).
- Juliet v1.3: Gemini3.5와 Sonnet4.6은 TP 탐지를 개선했으나 (+55.7% 및 +7.4%), GPT5.4는 약간의 퇴보(-3.2%)를 보였습니다. 이는 첫 번째 반복에서의 회귀 테스트 부족과 모델 특유의 "포기(giving up)" 행동 때문으로 분석되었습니다.
- 정밀도 (Precision): 모든 구성에서 정밀도는 98.0% – 100.0%의 높은 수준을 유지했으며, 하락 폭은 일반적으로 2.0% 이내였습니다.
절제 연구 (Ablation Study, RQ3): Analyze 및 Oracle 구성 요소를 제거하고(LLM 추론에만 의존) 수행했을 때, 성능은 베이스라인보다 현저히 낮아졌으며 종종 원래의 CodeQL 쿼리보다 낮은 수준으로 퇴보했습니다. 이는 실행 근거가 환각을 방지하고 의미론적 정확성을 보장하는 데 필수적임을 입증합니다.
효율성 (RQ4): 전체 5회 반복 정교화 주기는 1시간 이내에 완료됩니다. 이 과정은 CPU 집약적이지 않으며, LLM의 지연 시간(latency)에 의해 제한됩니다.

의의 및 주장

본 논문은 ARQ가 수동 명세나 레이블링된 데이터셋 없이도 정적 분석 유지보수를 확장할 수 있는 실용적이고 효과적인 전략임을 입증한다고 주장합니다. LLM의 추론을 단순한 정적 인자(static argument)가 아닌 프로그램 실행에 근거하게 함으로써, ARQ는 기존의 테인트 트래킹 방식이 놓치는 C/C++ 메모리 안전성(생명주기 및 에일리어싱)의 특수한 과제를 해결합니다.

저자들은 이 접근 방식이 CodeQL이나 C/C++에 국한되지 않는다고 강조합니다. 런타임 신호(예: 새니타이저)를 사용하여 LLM 추론을 근거화하는 핵심 개념은 런타임 검증 메커니즘을 갖춘 모든 정적 분석 도구와 유사한 툴링을 가진 모든 언어(예: C# 오버플로 탐지기, Go 데이터 레이스 탐지기)에 적용될 수 있습니다. 쿼리 세트가 커지고 수동 관리가 어려워짐에 따라, ARQ는 코드베이스와 취약점 패턴이 진화함에 따라 이러한 도구들을 자동으로 최신 상태로 유지할 수 있는 경로를 제시합니다.