💻 computer science

Representation Matters: An Empirical Study of Program Representations for LLM Vulnerability Reasoning

이 논문은 정적 분석 기반의 구조적 표현(구체적으로 AST+PDG)이 컨텍스트 희석을 완화하고 우수한 정확도-오버헤드 트레이드오프를 제공함으로써, LLM의 취약점 탐지에서 원시 소스 코드보다 성능이 유의미하게 뛰어남을 입증하는 경험적 연구인 RepBench를 소개한다.

원저자: Andrew Stoltman, Johnathan Tang, Haipeng Cai

게시일 2026-06-25

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Andrew Stoltman, Johnathan Tang, Haipeng Cai

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신은 매우 똑똑하지만 약간 주의력이 산만한 탐정(AI)에게 거대한 도서관(컴퓨터 코드) 속에서 특정 유형의 범죄를 찾아내는 법을 가르치려 한다고 상상해 보십시오.

오랫동안 연구자들은 탐정을 돕는 가장 좋은 방법은 그에게 **책 전체(원문)**를 건네주는 것이라고 가정했습니다. 그 논리는 이랬습니다: "탐정이 더 많은 페이지를 읽을수록 더 많은 단서를 찾을 것이다."

**"Representation Matters(표현이 중요하다)"**라는 제목의 이 논문은 이러한 아이디어에 도전합니다. 저자들은 RepBench라는 테스트 환경을 구축하여, 탐정에게 원문 전체를 주는 것보다 압축되고 구조화된 요약본을 주는 것이 더 효과적인지 확인했습니다.

다음은 이들의 연구 결과를 쉬운 비유를 사용하여 정리한 내용입니다:

1. 실험: 원문 vs. "설계도"

연구자들은 실제 세계의 코드 취약점(건물 안에 숨겨진 함정과 같은 것) 107개 사례를 가져왔습니다. 그리고 AI에게 세 가지 다른 유형의 "입력값"을 사용하여 이 함정들을 찾도록 요청했습니다:

원시 소스 코드 (Raw Source Code): 모든 단어, 주석, 서식이 포함된 편집되지 않은 전체 책.
그래프 (AST, CFG, PDG): 이것들은 건축 설계도나 플로우차트와 같습니다. 단어들을 제거하고 오직 구조만을 보여줍니다. 즉, 방들이 어떻게 연결되는지, 문은 어디에 있는지, 그리고 물(데이터)이 파이프를 통해 어떻게 흐르는지를 보여줍니다.
하이브리드 (Hybrids): 원본 책과 설계도를 혼합한 형태.

2. 거대한 반전: 적을수록 좋다

결과는 직관에 어긋났습니다.

원문은 실패했습니다: AI가 원시 코드를 읽었을 때, 정답을 맞힌 확률은 **53.5%**에 불과했습니다. 이는 마치 배관 이론에 관한 백과사전 전체를 읽으며 집 안의 특정 누수 지점을 찾으려는 것과 같았습니다. AI는 노이즈 속에서 길을 잃었습니다.
설계도가 승리했습니다: AI가 구조화된 그래프(특히 '구문 트리'와 '의존성 그래프'의 조합)를 보았을 때, 정답률은 **83.2%**까지 올라갔습니다.
하이브리드는 역효과를 냈습니다: 연구자들이 AI에게 원본 책과 설계도를 모두 주었을 때, 성능은 설계도만 주었을 때보다 오히려 하락했습니다.

3. "컨텍스트 희석(Context Dilution)" 효과

왜 더 많은 정보를 주었을 때 AI의 성능이 더 나빠졌을까요? 저자들은 이를 **"컨텍스트 희석"**이라고 부릅니다.

이것은 마치 건초더미에서 바늘을 찾는 것과 같습니다.

설계도는 바로 그 바늘입니다. 작고 집중되어 있으며 보기 쉽습니다.
원시 코드는 건초더미입니다.
하이브리드는 건초더미에 바늘을 더한 것입니다.

연구 결과, AI에게 건초더미(원시 코드)와 바늘(그래프)을 함께 주면, AI는 건초에 의해 주의가 분산됩니다. AI는 버그와 아무런 관련이 없는 코드의 주석이나 보조 함수 같은 무관한 세부 사항에 집중하기 시작합니다. 결국 "바늘"은 "건초" 속에서 길을 잃고, AI는 취약점을 놓치게 됩니다.

4. 효율성의 보너스: 비용과 속도

또 다른 이점이 있었습니다. 바로 비용과 속도입니다.

원시 코드 프롬프트는 매우 컸습니다(마치 500페이지짜리 소설처럼).
그래프 전용 프롬프트는 훨씬 작았습니다(마치 100페이지짜리 요약본처럼).
이처럼 더 작고 실행 비용이 저렴함에도 불구하고, 그래프 프롬프트가 더 정확했습니다.

5. 이것이 미래에 의미하는 바

이 논문은 AI가 보안 허점을 포착하는 데 능숙해지려면, 단순히 원시 코드를 쏟아부어서는 안 된다고 결론짓습니다. 대신, "번역가" 역할을 할 수 있는 정적 분석 도구(설계도를 만드는 도구)를 사용해야 합니다.

비유하자면:
법적 허점을 찾기 위해 AI에게 1,000페이지짜리 법률 계약서를 읽으라고 요청하는 대신, 먼저 변호사가 그것을 읽고 핵심 조항들을 2페이지짜리 메모로 요약하게 한 뒤, 그 메모를 AI에게 주는 것입니다. 그러면 AI는 잡다한 것에 방해받지 않고 논리에 집중할 수 있습니다.

요약하자면: 이 논문은 AI 보안 추론에 있어서 구조화되고 압축된 증거가 가공되지 않은 원시 데이터보다 훨씬 우월하다는 것을 증명합니다. AI에게 "더 많은" 정보를 주는 것이 종종 AI를 "덜" 효과적으로 만듭니다.

기술 요약: LLM 취약점 추론을 위한 표현의 중요성

문제 정의

대규모 언어 모델(LLM)이 자동화된 취약점 탐지를 위해 점점 더 많이 배치되고 있으나, LLM 기반 추론을 위해 프로그램 구조와 의미를 표현하는 최적의 방법은 여전히 불분명하다. 현재의 파이프라인은 주로 **원시 소스 코드(raw source code)**를 주요 입력으로 사용하며, 이는 더 많은 소스 수준의 컨텍스트를 제공하는 것이 취약점 추론을 위한 더 나은 근거를 제공한다는 암묵적인 가정하에 작동한다.

본 논문은 이러한 가정에 이의를 제기한다. 취약점 추론은 데이터 전파(data propagation), 제어 흐름 가드(control-flow guards), 포인터 에일리어싱(pointer aliases)과 같은 의미적 관계에 의존하는 경우가 많지만, 이러한 관계는 표면적인 구문(syntax)에는 명시적으로 드러나지 않는다. 정적 분석 표현(예: 제어 흐름 그래프(CFG), 프로그램 의존 그래프(PDG))은 이러한 관계를 노출하도록 설계되었으나, 이를 LLM을 위한 프롬프트로 사용할 때의 효용성은 원시 소스 코드와 비교하여 체계적으로 벤치마킹된 바 없다. 핵심 문제는 구조화된 정적 분석 기반의 표현이 원시 소스 입력에 비해 LLM의 추론 정확도와 효율성을 개선할 수 있는지, 그리고 이들을 결합했을 때 시너지 효과를 내는지 아니면 노이즈를 유발하는지 결정하는 것이다.

방법론

저자들은 고정된 작업 하에서 서로 다른 프로그램 표현이 LLM의 취약점 추론에 어떤 영향을 미치는지 평가하기 위해 설계된 통합 벤치마크 파이프라인인 RepBench를 소개한다.

데이터셋 및 범위

코퍼스(Corpus): 본 연구는 다섯 가지 CWE(Common Weakness Enumeration) 카테고리를 다루는 PrimeVul 데이터셋에서 추출한 107개의 실제 C/C++ 테스트 케이스의 큐레이션된 서브셋을 활용한다.
- 산술 취약점: CWE-122 (Heap-based Buffer Overflow), CWE-190 (Integer Overflow), CWE-191 (Integer Underflow).
- 메모리 생명주기 취약점: CWE-415 (Double Free), CWE-416 (Use After Free).
보조 트랙(Auxiliary Track): LLVM 수준의 메타데이터를 포함하는 VulChecker/Hector 파이프라인을 통해 생성된 **강화된 프로그램 의존 그래프(ePDG)**를 사용하는 추가 19개 케이스.

실험 설계

이 벤치마크는 세 가지 프롬프트 패밀리에 걸쳐 10가지 표현 변형을 평가한다:

Source-only: 원시 소스 코드 (Baseline).
Graph-only: 추상 구문 트리(AST), 제어 흐름 그래프(CFG), 프로그램 의존 그래프(PDG) 및 이들의 조합(AST+CFG, AST+PDG, CFG+PDG)을 포함한 직렬화된 구조적 표현.
Source-plus-Graph: 원시 소스 코드와 하나 이상의 그래프 표현을 결합한 하이브리드.

주요 통제 변수:

작업(Task): 특정 CWE에 대한 대상 함수의 고정된 이진 분류 (VULNERABLE vs. SAFE).
프롬프팅(Prompting): 모든 변형은 구조화된 JSON 출력과 동적 퓨샷(few-shot) 선택을 사용하는 고정된 Chain-of-Thought (CoT) 프롬프팅 전략을 사용한다.
모델: 실험에는 qwen3.6-plus를 사용하며 온도는 $T=0.2$ 로 고정한다.
직렬화(Serialization): 그래프 아티팩트(DOT/JSONL)는 구조적 연결을 보존하면서 프롬프트 오버헤드를 최소화하기 위해 압축된 라인 지향 텍스트로 변환된다.

지표

Curated Accuracy (큐레이션 정확도): 유효한 이진 예측이 있는 잔류 행에 대한 정확도 (파싱 실패로부터 표현 품질을 격리함).
Effective Accuracy (실질 정확도): 파싱 실패를 포함한 엔드 투 엔드 성공률.
Prompt Overhead (프롬프트 오버헤드): 문자 수 및 입력 토큰 수로 측정.

주요 기여

RepBench 프레임립: 실제 취약점 테스트 케이스를 여러 프로그램 표현(AST, CFG, PDG, ePDG)으로 변환하고 표준화된 LLM 탐지 작업 하에서 평가하는 벤치마크 프레임워크.
체계적인 절제 연구(Ablation Study): 원시 소스, 개별 그래프, 그래프 조합, 소스-플러스-그래프 하이브리드를 평가하여 표현을 유일한 실험 변수로 격리하는 종합적인 평가.
컨텍스트 희석(Context Dilution)의 발견: 압축된 구조적 증거에 원시 소스 코드를 추가하는 것이 오히려 추론 성능을 향상시키는 대신 저하시킨다는 "컨텍스트 희석 효과"를 식별하고 특성화함.
최적의 표현 식별: AST+PDG가 가장 효과적인 표현이며, 원시 소스 및 다른 변형들을 유의미하게 능가한다는 실증적 증거 제시.

결과

1. 그래프 표현이 원시 소스를 능가함

더 많은 소스 컨텍스트가 더 낫다는 가정과 달리, 그래프 전용(Graph-only) 프롬프트는 74.4%의 큐레이션 정확도를 달alog 달성하여 원시 소스 베이스라인(53.5%)보다 20.9 퍼센트 포인트(pp) 높은 성과를 보였다. 이는 압축된 구조적 증거가 직접적인 소스 코드 프롬프팅을 대체하고 능가할 수 있음을 보여준다.

2. AST+PDG가 최적의 변형임

AST+PDG 조합은 **83.2%**의 최고 정확도를 달성했다 (원시 소스 대비 29.7 pp 향상).

AST는 국소적인 구문 앵커(연산자, 호출, 선언)를 제공한다.
PDG는 교차 문장 의존성 증거(데이터 흐로, 제어 가드)를 제공한다.
AST+CFG가 80.4%로 그 뒤를 바짝 쫓았으며, CFG+PDG는 73.8%를 기록했다.
Source-plus-graph 하이브리드(예: pdg_plus_source, full)는 일관되게 그래프 전용 대응물(예: pdg_plus_source는 65.7%, pdg는 69.0%)보다 낮은 성능을 보였는데, 이는 원시 소스가 보완적인 가치보다는 주의를 분산시키는 노이즈를 추가함을 나타낸다.

3. 컨텍스트 희석 효과

본 연구는 컨텍스트 희석 효과를 식별했다: 구조적 그래프에 원시 소스 코드를 추가하면 프로프트 크기는 증가하지만(문자 수 2.4배, 토큰 수 2.2배 증가), 정확도는 감소한다.

메커즘: 프롬프트가 컨텍스트 예산을 초과하지 않더라도(절단 발생 시에도 불구하고), 추가된 소스 텍스트는 모델이 취약점 관련 구조적 증거를 가리는 무관한 코드(예: 관련 없는 헬퍼 함수나 인터페이스 루틴)에 주의를 기울이게 만든다.
효율성: 그래프 전용 프롬프트는 가장 높은 정확도와 가장 낮은 오버헤드(평균 5,973 토큰 vs. 소스-플러스-그래프의 12,938 토큰)를 달성했다.

4. 취약점 유형별 차이

산술 취약점 (CWE-190): 그래프 전용 프롬프트가 소스-플러스-그래프 프롬프트(77.8% vs. 65.8%)를 크게 앞질렀으며, 이는 소스-투-싱크(source-to-sink) 추론에 집중된 구조적 증거가 매우 중요함을 시사한다.
메모리 생명주기 취약점 (CWE-415/416): 소스-플러스-그래프 프롬프트가 CWE-415에서 경쟁력 있거나 약간 더 나은 성능을 보였는데, 이는 원시 컨텍스트가 정리 순서나 포인터 생명주기를 추론하는 데 가끔 도움이 될 수 있음을 시사하지만, 그래프 전용 방식 역시 견고함을 유지했다.
레이블 비대칭성 (Label Asymmetry): 모델은 VULNERABLE 케이스(큐레이션 정확도 66.0%)보다 SAFE 케이스(큐레이션 정확도 76.1%)에서 더 신뢰할 수 있었는데, 이는 가드의 부재나 미묘한 데이터 흐름을 추론하는 것의 난이도 때문으로 보인다.

5. 보조 ePDG 결과

ePDG 트랙(LLVM 수준의 강화된 메타데이터)은 57.9%의 큐레이션 정확도를 달성했다. Joern 기반 변형들보다 낮지만, 이는 취약점 지향적 메타데이터가 잠재력이 있음을 시사한다. 다만, 가독성(추상 LLVM IR) 및 아티팩트 생성 가능성의 한계가 유용성을 제한한다.

의의 및 주장

본 논문은 표현의 선택이 LLM 취약점 추론의 질을 결정하는 주요 동인이며, 종종 입력 컨텍스트의 양보다 더 중요하다는 점을 주장한다.

현재 관행의 재평가: 원시 소스 프롬프팅에만 의존하는 시스템은 정적 분석의 수십 년간의 발전을 활용하지 못할 수 있다. "컨텍스트가 많을수록 좋다"는 가정은 도전받는다. 보안 추론에서는 집중된 구조적 증거가 필터링되지 않은 소스 텍스트보다 우월하다.
프롬프트 레이어로서의 정적 분석: 저자들은 정적 분석이 프롬프트 구성 레이어 역할을 해야 한다고 제안한다. (AST+PDG와 같이) 압축되고 보안 관련성이 높은 구조적 증거를 추출하여 LLM에 제시함으로써, 개발자는 더 높은 정확도와 더 낮은 추론 비용을 달으로 얻고 컨텍스트 희룡 위험을 줄일 수 있다.
경험적 토대: 이 연구는 단순한 코드 주입을 넘어 구조화되고 분석 중심적인 프롬프팅으로 나아가는, 표현 인식(representation-aware) LLM 취약점 분석 시스템을 설계하기 위한 초기 경험적 토대를 제공한다.

결론적으로, 원시 소스 코드가 LLM에게는 자연스러울 수 있지만, 보안 추론에는 최적이 아니다. 신중하게 선택된 구조적 표현은 더 강력한 정확도-오버헤드 트레이드오프를 제공하며, 이는 보안 중심의 LLM 추론을 위해 정적 분석을 사용하여 집중된 프롬프트를 구성하는 방향으로의 전환을 촉구한다.