기술 요약: KEAREPAIR

문제 정의

프런티어 파운데이션 모델들이 취약점 발견을 가속화하고 비용을 절감하는 동안, 복구(remediation) 측면은 그 속도를 따라잡는 데 어려움을 겪고 있습니다. 기존의 자동 취약점 복구(AVR) 접근 방식, 특히 대규모 언어 모델(LLM)에 기반한 방식들은 두 가지 근본적인 한계에 직면해 있습니다:

1. 신뢰할 수 없는 근본 원인 분석(Root Cause Analysis): 현재의 방법들은 취약점의 원인을 식별하기 위해 정적 LLM 추론이나 동적 로컬라이제이션 도구에 의존합니다. 그러나 LLM은 검증된 사실 없이 추론할 때 환각(hallucination) 현상을 겪으며, 로컬라이제이션 도구는 특히 근본 원인과 수정 위치가 공간적으로 멀리 떨어져 있는 경우 정확한 수정 위치를 짚어내는 데 실패하곤 합니다. 또한, 새니타이저(sanitizer) 보고서에 의존하는 방식은 메모리 안전성 문제에 대한 일반화 능력이 제한됩니다.
2. 취약점 지식 활용의 불충분함: 검색 증강 생성(RAG)이 과거의 사례를 제공하기 위해 사용되지만, 나이브한 검색 전략은 표면적인 코드 유사성에 집중합니다. 이는 근본 원인은 유사하지만 복구 패턴은 서로 다른 사례를 검색하여 LLM을 오도할 수 있습니다. 근본 원인을 매칭하려는 기존 방식들은 정밀도 문제와 높은 계산 비용 문제를 겪습니다.

방법론: KEAREPAIR

저자들은 새로운 지식 강화 에이전트 기반 AVR 방식인 KEAREPAIR를 제안합니다. 이 시스템은 밀접하게 결합된 세 가지 단계로 작동합니다:

1. 취약점 지식 베이스 구축

개발자가 제어 흐름(control-flow)과 데이터 흐름(data-flow)을 통해 취약점을 이해하는 방식에서 영감을 받아, KEAREPAIR는 과거의 취약점-패치 쌍으로부터 이중 뷰(dual-view) 지식 베이스를 구축합니다.

• 지식 추출: LLM을 사용하여 시스템은 두 가지 뷰(데이터 흐름 및 제어 흐름)로부터 다섯 가지 특정 지식 항목인 근본 원인(Root Cause), 취약한 동작(민감한 API, Taint Flow, 제어 분기), 그리고 수정 전략을 추출합니다.
• 지식 추상화: 구체적인 코드 요소(변수명, 메서드 호출)를 추상화하여 특정 구현에 얽매이지 않는 일반화된 지식을 생성합니다.
• 저장: 지식은 효율적인 검색을 위해 벡터 데이터베이스(임베딩을 위한 all-MiniLM-L6-v2 및 검색을 위한 Faiss 사용)에 저장됩니다.

2. 사실에 기반한 에이전트형 취약점 진단

순수한 LLM 추론이나 외부 로컬라이제이션 도구에 의존하는 대신, KEAREPAIR는 ReAct 패러다임을 따르는 도구 증강 진단 에이전트를 채택합니다.

• 특화된 도구: 에이전트는 세 가지 정적 분석 도구를 활용합니다:
  • trace_data_flow: 안전하지 않은 값의 영향을 검증하기 위해 테인트 전파 경로(taint propagation paths)를 추적합니다.
  • is_path_reachable: 제어 흐름 경로와 분기 조건을 검증하여 의심스러운 작업이 실행 가능한지 결정합니다.
  • inspect_API_usage: 민감한 API의 구문론적 사용 맥락을 분석합니다.
• 출력: 에이전트는 코드베이스를 반복적으로 탐색하여 **검증된 프로그램 사실(verified program facts)**을 수집하며, 이는 구조화된 진단 보고서로 정리됩니다. 이는 진단을 구체적인 증거에 기반하게 함으로써 LLM의 환각을 최소화합니다.

3. 지식 수준의 검색 증강 패치 생성

진단 보고서를 바탕으로, 시스템은 계층적 검색 및 정제 과정을 통해 패치를 생성합니다.

• 뷰 특화 쿼리 생성: 높은 수준의 공통점을 찾기 위해 (원시 코드가 아닌) 검증된 근본 원인을 기반으로 시맨틱 쿼리를 생성합니다.
• 계층적 지식 검색:
  1. 초기 검색: 이중 뷰 지식 베이스에서 상위 10개의 후보를 검색합니다.
  2. 하이브리드 재순위화: 코드 유사성(사전 학습된 CodeLlama 임베딩 사용)과 동작 유사성(구조화된 진단 보고서에 대한 BM25 사용)을 결합한 하이브리드 재순위화기를 통해 가장 관련성이 높은 예시를 선택합니다.
• 패칭 및 검증: 복구 에이전트는 검색된 예시와 지식을 활용한 인컨텍스트 러닝(in-context learning)을 통해 패치를 합성합니다. 패치는 폐쇄 루프 검증 과정을 거칩니다: 컴파일을 수행하고, 트리거링된 PoC(Proof-of-Concept) 및 테스트 스위트를 재실행합니다. 검증에 실패하면 피드백이 에이전트로 전달되어 반복적인 정제가 이루어집니다.

주요 기여

1. 챌린지 식별: 본 논문은 현재 LLM 기반 AVR에서 발생하는 근본 원인 분석의 불확실성과 심층적인 취약점 지식 활용의 부족 문제를 식별하고 해결합니다.
2. 새로운 접근 방식: KEAREPAIR는 패치 생성을 검증된 프로그램 사실(정적 분석 도구를 통해)과 다차원적 취약점 지식(이중 뷰 검색을 통해)에 기반하게 함으로써, 환각을 효과적으로 완화하고 데몬스트레이션의 품질을 개선하는 프레임워크를 도입합니다.
3. 광범위한 평가: 이 접근 방식은 55개의 재현 가능한 C/C++ 취약점과 173개의 다국어 취약점에 대해 평가되었으며, 다양한 LLM 백본과 취약점 유형 전반에서 우수한 성능을 입증했습니다.

실험 결과

• C/C++ 성능: Gemini-3.1-Pro와 결려했을 때, KEAREPAIR는 55개 중 46개(83.64%)의 취약점을 성공적으로 복구했습니다. 이는 최신 SOTA 베이스라인인 PatchAgent(39/55)를 유의미하게 상회하는 수치이며, PatchAgent가 해결하지 못한 9개의 고유한 취약점을 추가로 해결했습니다.
• 비용 및 효율성: 최적의 구성(Gemini-3.1-Pro)은 취약점당 평균 비용 $0.30와 50초 미만의 시간 오버헤드로 83.64%의 복구율을 달행합니다.
• 교차 언어 일반화 능력: PATCHEVAL 벤치마크(Go, JavaScript, Python)에서 KEAREPAIR는 Qwen3.5-Plus와 결합하여 85.55%(148/173)의 성공률을 기록하며, C/C++을 넘어선 강력한 일반화 능력을 보여주었습니다.
• 절제 연구(Ablation Studies): 피드백 기반 반복 메커니즘을 제거했을 때 성능 저하가 가장 컸으며(46개에서 26개 복구로 감소), 이는 반복적 정제의 결정적 역할을 강조합니다. 마찬가지로 이중 뷰 검색 파이프라인을 제거했을 때 성능이 크게 저하되어 다차원적 지식의 필요성을 확인했습니다.

의의 및 주장

본 논문은 KEAREPAIR가 "순수 정적 추론"에서 "사실 기반 에이전트 추론"으로 전환함으로써 자동 취약점 복구 분야에서 중요한 진전을 이루었다고 주장합니다. 저자들의 논지는 다음과 같습니다:

• 신뢰성: 복잡한 코드베이스에서 LLM의 환각을 극복하기 위해서는 특화된 도구를 통해 진단을 검증된 프로그램 사실에 기반시키는 것이 필수적입니다.
• 지식의 질: 고수준의 이중 뷰(제어 및 데이터 흐름) 지식 검색은 패치 생성을 가이드하는 데 있어 표면적인 코드 유사성보다 우월합니다.
• 실용성: 시스템은 강력한 비용-편익 트레이드오프를 달성하여, 취약점에 대한 신속한 대응이 중요한 실제 환경 배포에 적합합니다.

저자들은 정적 분석에서의 복잡한 매크로 처리 문제와 파일 간 변경이 필요한 인터프로시저(inter-procedural) 취약점 처리에 대한 어려움 등 한계점을 인정하며, 현재의 지식 베이스가 함수 레벨임을 명시했습니다. 또한 LLM 학습 데이터 누출 가능성을 언급하면서도, 통제된 연구를 통해 개선 사항이 시스템 설계 덕분임을 확인했다고 강조했습니다.