Semantics-Aligned, Curriculum-Driven, and Reasoning-Enhanced Vulnerability Repair Framework

1. 연구 배경 및 문제 정의 (Problem Statement)

소프트웨어 취약점의 급속한 증가로 인해 수동 수정이 한계에 도달함에 따라 자동화된 취약점 수정 (Automated Vulnerability Repair, AVR) 에 대한 필요성이 대두되었습니다. 하지만 기존 방법론들은 다음과 같은 근본적인 한계를 가지고 있습니다.

• 구문적 과적합 (Syntactic Overfitting): 기존 지도 학습 (SFT) 기반 모델들은 인간이 작성한 패치 (Patch) 의 표면적인 구문 (문법) 을 그대로 모방하도록 학습됩니다. 이는 변수 이름 변경과 같은 미세한 구문 변화에도 모델이 실패하게 만들며, 실제 의미론적 (Semantic) 수정 로직을 이해하지 못하게 합니다.
• 복잡한 수정의 비최적화: 현실 세계의 취약점 수정은 종종 함수 내 여러 개의 불연속적인 코드 영역 (Multi-hunk) 을 수정해야 합니다. 기존 모델들은 이러한 복잡한 작업을 동시에 처리하는 데 어려움을 겪으며, 국소 최적해 (Local Optima) 에 빠지는 경향이 있습니다.
• 편향된 평가 설정: 기존의 평가 방식은 무작위 분할 (Random Split) 을 사용하는데, 이는 동일한 프로젝트 내의 패턴을 학습하여 데이터 누수 (Data Leakage) 를 유발하고, 실제 새로운 프로젝트로의 일반화 능력을 과대평가합니다.
• 신뢰할 수 있는 보상 신호의 부재: RL 기반 접근법에서 실행 기반 (Execution-based) 보상은 빌드 환경이 필요하여 확장성이 떨어집니다. 반면, 기존 실행 없는 보상 (문자열 유사도 등) 은 의미론적 동등성을 평가하지 못합니다.

2. 제안 방법론: SeCuRepair

저자들은 이러한 한계를 극복하기 위해 SeCuRepair를 제안합니다. 이는 강화 학습 (RL) 기반의 프레임워크로, 의미론적 정렬 (Semantics-Aligned), 커리큘럼 학습 (Curriculum-Driven), 추론 강화 (Reasoning-Enhanced) 라는 세 가지 핵심 원칙을 따릅니다.

A. 추론 강화 초기화 (Reasoning-enhanced Initialization)

모델이 패치를 생성하기 전에 보안 전문가의 사고 과정을 모방하도록 초기화합니다.

1. 지식 증류 (Knowledge Distillation): 전문가 LLM (Teacher) 을 사용하여 "취약점 분류 -> 근본 원인 분석 -> 수정 계획 수립"의 구조화된 추론 체인 (Reasoning Chain) 을 생성합니다.
2. 거부 샘플링 (Rejection Sampling): 생성된 추론과 패치의 품질을 검증하기 위해 문법적 필터링과 의미론적 유사도 (CodeBLEU) 기반 필터링을 적용하여 고품질 데이터셋을 구축합니다.
3. SFT: 이 고품질 데이터로 학생 모델 (Student Model) 을 지도 학습하여 '추론 후 수정 (Reason-then-Edit)' 패턴을 학습시킵니다.

B. 의미론적 인식 강화 학습 (Semantics-Aware RL)

SFT 이후, 모델의 성능을 정제하기 위해 GRPO (Group Relative Policy Optimization) 알고리즘을 적용합니다.

• 다중 그레인 보상 (Multi-grained Reward): 단순한 문자열 일치 (Lexical) 가 아닌, 다음 세 가지 차원의 유사도를 종합하여 보상을 계산합니다.
  1. 어휘적 (Lexical): BLEU 점수.
  2. 구문적 (Syntactic): 추상 구문 트리 (AST) 유사도.
  3. 의미론적 (Semantic): 제어 흐름 그래프 (CFG) 및 데이터 흐름 그래프 (DFG) 유사도. (효율성을 위해 WL Graph Kernel 사용)
• 이 보상 설계는 구문은 다르지만 의미가 동일한 다양한 패치를 생성하도록 모델을 유도합니다.

C. 난이도 기반 커리큘럼 학습 (Difficulty-based Curriculum Learning)

복잡한 Multi-hunk 수정 문제를 해결하기 위해 학습 난이도를 점진적으로 높이는 전략을 사용합니다.

• 단순화 단계: 먼저 단일 hunks(코드 영역) 수정부터 학습합니다.
• 점진적 확장: 모델이 로컬 수정을 마스터한 후, 점차적으로 hunks 수가 증가하는 복잡한 샘플 (3~5 개, 5 개 이상) 로 학습 범위를 확장합니다.
• 이를 통해 모델이 로컬 보안 수정과 글로벌 구조 동기화를 동시에 학습하는 과부하를 방지합니다.

3. 주요 기여 (Key Contributions)

1. SeCuRepair 프레임워크 개발: SFT 의 구문적 과적합을 극복하고 의미론적 동등성을 최적화하는 RL 기반 AVR 프레임워크를 제안했습니다.
2. 효율적인 탐색 전략: 전문가와 정렬된 추론 프로토콜과 난이도 기반 커리큘럼 학습을 결합하여 복잡한 Multi-hunk 수정 문제를 효과적으로 해결하는 방법을 제시했습니다.
3. 엄격한 평가 프로토콜 및 벤치마크: 데이터 누수를 방지하기 위해 저장소 수준 (Repository-level) 분할 전략을 도입하고, 이를 적용한 새로운 AVR 벤치마크 PrimeVulAVR을 구축했습니다.

4. 실험 결과 (Results)

BigVul 및 새로 구축한 PrimeVulAVR 데이터셋에서 실험을 수행한 결과, SeCuRepair 는 기존 최첨단 (SOTA) 모델들을 압도적으로 능가했습니다.

• 자동 평가 (CodeBLEU):
  • BigVul 에서 VulMaster 대비 37.21% 향상.
  • PrimeVulAVR 에서 GPT-4o 대비 33.58% 향상.
  • SFT-only 베이스 모델 대비도 약 20% 이상 향상되어 RL 단계의 유효성을 입증했습니다.
• 인간 평가:
  • 보안 전문가 4 명을 대상으로 한 블라인드 평가에서 SeCuRepair 는 **58.0%**의 "작동 가능한 패치 (Workable Drafts)" 비율을 기록하여 GPT-4o (50.0%) 와 VulMaster (20.0%) 를 능가했습니다.
  • 특히 구문은 다르지만 의미론적으로 동일한 패치를 생성하는 능력이 탁월함을 확인했습니다.
• 강건성 (Robustness): 변수 이름 변경과 같은 코드 교란 (Perturbation) 테스트에서 기존 모델 (VulMaster) 은 성능이 14.75% 급락한 반면, SeCuRepair 는 3.39% 만 감소하여 의미론적 이해도가 높음을 증명했습니다.
• 복잡한 수정 성능: hunks 수가 증가할수록 성능이 떨어지는 기존 모델들과 달리, SeCuRepair 는 Multi-hunk 수정에서도 일관된 우월성을 보였습니다.

5. 의의 및 결론 (Significance)

SeCuRepair 는 자동화된 취약점 수정 분야에서 표면적인 구문 모방을 넘어선 의미론적 이해의 중요성을 강조합니다.

• 기술적 의의: 실행 환경이 없는 대규모 데이터셋에서도 의미론적 보상을 통해 효과적으로 학습할 수 있는 RL 프레임워크를 제시했습니다.
• 실용적 의의: 개발자가 즉시 사용할 수 있는 고품질의 패치 초안을 제공하여 수동 수정의 부담을 줄이고 소프트웨어 보안 수준을 높이는 데 기여합니다.
• 평가의 엄격성: 기존 연구의 데이터 누수 문제를 지적하고, 저장소 수준 분할을 통한 더 신뢰할 수 있는 평가 기준을 제시했습니다.

결론적으로 SeCuRepair 는 추론, 의미론적 정렬, 커리큘럼 학습을 통합하여 복잡한 소프트웨어 취약점 수정 문제를 해결하는 새로운 패러다임을 제시한 연구입니다.