Enhancing Continual Learning for Software Vulnerability Prediction: Addressing Catastrophic Forgetting via Hybrid-Confidence-Aware Selective Replay for Temporal LLM Fine-Tuning

이 논문은 시간적 분포 변화를 고려한 소프트웨어 취약점 예측을 위해 하이브리드-신뢰도 인식 선택적 재생 (Hybrid-CASR) 기법을 제안하여, 파인튜닝 과정에서 발생하는 재학습 (catastrophic forgetting) 문제를 해결하면서도 정확도와 효율성을 동시에 개선함을 입증합니다.

핵심

이 논문은 **"소프트웨어의 치명적인 버그 **(취약점)에 대해 다룹니다.

마치 유능한 보안 요원이 시간이 지남에 따라 변하는 새로운 범죄 수법을 계속 배우면서, 과거에 배웠던 수법도 잊지 않고 기억해야 하는 상황이라고 상상해 보세요. 이 논문은 그 요원이 어떻게 해야 가장 효율적으로 일할 수 있는지 실험했습니다.

핵심 내용을 일상적인 비유로 설명해 드리겠습니다.

---

1. 문제: "배우면 잊어버리는" 보안 요원 (재앙적 망각)

소프트웨어는 계속 발전하고, 해커들의 공격 방식도 매일 바뀝니다.

• 기존 방식의 문제: 보안 요원 (AI 모델) 이 새로운 해킹 수법만 배우게 하면, 예전에 배웠던 구식 해킹 수법을 금방 잊어버립니다. 이를 **'재앙적 망각 **(Catastrophic Forgetting)이라고 합니다.
• 실제 상황: 과거의 데이터를 모두 다시 공부하면 (Cumulative Training) 잊어버릴 걱정은 없겠지만, 시간이 너무 오래 걸려서 실시간으로 대응하기 어렵습니다. 마치 매번 새로운 사건이 날 때마다 과거 10 년 치의 모든 수사 기록을 다시 처음부터 읽어야 하는 형사와 같습니다.

2. 해결책: "혼합형 신뢰도 기반 선택적 복습" (Hybrid-CASR)

저자들은 이 문제를 해결하기 위해 **'Hybrid-CASR'**이라는 새로운 방법을 제안했습니다. 이 방법은 마치 효율적인 시험 공부 전략과 같습니다.

• **신뢰도 기반 선택 **(Confidence-Aware) 모든 문제를 다 다시 풀지 않습니다. AI 가 "어? 이거 뭐지? 잘 모르겠는데?"라고 **혼란스러워하는 **(불확실한) 문제들만 골라 다시 공부합니다. 이미 잘 아는 문제는 건너뛰는 것이죠.
• **균형 잡기 **(Class Balancing) 보안 요원에게 중요한 건 '해킹된 코드'와 '안전한 코드'를 똑같이 잘 구분하는 것입니다. 하지만 데이터상 '안전한 코드'가 훨씬 많습니다. 그래서 AI 가 '안전한 코드'만 계속 보고 '해킹된 코드'를 잊어버리지 않도록, 두 가지 코드를 50:50 비율로 섞어서 복습시킵니다.

비유하자면:

"선생님이 학생 (AI) 에게 매일 새로운 수학 문제를 내줄 때, 학생이 정답을 잘 모르는 문제들만 골라서 다시 풀게 하고, **잘못 푼 유형 **(해킹)을 골고루 섞어서 복습하게 하는 것"입니다.

3. 실험 결과: 무엇이 가장 좋았을까?

연구진은 2018 년부터 2024 년까지의 데이터를 2 개월 단위로 나누어 실험했습니다.

• **시간 간격 **(Granularity) "한 달 단위로 공부할까, 3 개월 단위로 할까?"를 비교했는데, 결과는 비슷했습니다. 중요한 건 얼마나 자주 공부하느냐보다 어떻게 공부하느냐였습니다.
• 성능 비교:
  • **단순 복습 **(Window-only) 매번 새로운 데이터만 공부하면, 과거 지식을 잃어버려 성능이 떨어집니다.
  • **과거 전체 복습 **(Cumulative) 모든 데이터를 다시 공부하면 잊어버림은 없지만, 시간이 15 배 이상 걸려서 비효율적입니다.
  • **Hybrid-CASR **(제안된 방법) 가장 좋은 결과를 냈습니다. 과거 지식을 잊지 않으면서도 새로운 수법도 잘 배우고, 학습 시간도 줄여주었습니다.

4. 핵심 교훈: "완벽함보다 실용성"

이 연구는 우리에게 다음과 같은 교훈을 줍니다.

1. 완벽한 기억은 비효율적이다: 과거의 모든 데이터를 다시 공부하는 것은 시간과 비용만 낭비할 뿐, 성능은 크게 오르지 않습니다.
2. 선택이 중요하다: "무엇을 기억할지"를 잘 골라내는 것 (불확실한 부분과 균형 잡힌 데이터) 이 더 중요합니다.
3. 인간의 역할: AI 가 아무리 좋아도, 여전히 65~67% 정도의 정확도만 나옵니다. 즉, AI 는 보조 도구일 뿐, 최종 판단은 여전히 인간 전문가가 해야 합니다.

요약

이 논문은 "AI 가 시간이 지남에 따라 변하는 소프트웨어 취약점을 찾아낼 때, 모든 것을 다시 공부하는 게 아니라, 혼란스러운 부분과 균형 잡힌 데이터만 smart 하게 복습하는 것이 가장 빠르고 정확하다"는 것을 증명했습니다.

마치 바쁜 현대인이 모든 책을 다시 읽지 않고, 자신이 가장 헷갈리는 부분과 중요한 핵심만 골라 요약본으로 공부하는 것과 같은 원리입니다.

기술 요약

논문 개요 및 문제 정의

1. 연구 배경 및 문제점

• 소프트웨어 취약점 탐지의 현실: CVE(Common Vulnerabilities and Exposures) 데이터는 2018 년부터 2024 년까지 지속적으로 증가하고 있으며, 기존 정적 분석 도구는 높은 오탐율 (False Positive) 로 인해 실용성이 제한적입니다.
• LLM 기반 탐지의 한계: 최근 코드용 대규모 언어 모델 (LLM) 이 취약점 탐지에 적용되고 있으나, 대부분의 평가는 무작위 Train-Test 분할에 의존합니다. 이는 시간적 데이터 누출 (Temporal Data Leakage) 을 유발하여 실제 배포 환경에서의 성능을 과대평가합니다.
• 실제 배포 환경의 도전: 실제 시스템은 진화하는 코드베이스에서 작동하며, 시간에 따른 분포 변화 (Concept Drift) 가 발생합니다. 따라서 모델은 새로운 취약점 패턴을 학습하면서도 과거 지식을 잊지 않아야 합니다 (Catastrophic Forgetting 방지).
• 핵심 문제: 기존 연구들은 시간적 흐름을 고려한 지속적인 학습 (Continual Learning, CL) 전략과 LLM 의 상호작용을 충분히 탐구하지 못했습니다.

2. 연구 목표

• 시간적 분포 변화 하에서 LLM 기반 취약점 탐지기의 성능을 유지하고 향상시키기 위한 효과적인 지속적 학습 전략을 제안하고 평가하는 것.
• 특히, 재현 (Replay) 기반 방법론을 통해 '망각'을 방지하고 '플라스틱성 (새로운 학습 능력)'을 유지하는 방안을 모색.

---

방법론 (Methodology)

1. 실험 설정 및 데이터

• 모델: microsoft/phi-2 (27 억 파라미터, 디코더 전용) 를 베이스로 사용.
• 파라미터 효율적 미세 조정 (PEFT): LoRA (Low-Rank Adaptation) 를 적용하여 메모리 효율성을 확보하고 catastrophic forgetting 을 완화.
• 데이터셋: 2018 년~2024 년 CVE 기록과 CVEfixes 데이터베이스를 연동하여 구축.
  • 시간적 프로토콜: 데이터를 2 개월 단위 (Bi-monthly) 의 42 개 윈도우로 분할.
  • 평가 방식: 엄격한 Forward-chaining (과거 데이터로만 미래 윈도우 예측) 및 Lagged Backward Tests (과거 윈도우에 대한 성능 유지도 측정) 적용.
  • 데이터 전처리: CVE 공개일 (Disclosure Date) 을 기준으로 타임스탬프를 설정하여 미래 정보 누출 방지. 함수 단위 (Function-level) 인스턴스 생성 및 중복 제거.

2. 제안된 방법: Hybrid-CASR (Hybrid Class-Aware Selective Replay)

• 개념: 기존 Selective Replay(CASR) 의 불확실성 기반 샘플링에 클래스 균형 (Class Balancing) 을 결합한 새로운 전략.
• 동작 원리:
  1. 클래스 균형 확보: Replay 버퍼에서 취약점 (VULNERABLE) 과 수정된 (FIXED) 코드를 균등하게 샘플링하여 클래스 불균형 문제 해결.
  2. 불확실성 기반 선택: 각 클래스 내에서 모델의 예측 불확실성이 높은 (Confidence 가 낮은) 샘플을 우선적으로 선택하여 재학습.
  3. 혼합 전략: 버퍼의 70% 는 불확실성 기반 샘플로, 30% 는 균일 샘플로 채워 정보성과 클래스 대표성을 동시에 확보.

3. 비교 대상 전략

• Baseline: Window-only (과거 데이터 폐기), Cumulative (모든 과거 데이터 재학습).
• Replay 기반: Replay-1P(직전 윈도우), Replay-3P(직전 3 개 윈도우), CASR(불확실성 기반).
• 정규화 기반: LB-CL(클래스 가중 손실), OLoRA(직교성 제약).

---

주요 기여 (Key Contributions)

1. 시간적 평가 프로토콜 설계: CVE 기반 코드에 대한 배포 현실을 반영한 Forward-chaining 및 지연된 백워드 테스트 (IBR@1/3/5/6) 프로토콜을 정립.
2. 시간적 윈도우 세분화 분석: 월별, 2 개월, 분기, 반기, 연 단위 등 다양한 윈도우 크기 (Granularity) 를 분석하여, 윈도우 크기에 따른 성능 차이가 미미함을 발견 (Macro-F1 0.651~0.669).
3. Hybrid-CASR 제안: 클래스 불균형과 불확실성 샘플링을 결합한 새로운 Replay 메커니즘을 통해 기존 방법론보다 우수한 성능 달성.
4. 자원 - 성능 트레이드오프 분석: 다양한 CL 전략의 계산 비용 (시간, 메모리) 과 성능 간의 관계를 정량화하여 실용적인 배포 가이드라인 제시.

---

실험 결과 (Results)

1. 성능 비교 (Forward Evaluation)

• Hybrid-CASR이 평균 Macro-F1 0.667로 가장 높은 성능을 기록.
• Window-only Baseline (0.651) 대비 0.016 향상 (통계적 유의성 p=0.026).
• Cumulative Training(0.661) 은 성능이 비슷하지만 계산 비용이 15.9 배 더 많이 소요됨.

2. 지식 유지 (Backward Retention)

• Hybrid-CASR은 IBR@1(직전 윈도우 유지율) 에서 0.741을 기록하여, Window-only(0.713) 보다 우수한 망각 방지 능력을 보임.
• 반면, Cumulative Training 은 유지율이 0% 로 낮지 않으나 절대적인 점수 (0.661) 가 낮아, 과거 데이터를 무조건 모두 학습하는 것이 오히려 적응을 방해할 수 있음을 시사.

3. 계산 효율성

• Hybrid-CASR: 윈도우당 학습 시간 약 7.2 분 (Window-only 대비 1.2 배 빠름), F1/min 효율성 24% 향상.
• Cumulative Training: 윈도우당 138.2 분 소요로 실용적이지 않음.
• Hybrid-CASR 은 메모리 사용량이 Baseline 보다 약 47% 증가하지만, 성능 향상과 학습 시간 단축을 고려할 때 효율적인 트레이드오프를 제공.

4. 윈도우 크기 (Granularity) 영향

• 1 개월에서 12 개월까지 다양한 윈도우 크기에서 성능 차이가 미미함 (F1 0.651~0.669).
• 이는 윈도우 크기가 '어떤 취약점이 탐지되는지'에는 영향을 주지만, '전체 탐지 능력'에는 큰 영향을 미치지 않음을 의미.

---

의의 및 결론 (Significance & Conclusion)

1. 실용적 배포 가이드라인:

   • LLM 기반 취약점 탐지기는 완전한 자동화 도구라기보다 의사결정 지원 도구 (Decision-support tool) 로서 활용해야 함 (현재 성능 수준은 인간 검증이 필수).
   • 제한된 ML 자원을 가진 조직은 단순한 Window-only 미세 조정을, 더 많은 자원을 가진 조직은 Hybrid-CASR을 통해 효율적인 성능 향상을 꾀할 수 있음.

2. 이론적 통찰:

   • 선택적 재현 (Selective Replay) 의 중요성: 모든 과거 데이터를 학습하는 것보다, 불확실성이 높고 클래스가 균형 잡힌 중요한 샘플만 선별하여 재학습하는 것이 시간적 변화 (Drift) 하에서 더 효과적임.
   • 과도한 정규화의 위험: OLoRA(직교성 제약) 나 과도한 과거 데이터 보유 (Replay-3P) 는 오히려 새로운 패턴 학습을 방해할 수 있음.

3. 한계 및 향후 과제:

   • 단일 아키텍처 (phi-2) 와 특정 언어 (C/C++, Java) 에 집중됨.
   • 모델의 사전 학습 데이터에 평가 기간의 취약점이 포함되어 있을 가능성 (Temporal Contamination) 존재.
   • 향후 다양한 아키텍처, 적응형 윈도우 전략, 제로데이 (Zero-day) 시나리오 평가 프로토콜 개발 필요.

요약하자면, 이 논문은 시간적 분포 변화 하에서 LLM 기반 취약점 탐지기의 성능을 유지하기 위해 'Hybrid-CASR'이라는 효율적인 지속적 학습 전략을 제안하였으며, 이를 통해 망각을 줄이고 계산 비용을 절감하면서도 통계적으로 유의미한 성능 향상을 달성했음을 증명했습니다.