Tug-of-War within A Decade: Conflict Resolution in Vulnerability Analysis via Teacher-Guided Retrieval-Augmented Generations

1. 연구 배경 및 문제 정의 (Problem)

• 지식 충돌 (Knowledge Conflict): 사이버 보안 분야에서 취약점 (CVE) 정보는 수시로 업데이트되거나 수정됩니다. 그러나 대규모 언어 모델 (LLM) 은 훈련 데이터의 '지식 컷오프 (Knowledge Cutoff)' 날짜 이후의 정보를 알지 못하거나, 내부에 저장된 오래된 지식과 외부에서 검색된 최신 정보 사이에서 지식 충돌이 발생합니다.
• 할루시네이션 및 오류: 이러한 충돌로 인해 LLM 은 사실과 다른 정보를 생성하거나 (할루시네이션), 최신 CVE 정보를 올바르게 식별하지 못해 사용자를 오도할 수 있습니다. 특히 CVE 번호가 유사한 경우, 기존 RAG(검색 증강 생성) 방식만으로는 정확한 문서를 검색하고 최신 정보를 우선시하는 데 한계가 있었습니다.
• 기존 방법의 한계: 단순한 파인튜닝은 실시간 업데이트가 어렵고 비용이 많이 들며, 기존 RAG 는 검색 정확도가 낮아 관련 없는 문서를 가져오거나 최신 정보를 반영하지 못하는 문제가 있었습니다.

2. 제안된 방법론: CRVA-TGRAG (Methodology)

저자들은 CRVA-TGRAG (Teacher-Guided Retrieval-Augmented Generation) 라는 2 단계 프레임워크를 제안하여 지식 충돌을 해결합니다.

단계 0: 데이터 전처리 (Data Pre-processing)

• 공식 데이터 소스 활용: NVD(National Vulnerability Database) API 와 공식 GitHub 리포지토리를 통해 CVE 데이터를 수집합니다.
• 변경 사항 라벨링: 각 CVE ID 에 대해 '수정 전 (Old Value)'과 '수정 후 (New Value)' 정보를 비교하여 JSON 형식으로 변환하고, 변경된 세부 사항을 명시적으로 라벨링합니다. 이는 지식 충돌의 원천 데이터를 정제하는 과정입니다.

1 단계: 검색 및 증강 (Retrieval and Augmentation)

• Parent Document Segmentation (부모 문서 분할): 긴 CVE 문서를 단순하게 자르는 것이 아니라, 의미론적 유사성 (Semantic Similarity) 을 기반으로 문서를 분할합니다. 동일한 CVE ID 에 관련된 정보는 하나의 청크 (Chunk) 에 포함되도록 하여 문맥을 유지합니다.
• Ensemble Retrieval (앙상블 검색):
  • BM25(역색인) 과 벡터 검색 (Semantic Similarity) 을 결합한 하이브리드 검색 방식을 사용합니다.
  • CVE 번호가 유사한 문서들을 구별하기 위해 검색 가중치를 조정 (Vector: 0.25, Semantic: 0.75) 하여 관련성 높은 문서를 정확히 찾아냅니다.

2 단계: 생성 및 최적화 (Generation & Optimization)

• Teacher-Guided Preference Optimization (교수자 안내 선호도 최적화):
  • 검색된 최신 CVE 정보 (New Value) 를 '정답 (Winning)'으로, 오래된 정보 (Old Value) 를 '오답 (Losing)'으로 간주하여 DPO(Direct Preference Optimization) 기법을 적용합니다.
  • LLM 이 최신 정보를 선호하도록 미세 조정 (Fine-tuning) 하여, 검색된 컨텍스트가 최신 정보일 때 이를 신뢰하고 생성하도록 유도합니다. 이는 '교수자가 학생에게 최신 교재를 가르치는 것'과 같은 비유에서 착안되었습니다.

3. 주요 기여 (Key Contributions)

1. 지식 충돌 데이터셋 구축: 지난 10 년간 수정된 1,260 개의 CVE 쌍 (변경 전/후) 으로 구성된 최초의 취약점 분석용 지식 충돌 데이터셋을 공개했습니다.
2. CRVA-TGRAG 프레임워크 제안:
   • 검색 정확도 향상: 의미론적 분할과 앙상블 검색을 통해 유사 CVE 번호 간의 혼란을 줄였습니다.
   • 생성 품질 향상: DPO 기반의 선호도 미세 조정을 통해 LLM 이 최신 정보를 우선시하도록 학습시켰습니다.
3. 다차원 평가 지표 개발: 단순한 정확도뿐만 아니라 Faithfulness(신뢰성), Context Precision(문맥 정밀도), Answer Correctness(정답률) 등을 포함한 종합적인 평가 체계를 마련했습니다.

4. 실험 결과 (Results)

• 성능 향상: 베이스라인 (기존 RAG 또는 프롬프트만 사용) 대비 정답률 (Answer Correctness) 은 27% (0.49 → 0.76), 신뢰성 (Faithfulness) 은 52% (0.36 → 0.88) 크게 향상되었습니다.
• Ablation Study:
  • RAG 만 사용하거나 DPO 만 사용하는 것보다, 두 단계를 모두 결합한 CRVA-TGRAG 가 모든 평가 지표에서 가장 우수한 성능을 보였습니다.
  • 특히 Naive RAG(기존 방식) 에 비해 검색된 문맥의 정밀도 (Context Precision) 와 회수율 (Context Recall) 이 크게 개선되었습니다.
• 모델 비교: GPT-4o-mini, Llama3, Mistral 등 다양한 오픈소스 및 폐쇄형 LLM 에서 적용 시 일관된 성능 향상을 보였습니다.

5. 의의 및 결론 (Significance)

• 실용적 가치: 이 프레임워크는 LLM 이 사이버 보안 분야에서 빠르게 변화하는 CVE 정보를 다룰 때 발생하는 할루시네이션과 지식 불일치 문제를 효과적으로 해결합니다.
• 연구 방향 제시: 단순한 검색 증강을 넘어, 선호도 기반 미세 조정 (Preference Fine-tuning) 을 통해 LLM 이 최신 외부 지식을 내재화하도록 유도하는 새로운 패러다임을 제시했습니다.
• 향후 전망: 온라인 검색 (Agentic RAG) 과 결합할 경우 더 높은 정확도를 기대할 수 있으나, 현재 제안된 프레임워크만으로도 공식 데이터 소스를 기반으로 한 신뢰할 수 있는 취약점 분석이 가능함을 입증했습니다.

요약하자면, 이 논문은 LLM 의 지식 한계를 극복하기 위해 정제된 데이터 기반의 정밀 검색 (Stage I) 과 최신 정보를 선호하도록 학습된 생성 모델 (Stage II) 을 결합한 혁신적인 아키텍처를 제시하며, 사이버 보안 취약점 분석의 정확성과 신뢰성을 획기적으로 높였습니다.