Automatic Simplification of Common Vulnerabilities and Exposures Descriptions

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 사이버 보안은 개인과 조직에게 점점 더 중요해지고 있으나, 관련 기술 문서 (특히 CVE(Common Vulnerabilities and Exposures) 설명) 는 전문 용어가 많아 비전문가나 의사결정자가 이해하기 어렵습니다.
• 문제: 사이버 보안 분야의 자동 텍스트 단순화 (ATS, Automatic Text Simplification) 연구는 의료나 과학 분야에 비해 거의 이루어지지 않았습니다. 기존 LLM(대규모 언어 모델) 을 활용한 단순화는 텍스트를 간결하게 만들 수는 있지만, 의미 보존 (Meaning Preservation) 측면에서 실패하거나 중요한 사실을 왜곡할 위험이 있습니다.
• 위험: 단순화 과정에서 핵심 정보가 누락되거나 오해의 소지가 생길 경우, 조직의 신뢰도 하락과 책임 소재의 모호함 (Responsibility Gap) 을 초래할 수 있습니다.

2. 연구 방법론 (Methodology)

2.1 데이터셋 구축

• 소스: 2025 년에 발표된 CVE 리스트 V5 에서 무작위로 100 개의 CVE 설명을 추출했습니다.
• 전처리: 로그 조각 등 자연어 텍스트가 아닌 부분을 제거하여 40 개를 인간 평가용 테스트셋으로, 나머지 60 개는 모델 개발용 평가셋으로 사용했습니다.
• 데이터 생성:
  • 초기 단순화: Azure OpenAI API 를 통해 GPT-4o 모델을 사용하여 문장 단위 (Sentence-level) 로 초기 단순화를 수행했습니다.
  • 반복 평가: 1 차 인간 평가 후, 피드백을 반영하여 GPT-4o 를 통해 2 차 단순화를 수행했습니다.
  • 준-합성 데이터 (Semi-synthetic): 도메인 전문가의 피드백을 기반으로 여러 번 수정된 고품질 단순화 텍스트를 '준-합성 데이터'로 구축하여 기준 (Reference) 으로 활용했습니다.

2.2 모델 및 시스템 아키텍처

상용 LLM 의 투명성 부족을 보완하기 위해 오픈 소스 모델을 기반으로 한 **에이전트 시스템 (GemmaAgent)**을 개발했습니다.

• 기반 모델: Gemma 3 (4B 파라미터) 를 단일 GPU 에서 실행 가능하도록 선택.
• 아키텍처 (3 단계 파이프라인):
  1. 용어 추출 에이전트 (Term Extraction): AITSecNER 모델을 사용하여 CVE 텍스트에서 'CON(조건)', 'MALWARE(악성코드)', 'TACTIC(전술)', 'TECHNIQUE(기법)', 'TOOL(도구)'로 레이블링된 핵심 용어를 추출합니다.
  2. 검색 증강 생성 에이전트 (RAG Agent): 추출된 용어를 사이버 보안 어휘 및 사전 데이터베이스와 매칭하여 용어에 대한 설명을 생성합니다.
  3. 단순화 에이전트 (Simplification Agent): 원본 CVE, 생성된 용어 설명, 그리고 단순화 지시를 입력받아 최종 텍스트를 생성합니다.

2.3 평가 지표 (Evaluation Metrics)

• 자동 평가 지표:
  • D-SARI: 문서 수준의 단순화 품질 평가 (참조 텍스트 기반).
  • BERTScore, MeaningBERT, Semantic Similarity: 의미 보존 정도 측정.
  • FKGL (Flesch-Kincaid Grade Level): 텍스트 난이도 (문장 길이, 음절 수 등 기반).
  • 기타: 단어 수, 문장 수, 명사 개수 (Named Entities) 분석.
• 인간 평가: 사이버 보안 전문가 22 명 (1 차 12 명, 2 차 10 명) 을 대상으로 3 점 리커트 척도 (동의/중립/반대) 를 사용하여 이해 용이성과 의미 보존을 평가했습니다.

3. 주요 결과 (Results)

3.1 자동 평가 지표 결과

• D-SARI (단순화 품질): 모든 모델의 점수가 낮았으나, Gemma3:4b가 0.14 로 가장 높았습니다. (참조 텍스트의 부재로 인한 점수 저하 가능성 언급).
• 의미 보존 (Meaning Preservation):
  • GemmaAgent와 **준-합성 데이터 (Semi-synthetic)**가 BERTScore 와 MeaningBERT 점수에서 가장 우수했습니다.
  • 특히 **RAG(검색 증강 생성)**를 도입한 GemmaAgent 가 의미 보존에 가장 효과적이었으며, 이는 용어 설명을 제공함으로써 정확도를 높였음을 시사합니다.
  • 반면, GPT-4o 와 Gemma3:4b 는 의미 보존 점수가 상대적으로 낮았습니다.
• 텍스트 복잡도 (FKGL 및 길이):
  • GPT-4o만 원본보다 FKGL 점수를 낮추어 (12.45 → 9.49) 텍스트를 실제로 단순화했습니다. 이는 문장 수를 늘리고 단어당 음절 수를 줄인 결과입니다.
  • GemmaAgent는 의미 보존은 좋았으나, 용어 설명을 추가하면서 텍스트 길이가 길어지고 FKGL 점수가 오히려 높아졌습니다 (14.20).
  • Gemma3:4b는 텍스트 길이를 줄였으나 (문장 수 감소), FKGL 점수는 오히려 상승했습니다.

3.2 인간 평가 결과

• 40 개의 CVE 중 1 차 평가에서 수정 없이 2 차 평가로 넘어간 것은 **5 개 (12.5%)**에 불과했습니다.
• 인간 평가자들은 의미 보존과 이해 용이성 사이에서 가장 큰 불일치를 보였습니다.
• GPT-4o 는 특정 프롬프트 (예: "악성 파일 열기"와 같은 공격 시나리오) 에서 안전 장치 (Guardrails) 로 인해 답변을 거부하는 문제가 발생했습니다.

4. 주요 기여 및 논의 (Key Contributions & Discussion)

1. 사이버 보안 ATS 기준 마련: 사이버 보안 도메인 전용의 자동 텍스트 단순화를 위한 첫 번째 베이스라인과 평가 데이터셋 (40 개 CVE) 을 구축했습니다.
2. RAG 기반 에이전트 시스템의 효과: 단순한 LLM 프롬프팅보다 용어 추출 + RAG + 단순화 에이전트 구조가 의미 보존 측면에서 훨씬 우수함을 입증했습니다.
3. 상충 관계 (Trade-off) 발견:
   • GPT-4o: 텍스트 난이도 (FKGL) 를 낮추는 데는 효과적이지만, 의미 보존과 사실성 (예: 버전 번호 4.3000000025 를 4.3 으로 잘못 반올림) 에서 오류가 발생했습니다.
   • GemmaAgent: 의미 보존은 완벽했으나, 설명을 추가하다 보니 텍스트가 길어져 난이도 지표가 개선되지 않았습니다.
4. 책임과 윤리: 단순화 과정에서 중요한 정보가 누락될 경우 발생할 수 있는 책임 문제를 제기하며, 인간 감독 (Human-in-the-loop) 과 투명성의 중요성을 강조했습니다.

5. 결론 및 의의 (Conclusion & Significance)

• 결론: 현재 오프더셸 (Out-of-the-box) LLM 은 텍스트를 단순해 보이게 만들 수 있으나, 사이버 보안과 같은 고도 전문 분야에서는 의미 보존이 여전히 큰 과제로 남아있습니다. 자동 평가 지표 (D-SARI 등) 는 인간의 이해도와 일관되지 않을 수 있습니다.
• 의의:
  • 비전문가가 사이버 보안 위협을 이해할 수 있도록 돕는 AI 보조 도구의 가능성을 제시했습니다.
  • 단순화 시 **대상 독자 (Audience)**의 수준을 고려해야 하며, 단순화를 위해 원본을 복잡하게 작성해서는 안 된다는 윤리적 제언을 포함했습니다.
  • 향후 연구 방향으로는 더 큰 사이버 보안 데이터베이스를 활용한 RAG 모델 개선과, 비전문가를 대상으로 한 인간 평가의 필요성을 강조했습니다.

이 연구는 사이버 보안 정보의 민주화를 위해 AI 를 활용할 때, **정확성 (Factuality)**과 이해 용이성 (Accessibility) 사이의 균형을 찾는 것이 핵심임을 시사합니다.