기술 요약: GRID – 보안 텍스트 지식 그래프 구축을 위한 지능 데이터의 그래프 표현

1. 문제 제기

본 논문은 보안 에이전트와 대규모 언어 모델 (LLM) 이 연결된 증거에 대한 추론을 지원하기 위해, 사이버 위협 정보 (CTI) 를 계산 가능하고 추적 가능한 지식 그래프 (KG) 로 구조화해야 할 시급한 필요성을 다룹니다. 비구조화된 CTI 문서 (블로그, 보고서) 는 공격 행동과 멀웨어 진화에 대한 풍부한 세부 정보를 포함하고 있지만, 기존 접근 방식은 다음과 같은 네 가지 주요 과제를 직면하고 있습니다:

1. 도메인 통합 부재: 범용 LLM 은 특히 모델 규모가 작을 때 보안 도메인 특화 지식이 부족하여, 고비용의 상용 API 에 의존할 수밖에 없습니다.
2. 데이터 부족: 엔드투엔드 훈련을 위한 CTI 텍스트와 해당 실제 지식 그래프 (ground-truth) 의 정렬된 쌍을 제공하는 고품질 공개 데이터셋이 부족합니다.
3. 고비용 보상 신호: 문서에서 그래프로의 엔드투엔드 추출은 개방형 생성 작업입니다. 강화 학습 (RL) 보상 설계를 어렵게 만들며, 매 훈련 단계마다 전체 그래프 출력을 LLM-심판 (LLM-as-a-judge) 을 통해 채점하는 것은 막대한 비용을 초래합니다.
4. 얕은 학습: LLM 은 CTI 서술 내의 엔티티 별칭, 계층 구조, 관계 제약에 대한 깊은 의미적 이해보다는 피상적인 어휘적 중첩에 의존하는 경향이 있습니다.

2. 방법론

저자들은 긴 형식의 텍스트로부터 보안 지식 그래프를 구축하기 위해 4B 파라미터 LLM(Qwen3-4B-Instruct-2507) 을 사용하는 엔드투엔드 프레임워크인 GRID(Intelligence Data 의 Graph Representation) 를 제안합니다. 이 프레임워크는 네 가지 핵심 구성 요소로 이루어져 있습니다:

A. 문서 - 그래프 정렬 자동 주석

대규모 수동 주석 없이 데이터 부족 문제를 해결하기 위해, GRID 는 2 단계 주석 및 수정 (annotate-and-revise) 루프를 도입합니다:

1. 추적 가능한 추출: LLM 이 엄격한 "텍스트 증명 가능 (text-provable)" 제약 하에 원시 CTI 문서에서 지식 그래프를 추출하며, 원문 텍스트 구간 (source text spans) 을 그대로 유지하는 증거 앵커를 보존합니다.
2. KG 조건부 수정: 추출된 그래프에 포착되지 않은 보안 내용을 제거하되, 비보안 맥락과 보호된 앵커는 유지하도록 LLM 이 원본 문서를 재작성합니다.
   이 과정을 통해 수정된 문서 $a'$ 가 그래프 $G'$ 와 명시적으로 정렬된 고품질 $(a', G')$ 쌍이 생성됩니다.

B. RL 훈련을 위한 태스크 뱅크 재구성

전체 그래프 생성에 직접 보상을 주는 대신, GRID 는 학습 목표를 스크립트화된 태스크 뱅크로 재구성하여 비용을 절감하고 보상을 안정화합니다:

• 다중 선택 질문: 정답이 올바른 옵션의 부분집합인 4 지 선다형 질문을 생성합니다. 오답 (distractors) 은 "거의 맞음 (near-miss)" 또는 "할루시네이션" 사례 (예: 올바른 엔티티이지만 잘못된 관계) 로 설계됩니다.
• 정규식 (Regex) 목표: 각 실제 그래프 간선을 3 중자 (triple) 수준 정규식 목표로 변환합니다.
• 보상 메커니즘: 선택형 작업의 경우 정확한 일치 (exact matches) 를, 정규식 작업의 경우 정규화된 일치 비율을 기반으로 보상을 계산합니다. 이는 비싼 전체 그래프 채점을 저렴하고 지역적인 태스크 수준 검사로 대체합니다.

C. 문서 복잡도 모델링

프레임워크는 길이, 엔티티/관계 수, 그래프 연결성 통계를 기반으로 각 문서에 스칼라 복잡도 점수를 할당합니다. 이를 통해 문서 복잡도 순서 훈련 (article-complexity-ordered training) 이 가능해져, RL 에이전트가 쉬운 예제에서 어려운 예제로 점진적으로 학습할 수 있습니다.

D. 온톨로지 유도 추론

GRID 는 STIX 에서 영감을 받았으나 실제 추출을 위해 정제된 CTI 특화 온톨로지를 사용하여 엔티티 유형 (예: threat-actor, malware, vulnerability) 과 관계 계열을 정의합니다. 이 온톨로지는 LLM 이 다음을 수행하도록 유도합니다:

• 유형화된 카테고리 및 계층 구조를 기반으로 암시적 관계를 추론합니다.
• 외부 완성 또는 주제 고정을 금지함으로써 텍스트 증명 가능한 진실을 강제합니다.
• 구조적 일관성을 보장하기 위해 별칭과 관계를 정규화합니다.

E. 평가 프로토콜

시스템은 자동 평가를 위한 LLM-심판 (LLM-as-judge) 평가자를 사용합니다. 심판은 "텍스트 증명 가능" 규칙에 기반하여 정밀도 (precision) 와 재현율 (recall) 을 채점하며, 모델이 예측된 모든 간선에 대해 지지 텍스트 증거를 인용해야 합니다. 이 평가자는 세 명의 인간 심사원과 교정되어 86.0% 의 일치율을 달성했습니다.

3. 주요 기여

1. 자동 데이터 파이프라인: 대규모 수동 주석 없이 추적 가능한 문서 - 그래프 정렬을 생성하는 새로운 알고리즘으로, 원시 CTI 문서로부터 지도 학습 데이터셋을 효과적으로 생성합니다.
2. 저비용 RL 전략: 개방형 그래프 추출을 다중 선택 질문과 정규식 매칭으로 재구성하는 "태스크 뱅크" 접근법으로, 온라인 LLM-심판 채점에 비해 RL 훈련의 계산 비용을 크게 절감합니다.
3. 온톨로지 유도 추출: 보안 특화 온톨로지를 통합하여 LLM 을 유도하는 프레임워크로, 폐쇄형 레이블 분류에 의존하지 않고도 의미 이해를 향상시키고 할루시네이션을 줄입니다.
4. 통합 벤치마크: GRID, CASIE, CTINexus, MalKG, SecureNLP 등 다섯 가지 출처의 249 개 CTI 문서로 구성된 벤치마크를 생성하고, 신뢰할 수 있는 자동 평가 프로토콜을 마련했습니다.

4. 실험 결과

저자들은 4B 파라미터 모델을 사용하여 통합 벤치마크에서 GRID 를 평가했습니다.

• 베이스라인 대비 성능: 주요 태스크 뱅크 보상 모델은 다음과 같은 결과를 달성했습니다:
  • 84.62% 소스 평균 정밀도.
  • 64.91% 소스 평균 재현율.
  • 68.53% 평균 F1.
  • 모든 베이스라인 중 최고의 재현율을 달성했으며, 가장 강력한 경쟁자 (CTINexus) 와 거의 동급인 최상위 F1 점수를 기록하면서도 약 40% 의 추론 토큰만 사용했습니다.
• 애블레이션 연구 (RQ2 및 RQ3):
  • 태스크 뱅크 보상 접근법은 온라인 LLM-심판 채점으로 훈련된 엔드투엔드 보상 모델보다 재현율 11.06 포인트, F1 10.47 포인트 더 우수했으며, 훈련 비용 ($60 대$942) 측면에서 훨씬 저렴했습니다.
  • 정규식 분기를 제거 (선택형만) 하면 재현율이 31 포인트 하락하여 3 중자 수준 매칭의 필요성을 입증했습니다.
  • 문서 재작성과 복잡도 순서 훈련 모두 최적 성능에 필수적인 것으로 나타났으며, 어느 하나를 제거하면 훈련 보상과 테스트 점수가 낮아졌습니다.

5. 중요성과 주장

본 논문은 GRID 가 오픈소스 소형 LLM 에 보안 도메인 지식을 부여하기 위한 저비용, 확장 가능한 솔루션을 제공한다고 주장합니다. 그 중요성은 다음과 같습니다:

• 비용 효율성: 감독 구성 (오프라인, 일회성 비용) 과 훈련 (재사용 가능한 태스크 뱅크) 을 분리함으로써, 전체 그래프 심사를 통한 온라인 RL 의 막대한 비용을 피합니다.
• 성능: 이 프레임워크를 통해 적절히 감독된 4B 모델이 재현율과 F1 에서 더 크거나 복잡한 파이프라인 (예: CTINexus) 을 능가하거나 동급으로 수행하면서도 더 효율적임을 입증했습니다.
• 신뢰성: 프레임워크는 "텍스트 증명 가능" 추출과 평가를 강조하여, 생성된 지식 그래프가 외부 지식에서 할루시네이션된 것이 아니라 소스 텍스트에 기반함을 보장합니다.

저자들은 그들의 접근 방식이 비구조화된 보안 텍스트와 구조화된 지식 그래프 간의 간극을 성공적으로 연결하여, 보안 에이전트와 위협 정보 시스템을 위한 실용적인 파이프라인을 제공한다고 결론지었습니다.