🤖 machine learning

TACTIC-KG: Toward Small Agent Teams for Cyber Threat Intelligence Knowledge Graph Construction

TACTIC-KG는 비정형 위협 보고서로부터 사이버 보안 지식 그래프를 구축하기 위해 작업을 경량 LLM을 위한 전문화된 역할로 분해함으로써, 거대 단일 모델보다 정확도, 안정성 및 효율성 측면에서 더 뛰어난 성능을 보이는 비용 효율적인 에이전트 프레임워크이다.

원저자: Mouhamed Amine Bouchiha, Gregory Blanc

게시일 2026-07-08

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Mouhamed Amine Bouchiha, Gregory Blanc

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 도시의 거대하고 상세한 지도를 만들려고 노력 중이라고 상상해 보세요. 하지만 설계도 대신, 서로 다른 사람들이 쓴 수천 개의 엉망진창인 손글씨 일기장만을 가지고 있습니다. 어떤 기록은 명확하고, 어떤 것은 휘갈겨 써져 있으며, 어떤 것은 모순적이거나 심지어 지어낸 이야기일 수도 있습니다. 이것이 바로 사이버 보안 전문가들이 사이버 위협 인텔리전스(CTI) 보고서를 지식 그래프(Knowledge Graphs)로 변환하려고 할 때 직면하는 상황입니다. 이 보고서들은 해커, 그들의 도구, 그리고 그들의 공격을 설명하지만, 이는 구조화되지 않은 무질서한 텍스트 형태로 존재합니다.

이 논문은 이 문제를 해결하기 위해 TACTIC-KG라고 불리는 새로운 시스템을 소개합니다. 다음은 쉬운 비유를 사용한 작동 방식입니다.

기존 방식: "천재적인" 솔로 아티스트

이전에는 연구자들이 하나의 거대하고 강력한 AI("모놀리식" 모델)가 엉망인 일기를 읽고, 이야기를 이해하고, 해커와 도구의 이름을 찾아내며, 그들이 어떻게 연결되는지 파악하고, 한 번에 지도를 그리도록 시도했습니다.

이것은 마치 한 명의 초천재 예술가를 고용하여 이 모든 일을 혼자서 하게 만드는 것과 같습니다.

문제점: 천재라도 지칠 때가 있습니다. 이야기가 너무 길거나 복잡해지면, 초천재는 환각(Hallucination) 현상을 일으키기 시작합니다. 존재하지 않는 두 사람 사이의 연결 고리를 만들어내거나, 너무 많은 일을 한꺼번에 처리하려다 핵심적인 세부 사항을 잊어버릴 수도 있습니다.
비용: 이 초천재를 고용하는 데는 엄청난 비용이 들며 속도 또한 느립니다.

새로운 방식: "전문화된 팀" (TACTIC-KG)

저자들은 이렇게 말합니다. "왜 과로하는 한 명의 천재에게 의존합니까? 대신 작고 전문화된 작업자들로 구성된 팀을 고용합시다."

TACTIC-KG는 이 업무를 네 가지의 뚜렷한 역할로 나누며, 각 역할은 더 작고 저렴하며 집중력이 높은 AI 에이전트가 담당합니다. 이들은 체인처럼 순차적으로 작업을 전달하며 협업합니다.

추출기 (The Extractor - 스캐빈저/청소부):
- 역할: 이 에이전트는 단순히 텍스트를 훑으며 원시 정보 조각들(예: "Pegasus", "iOS", "NSO Group")을 뽑아냅니다. 그것들이 무엇을 의미하는지는 아직 신경 쓰지 않습니다. 그저 눈에 보이는 사실들을 잡아낼 뿐입니다.
- 비유: 땅에서 반짝이는 물건들을 줍는 스캐빈저 새와 같습니다. 그것이 다이아몬드인지 유리 조각인지 판단하지 않고, 흥미로워 보이는 것은 일단 다 줍습니다.
타이퍼 (The Typer - 라벨러/분류가):
- 역할: 이 에이전트는 스캐빈저가 찾아낸 반짝이는 물건들을 가져와 적절한 상자에 넣습니다. "Pegasus"가 *멀웨어(Malware)*인가요? "NSO Group"은 *조직(Organization)*인가요?
- 비유: 스캐빈저가 가져온 책들을 받아 적절한 서가(소설, 역사, 과학 등)에 분류해 넣는 사서와 같습니다.
검증기 (The Verifier - 팩트 체크 전문가):
- 역할: 이것이 가장 중요한 새로운 단계입니다. 이 에이전트는 라벨링된 항목들을 보고 "원래 일기에 실제로 이렇게 적혀 있는가?"라고 묻습니다. 만약 스캐빈저나 라벨러가 텍스트에 근거하지 않은 추측을 했다면, 검증기는 그것을 버립니다.
- 비유: 뉴스 기사를 검토하는 엄격한 편집자와 같습니다. 만약 기자가 "용의자는 파리에 있었다"라고 주장했지만, 원문에는 "용의자는 유럽에 있었다"라고만 되어 있다면, 편집자는 그 구체적인 주장을 잘라냅니다. 이는 시스템이 허구의 내용을 만들어내는 것을 방지합니다.
큐레이터 (The Curator - 지도 제작자):
- 역할: 이 에이전트는 검증된 사실들을 가져와 최종적이고 깨끗한 지도로 연결합니다. 작은 오류들을 수정하고, 중복된 이름(예: "TrickBot"과 "Trick Bot")을 병합하며, 가짜 다리가 놓이지 않도록 지도가 논리적으로 타당한지 확인합니다.
- 비유: 최종 지도를 그리는 지도 제작자와 같습니다. 도로가 논리적으로 연결되도록 보장하고, 아무 곳도 연결되지 않는 가짜 다리를 제거합니다.

이 팀이 더 나은 이유

논문은 이 팀 방식이 "초천재"보다 우월한 세 가지 이유를 제시합니다.

적은 환각 현상: 검증기가 엄격한 문지기 역할을 하기 때문에, 팀은 실수로 가짜 연결 고리를 만들어내지 않습니다. "초천재"는 너무 도움이 되고 싶어 하는 나머지 빈칸을 추측으로 채우려 하지만, 이 팀은 텍스트가 명시적으로 뒷받받하는 경우에만 빈칸을 채웁니다.
더 나은 재현율 (더 많이 찾아냄): "스캐빈저"는 확신이 없더라도 보이는 것은 무엇이든 잡도록 허용됩니다. 그 후 "팩트 체크 전문가"가 좋은 것과 나쁜 것을 분류합니다. 이는 과부하가 걸려 세부 사항을 건너뛰기 쉬운 단일 모델보다 더 많은 실제 위협을 놓치지 않게 해줍니다.
더 저렴하고 빠름: 하나의 거대하고 비싼 컴퓨터 뇌를 사용하는 대신, 팀은 여러 개의 작고 가벼운 뇌(30억에서 80억 개의 파라미터)를 사용합니다. 이는 고액 연봉을 받는 느린 경영진 한 명 대신 효율적인 인턴 팀을 사용하는 것과 같습니다.

결과

저자들이 실제 사이버 보안 보고서를 대상으로 이 시스템을 테스트했을 때 다음과 같은 결과를 얻었습니다:

팀 단위의 작은 에이전지들이 거대한 단일 모델보다 위협을 찾고 라벨링하는 데 있어 더 정확했습니다.
그들이 구축한 지도(지식 그래프)는 더 일관적이었으며 가짜 연결 고리가 더 적었습니다.
이들은 훨씬 더 작고 저렴한 컴퓨터 모델을 사용하여 이러한 성과를 달enc했습니다.

요약하자면, TACTIC-KG는 복잡한 작업인 사이버 위협 매핑에 있어서, 잘 조직된 전문가 팀이 과로하는 슈퍼스타 한 명보다 더 낫다는 것을 증명합니다.

기술 요약: TACTIC-KG

문제 정의

사이버 위협 인텔리전스(CTI) 보고서로부터 사이버 보안 지식 그래프(CSKG)를 구축하는 것은 소스 텍스트의 비정형성, 이질성 및 노이즈로 인해 상당한 어려움에 직면해 있습니다. 대규모 언어 모델(LLM)을 활용하여 이 추출 과정을 자동화하려는 시도가 있었으나, 단일 대형 모델에 의존하는 모놀리식(monolithic) 접근 방식은 높은 배포 비용, 제한된 제어 가능성, 불안정한 성능이라는 문제를 겪고 있습니다. 구체적으로, 이러한 시스템은 다음과 같은 문제에 취약합니다:

환각(Hallucination) 및 충실도(Faithfulness): 근거가 없는 트리플(예: 명시적으로 언급되지 않은 공격자의 역할이나 시간적 연결 고리를 추론함)을 생성함.
과잉 완성(Over-Completion): 증거가 불완전하거나 단절되어 있음에도 불구하고, 완전한 공격 체인을 만들기 위해 인위적으로 그래프 연결성을 강제함.
컨텍스트 크기 트레이드오프(Context-Size Trade-offs): 넓은 컨텍스트 창은 경량 모델의 주의력(attention)을 분산시켜 정보 누락을 초래할 수 있고, 좁은 창은 생략 오류를 유발함.

기존의 최첨단 시스템(예: CTINEXUS)은 거대 모델(예: 671B 파라미터)을 사용하는 인컨텍스트 러닝(ICL)이나 복잡한 검색 증강 생성(RAG) 파이프라인에 의존하는 경우가 많으며, 이는 취약하고 비용이 많이 들며 검색 품질에 민감할 수 있습니다.

방법론: TACTIC-KG 프레임워크

본 논문은 CSKG 구축을 통제된 다단계 추론 과정으로 재정의하는 에이전트 기반 프레임워크인 TACTIC-KG를 소개합니다. 단일 모놀리식 추론 작업 대신, 이 프레임워크는 저차원 적응(LoRA)을 사용하여 워크플로우를 특화된 경량 LLM 에이전트(3B–8B 파라미터)로 분해합니다. 핵심 설계 원칙은 **"연결성보다 충실성(faithfulness before connectivity)"**입니다.

워크플로 아키텍처

파이프라인은 다음 단계들을 통해 원시 CTI 보고서를 처리합니다:

의미론적 청킹(Semantic Chunking): 긴 보고서를 문장 또는 담화 경계에서 제어된 중첩(overlap)과 함께 분할하여, 국소적인 의미적 일관성을 보존하고 컨텍스트 희석을 방지합니다.
추출 에이전트(Extractor Agent): 텍스트 청크에 엄격하게 근거하여 후보 트리플 $(h, r, t)$ 를 생성합니다. 이 단계에서는 유형 지정(typing)이나 전역적 추론을 수행하지 않음으로써 조기 추상화를 방지합니다.
타이퍼 에이전트(Typer Agent): 국소적 컨텍스트와 관계 의미론을 바탕으로 엔티티에 온톨로지 준수 의미 유형(예: MALOnt, STIX 2.1)을 할당합니다. 온톨로지 드리프트(drift)를 방지하기 위해 폐쇄된 레이블 공간 내에서 작동합니다.
검증 에이전트(Verifier Agent): 필터링 단계로서, 타입이 지정된 트리플이 명시적 또는 암묵적 텍스트 증거에 의해 지지됨(SUPPORTED) 또는 *지지되지 않음(NOT_SUPPORTED)*을 판단하는 이진 분류를 수행합니다. 이는 폐쇄 세계 가정(closed-world assumption)을 적용하여, 그럴듯하지만 명시되지 않은 관계를 거부합니다.
큐레이터 에이전트(Curator Agent): 중복 제거, 엔티티 정규화(별칭 해결), 최소한의 구조적 수리를 포함한 최종 정제 작업을 수행합니다. 논리적으로 필요하고 증거에 의해 뒷받침되는 경우에만 새로운 엣지를 도입하며, 환각에 대한 구조적 방화벽 역할을 합니다.

기술적 구현

모델 특화(Model Specialization): 이 프레임워크는 LoRA로 미세 조정된 경량 모델(예: Ministral-3B, Ministral-8B, Qwen3-8B)을 활용합니다. 이를 통해 모듈식의 에이전트별 어댑터를 사용할 수 있어 GPU 메모리 점유율을 줄이고 독립적인 업그레이드를 가능하게 합니다.
학습 전략:
- *추출기(Extractors)*는 엄격한 JSON 출력 형식을 갖춘 청크된 보고서로 학습됩니다.
- *타이퍼(Typers)*는 프롬프트에 임베딩된 폐쇄된 레이블 공간 하에서 학습됩니다.
- *검증기(Verifiers)*는 지원되는 관계와 지원되지 않는 관계를 구분하기 위해 주석이 달린 코퍼스 상에서 트리플 수준의 이진 분류기로 학습됩니다.
- *큐레이터(Curators)*는 지원되지 않는 엣지를 환각하지 않으면서 그래프 구성 요소를 연결하기 위한 최소한의 브릿징 트리플 세트를 예측하도록 학습됩니다.

주요 기여

에이전트 기반 분해(Agentic Decomposition): 추출, 타이핑, 검증, 큐레이션이 특화된 에이전트에 의해 처리되도록 하여, 단일 모놀리식 생성에서 다중 에이전트 시스템으로의 전환을 제안합니다. 이는 작업 엔트로피를 줄이고 환각 위험을 국지화합니다.
충실성 강제(Faithfulness Enforcement): 생성과 검증을 명시적으로 분리하고 트리플 수준에서 폐쇄 세계 가정을 강제함으로써, 환각된 관계와 과잉 완성을 크게 줄입니다.
비용 효율적 성능(Cost-Efficient Performance): 경량 모델(3B–8B)을 LoRA를 통해 특화하고 다중 에이전트 파이프라인에서 오케스트레이션할 때, 훨씬 더 큰 모놀리식 모델(예: DeepSeek-V3.1 671B)의 추출 품질과 그래프 일관성을 능가하거나 대등할 수 있음을 입증합니다.
온톨로지 그라운딩(Ontology Grounding): 시스템은 온톨로지 제약 조건(MALOnt)을 타이핑 및 검증 단계에 직접 통합하여, 결과 그래프가 구조적으로 일관되고 실행 가능하도록 보장합니다.

실험 결과

프레임스크레임은 다양한 대형 모델(DeepSeek-V3.1, Kimi-K2, Devstral-2)을 포함한 CTINEXUS를 포함하여, 인간이 주석을 단 CTI 보고서(CTI-HAL 및 CTINEXUS 벤치마크)를 대상으로 평가되었습니다.

추출 품질: TACTIC-KG는 모놀리식 베이스라인에 비해 더 높은 F1 점수와 현저히 개선된 재현율(recall)을 달면했습니다. 예를 들어, TEST2에서 Ministral-3-8B 변체는 F1 78, 그래프 유사도 63을 달성하여 DeepSeek-V3.1(F1: 66, 그래프: 52)을 능가했습니다.
재현율 대 정밀도(Recall vs. Precision): 에이전트 특화는 정밀도-재현율 트레이드오프에 대한 명시적인 제어를 가능하게 했습니다. 추출기는 높은 재현율(최대 90%)을 달성한 반면, 검증기와 큐레이터는 커버리지를 희생하지 않으면서 환각을 필터링하여 안정적인 정밀도를 유지했습니다.
타이핑 및 그라운딩: TACTIC-KG는 개별 에이전트의 인지 부하를 줄이고 온톨로지 인지 검증을 통해 우수한 타이핑 정확도(부분 타이핑 정확도 최대 72% vs. DeepSeek 69%)와 더 나은 의미론적 그라운딩을 보여주었습니다.
데이터 효율성: 프레임워크는 강력한 성능에 도달하기 위해 중간 정도의 학습 데이터(약 200개 청크)만을 필요로 했으며, 데이터의 양보다 다양성이 더 중요함을 입증했습니다.
하이브리드 설계: 검증 및 큐레이션을 위해 공유된 더 강력한 추론 모델을 사용하면서(추출은 특화된 상태 유지) 성능을 유지하는 것이 안정성과 일관성을 더욱 향상시킨다는 것을 실험을 통해 확인했습니다.

의의 및 주장

본 논문은 TACTIC-KG가 CSKG 구축을 위한 모놀리식 LLM 접근 방식에 대한 견고하고 비용 효율적인 대안을 제공한다고 주장합니다. 문제를 통제된 다중 에이전트 추론 과정으로 다룸으로써, 프레임워크는 다음과 같은 효과를 얻습니다:

환각 최소화: 명시적인 검증 및 큐레이션 단계가 지원되지 않는 사실의 전파를 방지합니다.
안정성 향상: 모듈형 에이전트는 대형 단일 패스 모델에서 흔히 나타나는 성능 변동성을 줄여줍니다.
배포 가능성: 경량 모델의 사용은 데이터 프라이버시로 인해 로컬 배포가 필요한 기업용 애플리케이션을 포함하여, 계산 자원이 제한된 조직에서도 시스템 구축을 가능하게 합니다.

저자들은 모든 시스템에서 완전한 타이핑 정확도를 달리는 여전히 과제로 남아 있지만, 작업을 특화된 에이전트로 분해하는 것이 실행 가능한 사이버 위협 인텔리전스 지식 그래프를 구축하는 데 있어 정확성, 안정성 및 비용 효율성의 우월한 균형을 제공한다고 결론짓습니다.