💻 computer science

Evaluating Retrieval-Augmented Generation for Explainable Malware Analysis

본 논문은 검색 증강 생성 (RAG) 이 노이즈와 관련 없는 맥락을 도입하여 맬웨어 설명의 품질을 저하시킨다는 것을 실증적으로 입증하며, 구조화된 증거가 이미 존재할 때 맬웨어 분석은 지식 검색 문제보다는 신호 추출 작업으로 다루는 것이 더 적합함을 시사합니다.

원저자: Jayson Ng, Amin Milani Fard

게시일 2026-05-06

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jayson Ng, Amin Milani Fard

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

마치 탐정이 미스터리를 해결하려는 상황을 상상해 보세요: 왜 이 컴퓨터 파일이 범죄자처럼 행동하고 있을까요?

사이버 보안 세계에서는 분석가들이 VirusTotal이라는 방대한 데이터베이스를 사용합니다. 이 데이터베이스를 초정밀 경찰 보고서라고 생각하세요. 이 보고서는 파일이 정확히 무엇을 했는지 나열합니다. "문을 열었다", "파일을 복사했다", "의심스러운 전화번호로 전화를 걸었다"는 식입니다. 모든 것이 명확하고 구조화된 사실로 기록되어 있습니다.

최근 보안 전문가들은 AI 탐정(대형 언어 모델, 또는 LLM)을 활용하여 이러한 경찰 보고서를 읽고, 왜 파일이 나쁜지 설명하는 명확한 이야기를 작성하도록 했습니다.

큰 질문: AI 를 위해 "도서관"이 필요할까요?

AI 에서는 RAG(검색 증강 생성)라는 인기 있는 개념이 있습니다. 그 논리는 다음과 같습니다. "우리 AI 탐정이 이야기를 쓴다면, 먼저 읽을 추가 책들로 구성된 도서관을 제공해 봅시다. 아마도 '문을 여는 것'이 다른 범죄 이야기에서 보통 무엇을 의미하는지 찾아보아야 더 나은 설명을 작성할 수 있을 것입니다."

이 논문의 저자들은 경찰 보고서 (VirusTotal) 가 이미 완벽하고 완전할 때, 이 "도서관"이 실제로 도움이 되는지 테스트하기로 결정했습니다.

실험: 도서관이 있는 탐정과 없는 탐정

연구진은 두 그룹의 AI 탐정으로 테스트를 구성했습니다:

A 그룹: VirusTotal 보고서를 읽고 설명을 작성했습니다.
B 그룹: VirusTotal 보고서를 읽은 후, 추가로 AI 가 "도서관"에 가서 악성코드에 관한 추가 책들을 가져와서 그 이야기들을 설명에 섞어 보려고 했습니다.

그들은 AI 의 이야기가 완벽한 설명의 "황금 표준"과 얼마나 잘 일치하는지 확인하기 위해 (BERTScore 라고 불리는) 점수 체계를 사용했습니다.

놀라운 결과: 도서관이 상황을 더 나쁘게 만들었습니다

이 논문은 추가 도서관 책들을 더하는 것이 실제로 AI 의 설명을 더 나쁘게 만들었다는 사실을 발견했습니다.

다음은 비유입니다:
자동차 사고를 판사에게 설명하려고 한다고 상상해 보세요. 속도, 스키드 자국, 날씨 등이 포함된 공식 경찰 보고서가 있습니다.

도서관 없이: AI 는 보고서를 보고 "자동차가 과속하다가 나무에 충돌했다"고 말합니다. (명확하고 정확함)
도서관과 함께: AI 는 도서관으로 가서 "나무가 어떻게 자라는가"에 관한 책과 "속도 제한의 역사"에 관한 다른 책을 찾습니다. 그리고 이러한 내용들을 이야기에 섞으려 합니다. 갑자기 설명은 이렇습니다. "자동차가 과속했고, 나무는 보통 천천히 자라지만, 이 나무는 빠른 자동차에 부딪혔습니다. 이는 1990 년대 속도 제한 논쟁을 상기시킵니다..."

추가 정보는 도움이 되지 않았습니다. 오히려 AI 를 산만하게 만들었습니다. "노이즈"를 추가하여 이야기를 혼란스럽거나 일반화시켰습니다.

왜 이런 일이 발생했을까요?

저자들은 악성코드를 분석하는 것은 새로운 에세이를 쓰는 것이 아니라 건초더미에서 바늘 찾기와 같다고 설명합니다.

VirusTotal 보고서에는 이미 모든 "바늘"(구체적인 나쁜 행동) 이 들어 있습니다.
AI 의 역할은 단지 그 바늘들을 추출하고 그 의미를 설명하는 것입니다.
AI 에게 추가 책들 (RAG) 을 읽도록 강요하면, 바늘 대신 "건초"(관련성이 없거나 약하게 연관된 정보) 를 보게 됩니다. 이는 이 특정 파일에 관한 것은 아니지만 관련 있어 들리는 이야기들에 혼란을 겪게 만듭니다.

보안 팀을 위한 교훈

이 논문은 이 특정 작업 (완전한 보고서를 기반으로 악성코드를 설명하는 것) 에 대해서는 적은 것이 더 많다고 결론 내립니다.

과도하게 복잡하게 만들지 마세요: 이미 모든 사실이 있다면, AI 에게 추가 정보를 찾아보게 하지 마세요. 그렇게 하면 AI 가 환각을 보거나 산만해질 뿐입니다.
신호 대 노이즈: 이 작업은 데이터에서 명확한 신호를 끌어내는 것이지, 도서관에서 새로운 지식을 종합하는 것이 아닙니다.
더 나은 도구: "도서관" 접근법 대신 보안 도구는 AI 가 기존 보고서를 더 주의 깊게 읽도록 하는 데 초점을 맞춰야 합니다. 예를 들어 사실을 더 잘 조직화하거나 관련 없는 산만함을 무시하는 방식입니다.

요약하자면: 증거가 이미 눈앞에 있을 때, AI 를 도서관으로 보내는 것은 오히려 AI 가 무엇을 찾아야 했는지 잊게 만들 뿐입니다.

기술 요약: 설명 가능한 멀웨어 분석을 위한 검색 증강 생성 (RAG) 평가

문제 제기

대규모 언어 모델 (LLM) 이 저수준 멀웨어 지표 (예: API 호출, 레지스트리 편집) 를 자연어 설명으로 변환하는 데 점점 더 많이 활용되고 있지만, 이 특정 분야에서 검색 증강 생성 (RAG) 의 효과는 아직 검증되지 않았습니다. RAG 를 통해 외부 보안 지식을 주입하면 설명의 질이 향상된다는 것이 일반적인 가정입니다. 그러나 멀웨어 분석은 종종 VirusTotal 보고서와 같은 구조화된 증거에 의존하며, 이러한 증거는 이미 충분한 맥락 데이터를 포함하고 있습니다. 저자들은 이러한 상황에서 무분별한 검색이 '서술적 잡음', 산만한 맥락, 또는 일반화된 작성물을 도입하여 모델이 중요한 신호를 추출하는 능력을 저하시킬 수 있으며, 이는 보안이 중요한 파이프라인에서 오해의 소지가 있는 설명으로 이어질 수 있다고 주장합니다.

방법론

본 연구는 구조화된 VirusTotal 보고서를 주요 입력으로 사용하여 RAG 유무에 따른 LLM 의 설명 가능성에 대한 실증적 평가를 수행했습니다.

데이터셋 및 아키텍처: 데이터셋은 API 호출 및 레지스트리 작업과 같은 구조화된 지표를 포함하는 MalGPT 코퍼스에서 가져온 1,702 개의 VirusTotal 보고서로 구성되었습니다. RAG 파이프라인은 오케스트레이션에 LlamaIndex 를, 벡터 저장소에 ChromaDB 를, LLM 게이트웨이로 OpenRouter 를 활용합니다. 임베딩은 all-MiniLM-L6-v2 와 OpenAI 의 text-embedding-3-large 를 사용하여 생성됩니다. 문서는 100 토큰의 오버랩을 가진 1,024 토큰 단위로 청킹되며, 검색은 0.5 임계값을 가진 상위-k 유사도 검색을 사용합니다.
지식 베이스: 검색 소스에는 MITRE ATT&CK 프레임워크, 연구 가이드 (예: MalGPT, CISA/MITRE 매핑), VirusTotal 기술 문서, 그리고 멀웨어 인텔리전스 데이터셋 (테일, CVE 등) 이 포함됩니다.
시스템 프롬프트: 일관성을 강제하는 구조화된 10 섹션 프롬프트는 결과물에 판정, 비기술적 요약, 증거 인용, 멀웨어 패밀리 매핑, IoC 그룹화, 행동 요약, 신뢰도 점수, 그리고 실행 가능한 권장 사항을 포함하도록 요구합니다.
평가 프로토콜: 제거 실험 (ablation study) 은 동일한 프롬프트 하에서 다양한 LLM(GPT OSS 21B, DeepSeek-R1 671B, GPT-5.1) 을 비교하며, VirusTotal JSON 단독과 검색된 맥락이 추가된 JSON 을 사용하여 테스트합니다. 검색 효과를 분리하기 위해 파인튜닝은 적용하지 않았습니다.
지표: 설명의 질은 RAG 를 사용하지 않은 GPT-5.1 기준에 대한 의미적 유사성을 평가하는 BERTScore 를 사용하여 측정됩니다. 이 지표는 재구성에 대한 강건성과 느슨하게 연관된 검색된 구절로 인한 의미적 편향에 대한 민감성 때문에 선택되었습니다.

주요 결과

실험은 구조화된 증거가 이미 존재할 때 RAG 가 설명의 질을 향상시키기보다는 종종 저하시킨다는 것을 보여줍니다:

성능 저하: 여러 모델에 걸쳐 검색된 맥락을 추가하면 일반적으로 BERTScore 가 낮아졌습니다. 예를 들어, DeepSeek-R1 은 RAG 없이 최고 점수 (0.8617) 를 달성한 반면, 다른 임베딩 모델을 사용하면 성능이 각각 0.8583 및 0.8582 로 하락했습니다. 마찬가지로 GPT OSS 21B 는 RAG 없이 0.8407 에서 all-MiniLM-L6-v2 검색기를 사용할 경우 0.8184 로 크게 하락했습니다.
임베딩 민감성: text-embedding-3-large 는 GPT OSS 21B 에게 미미한 개선을 제공했지만, DeepSeek-R1 에게는 아무런 이점을 주지 못했습니다.
저하 원인: 저자들은 이 하락을 '하드 네거티브'로 작용하는 의미적으로 유사하지만 유용성이 낮은 구절 (예: 일반적인 멀웨어 설명) 의 검색 때문이라고 설명합니다. 이러한 산만 요소는 모델을 관련성이 없는 그럴듯한 서술로 주의가 분산되게 하여, 구조화된 VirusTotal 보고서에서 발견되는 구체적인 신호를 희석시킵니다.
모델 행동: DeepSeek-R1 과 같은 강력한 모델들은 추가된 맥락을 중복되거나 경미하게 모순되는 것으로 처리하는 것으로 보이며, 이는 이 작업이 지식 완성이 아닌 신호 추출 문제라는 가설을 더욱 지지합니다.

주요 기여

RAG 가정에 대한 실증적 도전: 이 연구는 고품질의 구조화된 증거 (VirusTotal 보고서) 가 이용 가능한 경우 멀웨어 설명에 RAG 를 기본적으로 적용하는 것이 역효과를 낸다는 증거를 제시합니다.
작업 재정의: 저자들은 멀웨어 설명이 주로 지식 검색 문제가 아닌 신호 추출 작업이라고 주장합니다. 따라서 외부 맥락을 추가하면 가치 없이 인지 부하와 오류 위험만 증가시킬 수 있습니다.
설계 권장 사항: 본 논문은 보안 워크플로우에서 검색으로 인한 잡음을 완화하기 위한 구체적인 전략을 제시합니다:
- 구조화된 보고서가 충분할 때 RAG 를 생략함 (맥락 충분성 예측기 사용).
- 하드 네거티브를 피하기 위해 엄격한 $k$ 제한을 적용한 도메인 튜닝 재순위화기 적용.
- 메타데이터가 풍부한 행동 또는 IoC 중심 청크로 고정 창 청킹 대체.
- 캐시 증강 생성 (CAG) 및 맥락 엔지니어링과 같은 대안 탐색.

중요성 및 주장

이 논문은 보안이 중요한 파이프라인에서 RAG 기반 설명이 근본적인 증거에서 벗어나면 자동화 편향의 위험이 증가한다고 주장합니다. 저자들은 분석가들이 확장된 서술보다는 일관성과 추적 가능성에서 더 큰 혜택을 본다고 명시합니다. 구조화된 추론에 의해 주도되는 분야에서 RAG 가 성능을 저하시킬 수 있음을 입증함으로써, 이 연구는 도구 설계의 전환을 옹호합니다: 검색을 통한 지식 종합에서 벗어나 구조화된 신호 추출로 방향을 전환해야 한다는 것입니다. 이러한 발견은 소스 증거가 이미 포괄적인 작업의 경우, 검색 메커니즘이 도입하는 '잡음'이 외부 지식 주입의 잠재적 이점을 능가한다는 것을 시사합니다.