기술 요약: MAGMA – 견고한 멀웨어 감지를 위한 확률적 합의 다중 에이전트 RAG 프레임워크

1. 문제 제기

현대적인 딥러닝 (DL) 멀웨어 탐지기는 지배적인 위치를 차지하고 있지만, 치명적인 취약점인 **의미적 맹점 (semantic blindness)**을 겪고 있습니다. 이진 코드를 비구조화된 통계 데이터 (예: 원시 바이트 시퀀스) 로 취급함으로써, 이러한 모델들은 진정한 의미 추론이 결여된 확률적 패턴 매칭기로 작동합니다. 이러한 한계는 **"확신 있는 오답 (Confident Wrongness)"**으로 나타나며, 적대적 변환 (예: 명령어 치환, 죽은 코드 삽입) 이 입력을 임베딩 공간의 희소 영역으로 이동시켜 결정 경계를 넘게 하더라도 근본적인 악성 기능을 변경하지 않는 경우, 모델은 악성 샘플에 대해 높은 확신의 판정 (예: 99% 이상 정상) 을 내립니다.

현재 최첨단 시스템들은 **인지적 불확실성 (epistemic uncertainty, 모델의 무지)**을 정량화하는 공식적인 메커니즘이 부재합니다. 그 결과, 입력이 훈련 분포 바깥에 있을 때조차 이진 결정을 강요하여 비정상 사례를 인간 검토를 위해 플래그로 표시하지 못하고, 대신 치명적인 자동화된 오류를 범하게 됩니다.

2. 방법론: MAGMA 프레임워크

저자들은 정적 패턴 매칭에서 확률적 증거 수집 과정으로 탐지를 재정의하는 MAGMA(Multi-Agent Generative Malware Analysis, 다중 에이전트 생성형 멀웨어 분석) 프레임워크를 제안합니다. 이 아키텍처는 구조적 표현과 확률적 추론을 네 가지 핵심 구성 요소를 통해 분리합니다:

A. 듀얼 스트림 리프팅 (Dual-Stream Lifting)

의미적 불투명성을 극복하기 위해 MAGMA 는 벡터화 전에 원시 이진 파일을 두 개의 병렬 인간 가독성 중간 표현으로 리프팅합니다:

1. 구문 스트림 ($I_{ASM}$): 정규화된 어셈블리 명령어를 생성하는 선형 디어셈블리 매핑입니다. 이는 고수준 디컴파일에서 종종 손실되는 세분화된 아키텍처 종속성, 레지스터 조작, 암호화 상수를 포착합니다.
2. 의미 스트림 ($I_{Code}$): 고수준 의사 C 코드로의 디컴파일입니다. 이는 컴파일러별 세부 사항을 추상화하여 제어 흐름 그래프 (CFG), 데이터 종속성 및 핵심 API 시퀀스를 격리합니다.
   이러한 듀얼 임베딩은 연결되어 복합 쿼리 벡터를 형성하며, 의미적 의도가 악성으로 남아 있는 경우 구문적 오프스케이션 (예: 레지스터 이름 변경) 이 탐지를 회피하지 못하도록 보장하고 그 반대의 경우도亦然합니다.

B. 검색 증강 생성 (RAG)

대규모 언어 모델 (LLM) 의 고정된 매개변수 메모리에 의존하는 대신, MAGMA 는 검증된 분석가 큐레이션 **결정 핵심 함수 (Decision-Critical Functions, DCFs)**로 채워진 **벡터 지식 베이스 (KB)**를 쿼리합니다.

• 시스템은 잠재 공간의 코사인 유사도를 기반으로 $k$-최근접 이웃 (DCF) 을 검색합니다.
• 이 단계는 생성 과정을 알려진 위협 인텔리전스에 기반하게 하여 환각을 방지하고 분류 작업을 증거 평가 작업으로 전환합니다.

C. 확률적 일관성 앙상블

추론 과정의 안정성을 탐지하기 위해 MAGMA 는 $N$개의 동일한 LLM 인스턴스로 구성된 **동질적 에이전트 앙상블 (Homogeneous Agent Ensemble)**을 사용합니다.

• 확률적 샘플링: 탐욕적 디코딩과 달리, 에이전트들은 온도 $T > 0$로 작동하여 모델이 대안적이고 확률이 낮은 추론 경로를 탐색하도록 강요합니다.
• 독립적 추론: 각 에이전트는 검색된 DCF 와 듀얼 스트림 컨텍스트를 독립적으로 평가하여 이진 판정 (악성/정상) 을 생성합니다.
• 합의: 시스템은 이러한 독립적 출력들을 집계하여 예측의 안정성을 측정합니다.

D. 정량화 가능한 불확실성 지표

프레임워크는 불확실성을 정량화하고 의사 결정을 안내하기 위해 두 가지 보완적 지표를 유도합니다:

1. 함수 증거 강도 (FES): 검색 신뢰도의 가중치 집계입니다. 모든 에이전트에 할당된 "악성" 클래스의 평균 확률 질량을 검색된 컨텍스트의 유사성 가중치로 스케일링하여 계산합니다. 이는 강력한 증거 기반 없이 에이전트들이 판정에 동의하는 "환각된 합의"를 방지합니다.
2. 증거 충돌 점수 (ECS): 앙상블의 예측 분포의 섀넌 엔트로피로 정의됩니다.
   • 낮은 ECS($\approx 0$) 는 높은 합의 (안정적인 예측) 를 나타냅니다.
   • 높은 ECS($\approx 1$) 는 에이전트 간의 심각한 불일치를 나타내며, 구조적 모호성, 적대적 교란 또는 분포 밖 (OOD) 입력을 신호합니다.

E. 3 상태 결정 정책

MAGMA 는 이진 분류를 3 상태 정책으로 대체합니다:

• 악성: 높은 FES AND 낮은 ECS.
• 정상: 낮은 FES AND 낮은 ECS.
• 불확실 (거부): 높은 ECS(임계값 $\tau_{stable}$ 초과).
  "불확실"로 표시된 입력은 자동으로 거부되어 인간 분석가 검토를 위해 라우팅되며, 모호한 샘플에 대해 확신 있지만 오류가 있는 판정을 내리는 것을 방지합니다.

3. 주요 기여

1. 듀얼 스트림 RAG 아키텍처: 구문 어셈블리와 의미 의사 코드를 공동 벡터 공간에 매핑하는 새로운 메커니즘으로, 결정 핵심 함수의 큐레이션된 KB 에 추론을 기반하여 신경망 불투명성을 완화합니다.
2. 정량화 가능한 귀속 (FES): 검색된 컨텍스트의 영향을 가중치하는 함수 증거 강도 지표의 도입으로, 블랙박스 예측을 감사 가능한 증거 사슬로 변환합니다.
3. 확률적 자기 일관성: 다중 에이전트 앙상블 ($T>0$) 이 적대적 기준에 대해 증거를 평가하여 경계된 예측 분포를 생성하는 확률적 합의 게임으로서 멀웨어 탐지를 모델링합니다.
4. 엔트로피를 통한 공식화된 거부: 인지적 불확실성이 너무 높을 때 분류를 중단하는 원칙적인 "거부 옵션" 정책을 가능하게 하는 증거 충돌 점수 (ECS) 를 적대적 교란에 대한 민감도의 대리 지표로 정의합니다.
5. 광범위한 평가: 고도로 다형성 변이 및 확립된 베이스라인 (MalConv, ResNeXt+) 에 대한 포괄적인 테스트를 통해 엔트로피 기반 거부 정책의 유효성을 입증했습니다.

4. 실험 결과

프레임워크는 40,814 개의 이진 파일 (Wild-Augmented Benchmark) 데이터셋에서 평가되었으며, 선행 편향을 방지하기 위해 시간적으로 분할되었습니다.

• 탐지 성능: MAGMA 는 98.4% 의 F1 점수를 달성하여 가장 강력한 외부 베이스라인 (ResNeXt+) 보다 1.3% 포인트, MalConv 보다 4.2% 포인트 상회했습니다.
• 오류 감소: 엔트로피 기반 거부 정책을 강제 적용함으로써 회피 시도 대비 탐지 정확도가 4.2% 절대적으로 개선되었고, 거부하지 않는 베이스라인 대비 거짓 양성률 (FPR) 이 4.0% 감소했습니다.
• Ablation 연구:
  • 듀얼 스트림 임베딩만으로도 95.8% F1 을 달성하여 MalConv 를 능가했습니다.
  • LLM 앙상블 ($N=5$) 을 추가하면 추가적으로 +2.6% 포인트 증가하여, 검색만으로는 해결할 수 없는 경계 사례를 앙상블 다양성이 해결함을 확인했습니다.
  • 제로샷 LLM 추론 (RAG 없이) 은 성능이 낮았습니다 (79.6% F1), 이는 검색 증강 기반의 필요성을 강조합니다.
• 불확실성 보정: 오분류된 샘플은 올바른 예측 ($\sim 0.13$) 에 비해 유의미하게 높은 ECS 값 ($\sim 0.84$) 을 보였으며, 이는 인간-인-더-루프 거부를 위한 효과적인 신호로서 ECS 를 검증합니다.
• 지연 시간: 전체 파이프라인은 이진 파일당 평균 약 42 초 (LLM 추론이 주를 이룸) 를 소요하여, MAGMA 를 실시간 엔드포인트 스캐너가 아닌 2 단계 클라우드 검증 레이어로 위치시킵니다.

5. 중요성 및 주장

본 논문은 MAGMA 가 방어자가 모든 악성 변이를 경계해야 하지만 공격자는 하나의 성공적인 회피 경로만 필요하다는 멀웨어 방어의 근본적인 비대칭성을 해결한다고 주장합니다. 결정론적 패턴 매칭에서 확률적 검증으로 전환함으로써 MAGMA 는 모델 자신의 맹점을 명시적으로 정량화합니다.

중요성은 시스템이 다음을 수행할 수 있는 능력에 있습니다:

• 구조적 모호성 식별: 엔트로피 최대화를 사용하여 악성 기능이 보존되더라도 결정 경계 근처에서 입력이 구조적으로 교란되었을 때 이를 탐지합니다.
• 확신 있는 오답 방지: 이진 결정을 강요하는 대신 모호한 입력을 자동으로 거부함으로써 치명적인 자동화된 오류의 위험을 줄입니다.
• 의미적 간극 해소: RAG 를 활용하여 임베딩의 변별력과 LLM 의 추론 능력을 연결하고, 환각된 제로샷 추론이 아닌 검증된 위협 인텔리전스에 분석을 기반합니다.

저자들은 MAGMA 를 고처리량 엔드포인트 AV 엔진의 대체제가 아니라, 서명 필터를 회피하지만 자동화된 샌드박싱을 위한 결정적인 행동 지표가 부족한 "회색 지대" 샘플을 위한 견고한 2 단계 검증 레이어로 위치시킵니다.