FOCA: Multimodal Malware Classification via Hyperbolic Cross-Attention

기술 요약: FOCA – 하이퍼볼릭 크로스 어텐션을 통한 멀티모달 악성코드 분류

문제 정의
악성코드 분류는 공격자들이 전통적인 시그니처 기반 방어 체계를 회피하기 위해 난독화 및 다형성을 활용함에 따라 지속적인 "창과 방패"의 도전에 직면해 있습니다. 머신러닝 및 딥러닝 접근 방식은 탐지 능력을 향 향상시켰으나, 진화하는 위협을 처리하는 데 어려움을 겪는 경우가 많습니다. 최근 연구에서는 사전 학습된 모델을 활용하기 위해 원시 바이너리 파일을 이미지(시각적) 및 오디오(파형)와 같은 대안적 모달리티로 변환하는 방안을 탐색해 왔습니다. 그러나 기존의 멀티모달 융합 방법들은 일반적으로 유클리드 공간(Euclidean space)에 의존하며, 이는 서로 다른 데이터 모달리티 간의 내재적인 계층적 관계를 포착하는 데 실패합니다. 구체적으로, 오디오 표현은 미세한 바이트 수준의 특성을 인코딩할 수 있고 시각적 표현은 높은 수준의 구조적 패턴을 포착할 수 있음에도 불구하고, 현재의 융합 전략(예: 단순 결합 또는 표준 크로스 어텐션)은 이러한 계층 구조를 명시적으로 모델링하지 못하여 잠재적인 성능을 제한합니다.

방법론
저자들은 하이퍼볼릭 공간 내에서 오디오와 시각 모달리티를 융합하여 이들의 계층적 의존성을 더 잘 모델링하도록 설계된 프레임워크인 FOCA(FusiOn with Hyperbolic Cross-Attention)를 제안합니다. 방법론은 다음 단계로 진행됩니다:

1. Binary-to-X 변환:

   • 오디오 모달리티: APK-dex 파일의 원시 바이트 시퀀스를 연속적인 시계열 파형 샘플(.wav 파일)로 매핑합니다.
   • 시각 모달리티: 원시 바이트를 부호 없는 정수(0–255)로 취급하여 1D 배열로 결합한 후, 헤더, 데이터 및 나머지 섹션이 RGB 채널에 매핑되도록 2D 행렬로 재구성하여 이미지 표현을 생성합니다.

2. 표현 추출 (Representation Extraction):

   • 오디오: 최첨단(SOTA) 사전 학습된 모델(PTM)인 Wav2vec2, WavLM, HuBERT를 사용하여 마지막 은닉층의 평균 풀링(mean pooling)을 통해 768차원 임베딩을 추출합니다.
   • 시각: SOTA 비전 PTM인 ResNet50, VGG19, ViT를 사용하여 평균 풀링을 통해 임베딩(2048, 4096 또는 768차원)을 추출합니다.
   • 단일 모달 처리: 추출된 특징은 융합 모듈에 진입하기 전 CNN 기반 아키텍처(맥스 풀링을 포함한 두 개의 1D-CNN 레이어)를 통과합니다.

3. 하이퍼볼릭 융합 (FOCA 핵심):

   • 하이퍼볼릭 투영: 유클리드 특징을 원점에서의 지수 사상(exponential map)을 사용하여 푸앵카레 볼($B^d$)으로 투영합니다.
   • 하이퍼볼릭 크로스 어텐션 (HCA): 오디오와 시각 모달리티를 정렬하는 새로운 메커니즘입니다. 표준 어텐션과 달리, HCA는 푸앵카레 볼에서의 하이퍼볼릭 거리($d_H$)를 사용하여 어텐션 가중치를 계산함으로써, 쿼리(query), 키(key), 값(value)의 곡률 인식 정렬(curvature-aware alignment)을 보장합니다.
   • 뫼비우스 융합 (Möbius Fusion): 어텐션이 적용된 값들은 하이퍼볼릭 기하학 특유의 연산인 뫼비우스 덧셈($\oplus_H$)과 스칼라 곱($\otimes_H$)을 사용하여 집계됩니다. 최종 융합된 표현은 분류를 위해 로그 사상(logarithmic map)을 통해 유클리드 공간으로 다시 매핑됩니다.

주요 기여
본 논문은 세 가지 주요 기여를 주장합니다:

1. 계층 구조의 첫 탐색: 악성코드 분류를 위해 오디오(미세한 수준)와 시각(구조적 수준) 모달리티 간의 계층적 관계를 명시적으로 탐색하고 모델링한 첫 번째 연구입니다.
2. 새로운 프레임워크 (FOCA): 하이퍼볼릭 공간을 활용하여 이러한 모달리티를 융합하는 멀티모달 프레임워크를 제안하며, 하이퍼볼릭 크로스 어텐션 메커니즘과 뫼비우스 덧셈 기반 융합 레이어를 도입했습니다.
3. 경험적 우월성: 광범위한 실험을 통해 FOCA가 단일 모달 모델 및 유클리드 기반 멀티모달 베이스라인(단순 결합 및 표준 크로스 어텐션 포함)보다 일관되게 우수한 성능을 보임을 입증하여 새로운 SOTA 성능을 확립했습니다.

실험 결과
프레임워크는 두 가지 벤치마크 데이터셋인 Mal-Net(10개 클래스에 걸쳐 8,000개 샘플로 필터링됨)과 CICMalDroid2020(5개 클래스에 걸쳐 17,341개 샘플)에서 평가되었습니다.

• 성능: FOCA는 모든 테스트된 구성에서 가장 높은 정확도와 macro-F1 점수를 달rat했습니다.
  • CICMalDroid2020에서 최적의 구성(HuBERT $\oplus_H$ ViT)은 99.10% 정확도와 98.85% macro-F1을 달성하여, 98.52% 정확도를 보고한 이전 SOTA(Yang et al.)를 넘어섰습니다.
  • Mal-Net에서 최적의 구성은 82.84% 정확도를 달성하여, 이전 SOTA(Samaneh et al.의 41.73% 및 Scott et al.의 70.12%)를 상회했습니다.
• 비교 분석:
  • FOCA는 단순 결합 및 유클리드 크로스 어텐션 베이스라인보다 일관되게 우수한 성능을 보였습니다.
  • t-SNE 시각화 결과, FOCA는 유클리드 크로스 어텐션에 비해 더 뚜렷하고 조밀한 클러스터를 생성함을 보여주었으며, 이는 악성코드 패밀리의 더 나은 분리를 시사합니다.
  • 단일 모달 베이스라인 중에서는 일반적으로 오디오 표현이 이미지 표현보다 우수한 성능을 보였으나, 단일 오디오 모델이 두 데이터셋 모두에서 압도적인 우위를 점하지는 않았습니다.

의의 및 주장
저자들은 본 연구를 계층적 관계 모델링과 기하학적 접근 방식을 결합함으로써 악성코드 분류 분야의 선구적인 단계로 자리매김합니다. 저자들은 FOCA가 악성코드 분류를 위한 멀티모달 표현의 융합에 하이퍼볼릭 공간을 활용한 첫 번째 연구라고 주장합니다. 유클리드 제약을 넘어섬으로써, 이 프레임워크는 서로 다른 추상화 수준을 가진 모달리티를 정렬하는 데 있어 원칙적인 이점을 제공합니다. 본 연구는 하이퍼볼릭 멀티모달 융합이 해당 분야의 유망한 새로운 방향임을 확립하며, 진화하는 악성코드 위협에 적응할 수 있는 강력한 솔루션을 제공합니다. 재현성을 지원하기 위해 코드와 학습된 모델은 공개되어 있습니다.