기술 요약: 그래프 신경망을 통한 세밀한 어셈블리 흐름 설명력을 갖춘 투명한 악성코드 탐지

문제 정의

악성코드가 점점 더 정교해지고 회피 능력이 높아짐에 따라, 탐지 시스템 또한 그만큼 지능적이고 투명해져야 합니다. 제어 흐름 그래프(CFG)에 적용된 그래프 신경망(GNN)은 악성코드 탐지에서 유망한 성과를 보여왔으나, 본질적인 설명력의 결여라는 문제를 안고 있습니다. CFG에 적용된 기존 GNN 기반 설명 방식은 CFG 노드가 "기본 블록"(분기 없는 명령어의 시퀀스)을 나타낸다는 치명적인 한계가 있으며, 이로 인해 기본 블록 내부의 개별 어셈블리 명령어들은 가려지게 됩니다. 결과적으로 GNN은 세밀한 명령어 수준의 설명을 제공할 수 없으며, 어떤 특정 명령어가 악성 예측을 유도했는지에 대한 모호함을 남깁니다. 또한, 모든 명령어를 노드로 표현하는 어셈블리 흐름 그래프(AFG)의 방대한 규모는 전처리, 임베딩 및 학습 과정에서 GNN을 직접 적용하는 것을 계산적으로 불가능하게 만듭니다.

방법론

저자들은 세밀한 설명력을 가능하게 하는 동시에 계산적 타당성을 유지하기 위해, **어셈블리 흐름 그래프(AFG)**와 메타 코서닝(Meta-Coarsening) 접근 방식을 중심으로 한 새로운 프레임워크를 제안합니다.

1. 그래프 구축

• 어셈블리 흐름 그래프 (AFG): 전통적인 CFG가 기본 블록을 노드로 사용하는 것과 달리, AFG는 각 CFG 노드를 해당 노드를 구성하는 순차적 어셈블리 명령어들의 단일 연결 리스트(singly linked list)로 대체합니다. 엣지는 이 명령어 리스트의 헤드(head)와 테일(tail)을 연결하도록 재설정되어, 모든 노드가 단일 명령어를 나타내는 그래프를 생성합니다.
• 명령어 인코딩: 명령어는 Capstone 라이브러리로부터 추출된 1,103비트 벡터를 사용하여 인코딩되며, 여기에는 오코드(opcode), 접두사(prefix) 및 다양한 플래그가 포함됩니다.

2. 메타 코서닝 접근 방식

대규모 AFG의 계산 비용 문제를 해결하기 위해, 저자들은 2단계 "메타 코서닝" 파이프라인을 도입합니다.

• 1단계: CFG 코서닝 (C-CFG): 거대한 AFG를 직접 코서닝하는 대신, 저자들은 근간이 되는 CFG(메타 구조)를 코서닝합니다. 이는 계산적으로 실행 가능하며 AFG와 구조적 유사성을 보존합니다. GNN은 이러한 코서닝된 CFG(C-CFG)에서 학습되며, 설명 모델(explainer)은 이 수준에서 중요한 서브그래프를 식별합니다.
• 2단계: 백트래킹 및 B-AFG 학습: C-CFG에서 식별된 중요한 서브그래프들은 계층 구조를 통해 원래의 AFG로 "백트래킹(backtracked)"되어, 백트래킹된 AFG (B-AFG) 데이터셋을 생성합니다. 이 B-AFG는 설명에 유의미한 특정 명령어 수준의 노드들만을 포함합니다. 두 번째의 별도 GNN은 이 B-AFG를 대상으로 학습되어 최종적인 세밀한 명령어 수준의 설명을 생성합니다.

3. 평가 지표

본 논문은 설명의 품질을 정량화하기 위해 다음과 같은 지표들을 도입하고 활용합니다.

• 충실도 점수 ($fid^+$ 및 $fid^-$): 필요성(서브그래프를 제거했을 때 예측이 변하는지)과 충분성(서브그래프만 유지했을 때 예측이 유지되는지)을 측정합니다.
• 특성 점수 ($\lambda$): C-CFG와 B-AFG 수준 사이의 일치도를 측정하기 위해 적응된, 충실도 점수의 가중 조화 평균입니다.
• $\beta$ 인디케이터 점수: 모호성을 감지하는 새로운 지표입니다. 설명이 이진적(명확함)이면 0을 반환하고, 비이진적(모호함)이면 양수를 반환하여, 특히 기본 블록 수준(모호함)과 명령어 수준(명확함) 설명 사이의 차이를 강조합니다.

주요 기여

1. 어셈블리 흐름 그래프 (AFG): 바이너리 실행 파일의 전체 어셈블리 명령어 흐름을 포착하여 명령어 수준의 세밀함을 가능하게 하는 새로운 그래프 표현법을 제안했습니다.
2. 메타 코서닝: CFG를 코서닝하여 AFG를 근사함으로써, 대규모 데이터에 대해 GNN을 학습시키면서도 명령어 수준으로 백트래킹할 수 있는 능력을 유지하는 계산적 타당성 개선 방식을 도입했습니다.
3. 세밀한 설명력: GNN 기반 악성코드 탐지 중 최초로 어셈블리 명령어 수준에서 설명을 제공하여, 기본 블록 수준의 CFG에서 발생하는 모호성을 해결했습니다.
4. 새로운 지표: 설명의 세밀함을 경험적으로 측정하기 위한 $\beta$ 인디케이터 점수와, 교차 수준 간의 설명 일관성을 평가하기 위한 $\lambda$ 점수의 적응형 정의를 제시했습니다.
5. 하이퍼파라미터 제어: 사용자가 계산 요구 사항과 설명의 표현력 사이의 균형을 맞출 수 있도록 하는 하이퍼파라미터(코서닝 계수 $r$ 및 선택 정책 $\epsilon$)를 식별했습니다.

실험 결과

본 접근 방식은 Windows PE x86 바이너리를 포함하는 CIC-DGG-2025 데이터셋을 사용하여 평가되었습니다.

• 추론 성능: 메타 코서닝 방식은 베이스라인과 대등하거나 더 우수한 정확도를 달anim했습니다. 구체적으로, $r=0.25$인 Kron 코서닝과 $r=0.75$인 Variation Edges가 가장 좋은 결과(평균 정확도 최대 89.8%)를 보였으며, 이는 적절한 코서닝이 규제화(regularizer) 역할을 하여 일반화 성능을 향상시킬 수 있음을 시사합니다.
• 설명력:
  • $\lambda$ 점수는 Kron $r=0.25$에서 가장 높게(0.713) 나타났으며, 이는 거친 수준(coarse)과 세밀한 수준(fine-grained)의 설명 사이의 강력한 일치도를 나타냅니다.
  • 충실도 분석: C-CFG 수준에서는 높은 필요성($fid^+$)을 보였는데, 이는 식별된 서브그래프를 제거했을 때 오분류가 발생함을 의미합니다. B-AFG 수준에서는 높은 충분성($fid^-$)을 보였는데, 이는 선택된 명령어 서브그래프만으로도 올바른 예측을 유지하기에 충분함을 의미합니다.
  • 세밀도: $\beta$ 인디케이터는 모든 (C-)CFG 수준에서 1이었으나(모호함 표시), 모든 B-AFG 수준에서는 0이었습니다(명확한 이진 명령어 수준 설명 표시).
• 클래스 간 차이: 연구 결과, 정상 샘플이 악성 샘플보다 일반적으로 더 설명 가능한 것으로 나타났습니다. 악성 클래스는 더 낮은 특성 점수를 보였으며, 이는 악성 샘플이 설명하거나 일관되게 예측하기 더 어렵다는 것을 시사합니다.

의의 및 주장

본 논문은 GNN을 사용하여 어셈블리 명령어 수준에서 세밀한 설명력을 고려한 최초의 연구라고 주장합니다. 저자들은 이전 연구들이 CFG나 오코드 그래프를 활용했음에도 불구하고, 명령어를 기본 블록으로 집계하기 때문에 명령어 수준의 모호하지 않은 통찰을 제공할 수 없었다는 점을 강조합니다.

본 연구의 의의는 다음과 같습니다.

• 방어자가 어떤 명령어가 악성 분류에 기여하는지 정확히 이해할 수 있도록 하는 투명한 탐지 시스템을 제공합니다.
• 메타 코서닝 전략을 통해 대규모 명령어 수준 그래프에 GNN을 적용할 때 발생하는 계산적 장벽을 극복합니다.
• 그래프 크기와 설명 상세도 사이의 트레이드오프를 제어할 수 있는 프레임워크를 제공합니다.

저자들은 본 접근 방식이 어셈블리 수준의 설명을 성공적으로 제공하며, 이는 대규모 악성코드 탐지 설명력 분야의 기초가 될 것이라고 결론짓습니다. 또한, 다른 바이너리 형식으로의 일반화 문제와 적대적 회피 가능성에 대한 한계를 인정하며, 향하여 적대적 훈련이나 정적 생성 방법을 탐구하여 이를 완화할 수 있다고 언급했습니다.