기술 요약: Rhea – 클라우드 환경에서 포맷 인식 검증을 이용한 권한 상승형 회피 랜섬웨어 공격 탐지

1. 문제 정의

현대적인 랜섬웨어 캠페인은 **권한 상승형 회피 랜섬웨어(Privilege-Escalated Evasive Ransomware, PEER)**로 진화했습니다. 이러한 공격은 두 가지 핵심 능력을 결합합니다:

1. 권한 상승(Privilege Escalation): 공격자는 취약한 드라이버를 직접 가져오는 방식(Bring-Your-Own-Vulnerable-Driver, BYOVD)과 같은 기법을 활용하여 루트 권한을 획득하며, 이를 통해 사용자 수준, 커널 수준 및 하이퍼바이저 수준의 보안 모니터를 비활성화하거나 우회할 수 있습니다.
2. 회피 전략(Evasion Strategies): 콘텐츠 기반 탐지를 무력화하기 위해, PEER 변종은 다음과 같은 정교한 회피 전술을 사용합니다:
   • 간헐적 암호화(Intermittent Encryption): 파일 전체가 아닌 파일의 작은 부분들을 산발적으로 암호화합니다.
   • 저엔트로피 암호화(Low-Entropy Encryption): 패딩이나 낮은 무작위성 데이터를 사용하여 통계적 엔트로피를 낮게 유지합니다.
   • 모방 공격(Imitation Attacks): 정상적인 I/O 패턴을 모방하여 행동 분석을 혼란에 빠뜨립니다.

기존의 방어 체계는 PEER에 대해 심각한 한계에 직면해 있습니다:

• I/O 패턴 분석: 공격자가 모니터를 비활성화하거나 저수준 흔적을 은닉할 수 있을 때 신뢰할 수 없게 됩니다.
• 통계적 콘텐츠 기반 탐지: 엔트로피나 $\chi^2$ 통계에 의존하는 방법은 정밀한 부분 암호화(fine-grained partial encryption) 상황에서 실패합니다. 검사 창(inspection window)이 작아질수록 경험적 바이트 분포는 샘플링 노이즈에 의해 압도되며, 이로 인해 평문, 압축 데이터, 암호문의 통계적 특징이 수렴하여 구분이 불가능해집니다.

2. 방법론: Rhea 아키텍처

Rhea는 일시적인 I/O 스트림에 의존하는 대신, **변이 스냅샷(mutation snapshots)**이라 불리는 복제된 데이터 스냅샷을 분석하도록 설계된 클라우드 오프로딩 방어 시스템입니다. 이는 파일 형식이 암호화되더라도 반드시 보존되어야 하는 구문적(syntactic) 및 의미적(semantic) 불변성을 가지고 있다는 원리에 기반하여 작동합니다.

2.1 시스템 아키텍처

Rhea는 세 가지 주요 구성 요소로 이루어져 있습니다:

• Rhea 프런트엔드(Frontend): 가상화된 환경(VM) 내의 에지 디바이스(PC, 모바일, 서버)에서 실행됩니다. 스케줄링된 체크포인트(예: 야간 유휴 시간대)에 따라 게스트 OS로부터 블록 레벨 데이터 스냅샷을 클라우드로 복제합니다. 스냅샷을 찍기 전 플러시 배리어(flush barriers)를 강제함으로써 데이터 일관성을 보장합니다.
• Rhea 백엔드(Backend): 분산 스토리지(예: DynamoDB)에 장기적인 불변 백업(변이 스냅샷)을 저장하는 클라우드 기반 서버입니다.
• Rhea 에이전트(Agent): 변이 스냅샷을 포맷 인식 검증(Format-Aware Validation, FAV) 파이프라인을 통해 처리하는 클라우드 기반 분석기입니다.

2.2 탐지 파이프라인

에이전트는 변이 스냅샷을 네 단계의 파이프라인(그림 2 참조)을 통해 처리합니다:

1. 델타 추출(Delta Extraction):

   • 서로 다른 에포크(epoch)에서 촬영된 블록 장치 스냅샷 간의 순방향 차이(forward differences)를 계산합니다.
   • 수정된 블록들을 "익스텐트(extents)"로 그룹화하고 연속적인 수정 런(run)을 병합하여 컴팩트한 델타 스냅샷을 생성합니다. 이를 통해 데이터 변이가 발생한 정확한 영역을 격리합니다.

2. 슬라이딩 적응형 윈도우 분석(Sliding Adaptive Window Analysis, SAWA):

   • 높은 재현율(high-recall)을 가진 프리필터 역할을 합니다. 델타 스냅샷을 슬라이딩 윈도우로 스캔하여 균일한 바이트 빈도(높은 엔트로피)를 가진 영역을 식별합니다.
   • $\chi^2$ 균등성 테스트를 사용하여 의심스러운 영역을 탐지합니다.
   • 임의의 크기를 가진 암호화 영역에 탐지 윈도우를 맞추기 위해 슬라이딩, 확장, 축소의 적응형 사이클을 사용하며, 모호한 블록은 오탐(false negative)을 피하기 위해 다음 단계로 전달합니다.

3. 블록-파일 매핑(Block-to-File Mapping):

   • 파일 시스템 메타데이터를 사용하여 의심스러운 물리적 블록 식별자를 논리적 파일 경로 및 바이트 오프셋으로 다시 변환합니다.
   • 정적 미디어 파일(이미지, 비디오)에 대한 신뢰할 수 있는 매니페스트(SHA-256 해시) 기반의 화이트리스트 필터를 적용하여 오탐을 줄이고, 수정되었으나 화이트리스트에 없는 파일만 다음 단계로 진행되도록 보장합니다.

4. 포맷 인식 검증(Format-Aware Validation, FAV):

   • 결정적인 단계입니다. FAV는 원시 바이트를 분석하는 대신, 파일 형식 명세에 따라 논리적 콘텐츠를 재구성합니다.
   • 구문적 및 의미적 불변성을 검증합니다. 만약 암호화된 구간이 파일 형식의 구조(예: OOXML의 XML 태그 파괴, ZIP 헤더 손상, 또는 텍스트 파일의 유효하지 않은 UTF-8 생성)를 위반하면 해당 파일을 플래그 처리합니다.
   • 특화된 검증기(Specialized Validators):
     • 텍스트(Text): 유효한 UTF-8 디코딩 및 의미적 일관성을 확인합니다.
     • ZIP: 컨테이너 구조(EOCD, Central Directory)를 검증하고, DEFLATE 스트림을 인플레이트(inflate)하며, 멤버 페이로드를 확인합니다.
     • OOXML (.docx, .xlsx, .pptx): 이를 ZIP 컨테이너로 취급하여 XML 파트와 미디어 참조를 검증합니다.
     • PDF: 바이트 범위를 스트림에 매핑하고, 필터(Flate, ASCII85)를 디코딩하며, 스트림 구조와 딕셔너리를 검증합니다.

3. 주요 기여

본 논문은 다음과 같은 기여를 주장합니다:

1. 한계점 식별: 정밀한 부분 암호화를 사용하는 PEER 공격에 대해 기존의 I/O 패턴 및 통계적 콘텐츠 기반 방어 체계가 갖는 근본적인 실패를 강조합니다.
2. 클라우드 오프로딩 아키텍처: 무거운 콘텐츠 분석을 클라우드로 오프로드하는 시스템을 제안하여, 호스트로부터 방어 메커니즘을 격리하고 디바이스의 오버헤드를 제거합니다.
3. 포맷 인식 검증(FAV): 파일 형식 명세를 보안 불변성으로 취급하는 새로운 탐지 방법을 도입합니다. 이 접근 방식은 암호화를 통계적 이상 징후가 아닌 **정확성 위반(violation of correctness)**으로 탐지하므로, 정밀한 공격에도 탄력성을 가집니다.
4. 실증적 평가: 시뮬레이션된 부분 암호화 공격과 실제 세계의 랜섬웨어 샘플 모두에 대해 종합적인 평가를 제공합니다.

4. 평가 결과

저자들은 통제된 시뮬레이션과 실제 세계의 데이터셋을 사용하여 프로토타입 구현을 평가했습니다.

4.1 시뮬레이션된 PEER 공격

• 공격 패턴: Black Basta 및 BlackCat과 같은 변종을 모방한 "Fast" (접두사 암호화), "Skip-Step" (인터리브 암호화), "Animagus" (무작위 블록 암호화) 패턴에 대해 테스트했습니다.
• 정확도: 구조화된 포맷(TXT, PDF, OOXML, ZIP)에 대해 모든 공격 패턴에서 파일 수준의 **정확도(Accuracy), 정밀도(Precision), 재현율(Recall) 및 F1-score 100%**를 달면 달성했습니다.
• 성능: 테스트 데이터셋에 대한 평균 엔드 투 엔드 실행 시간은 29.45초였습니다. 파이프라인은 주로 SAWA(12.28초)와 FAV(7.03초)에 의해 지배됩니다.

4.2 정밀한 부분 암호화

• 비교: Rhea를 순수 엔트로피 기반 및 $\chi^2$ 기반 탐지기와 비교했습니다.
• 결과: 통계적 탐지기는 암호화 입도(granularity)가 감소함에 따라(예: 64바이트 청크) 성능이 크게 저하되었습니다. 반면, FAV는 극도로 정밀한 공격(단일 바이트 수정까지)에서도 완벽에 가까운 탐지 성능을 유지했습니다.
• 예외 케이스: TXT 파일의 경우, 무작위 바이트가 우연히 유효한 UTF-8 시퀀스를 형성하는 통계적 일치 현상으로 인해 1바이트 암호화 시 탐지율이 95%로 약간 떨어졌으나, 다른 모든 포맷에 대해서는 견고함을 유지했습니다.

4.3 실제 세계의 랜섬웨어

• 데이터셋: 35개 제품군(Medusa, LockBit, BlackBasta, Akira 포함)의 78개 활성 랜섬웨어 샘플을 VM에서 실행했습니다.
• 결과: Rhea는 오탐(False Positive)과 미탐(False Negative) 없이 모든 암호화된 파일을 정확히 식별하여 전 영역에서 100% 정확도를 달림했습니다.

5. 의의 및 주장

본 논문은 다음과 같이 탐지 패러다임을 전환함으로써 Rhea를 현대적이고 회피적인 랜섬웨어 위협을 방어하기 위한 중요한 진전으로 포지셔닝합니다:

• 통계에서 의미론으로: 저자들은 **명세 수준의 정확성(specification-level correctness)**이 전통적인 통계적 방법보다 더 강력하고 신뢰할 수 있는 신호라고 주장합니다. 통계적 방법은 작은 윈도우에서의 샘플링 노이즈에 본질적으로 취약합니다.
• 권한 상승에 대한 탄력성: 분석을 클라우드로 오프로드하고 VM을 샌드박스로 사용함으로써, Rhea는 권한을 가진 공격자에 의해 게스트 OS가 완전히 장악된 상태에서도 효과적으로 작동합니다.
• 실용성: 본 논문은 포맷 인식 검증이 실용적인 오버헤드 내에서 구현될 수 있음을 보여주며, 현대의 회피형 랜섬웨어 위협을 방어하기 위한 확장 가능한 토대를 제공합니다.

저자들은 PDF 및 ZIP과 같이 허용 범위가 넓은 포맷의 경우, 구문적 위반 없이 암호문이 숨어들 수 있는 "미사용 갭(unclaimed gaps)"이 존재할 수 있다는 점을 인정하며, 보안이 중요한 맥락에서는 더 엄격한 "클린 포맷 계약(clean-format contracts)"을 강제하여 이를 완화할 수 있다고 언급했습니다. 또한, Rhea는 로컬 암호화에 초점을 맞추고 있으며 데이터 유출(이중 협박)을 본질적으로 방지하지는 않지만, 네트워크 기반 유출 방어와는 별개로 작동한다는 점을 명시했습니다.