The Role of Domain-Specific Features in Malware Detection: A macOS Case Study

당신이 매우 독점적이고 첨단 기술을 갖춘 사무실 건물(macOS 운영 체제)의 보안 요원이라고 상상해 보십시오. 수년 동안 대부분의 보안 요원들은 다른 종류의 건물인 Windows나 Android 사무실의 침입자를 찾아내는 훈련을 받아왔습니다. 그들은 일반적인 문제의 징후를 살핍니다. "저 사람이 가면을 쓰고 있는가?" (일반적인 바이트 패턴) 또는 "그들이 수상한 물건 목록을 가지고 있는가?" (일의 일반적인 문자열)와 같은 것들 말입니다.

하지만 이 논문은 macOS가 자신만의 특별한 규칙, 설계도, 그리고 보안 배지를 가진 독특한 건물이라고 주장합니다. 연구진인 비아조 몬타룰리(Biagio Montaruli)와 그의 팀은 일반적인 규칙을 사용하는 것을 중단하고, 나쁜 놈들을 훨씬 더 잘 잡기 위해 이 건물의 특정한 "언어"를 배우기로 결정했습니다.

이들의 연구 결과는 다음과 같이 간단한 개념들로 나누어 설명할 수 있습니다.

1. 문제점: 잘못된 지도를 사용함

지금까지 macOS 악성 코드(나쁜 소프트웨어)를 잡으려는 연구자들은 "일반적인" 도구들을 사용해 왔습니다. 이것은 도서관에서 도둑을 찾기 위해 단지 그 사람이 무거운 배낭을 메고 있는지만 확인하는 것과 같습니다. 무거운 배낭이 수상할 수는 있지만, 그것이 그 사람이 왜 그곳에 있는지 또는 무엇을 하고 있는지에 대해 많은 것을 알려주지는 않습니다.

저자들은 macOS가 특수한 ID 카드 시스템처럼 작동하는 고유한 기능들을 가지고 있다는 점을 깨달았습니다. 그들은 이 특정한 ID 카드를 사용하는 것이 보안 요원(탐지 소프트웨어)을 훨씬 더 똑똑하게 만들 수 있는지 확인하고 싶었습니다.

2. 새로운 도구: "Mac 전용" ID 카드

연구진은 macOS가 작동하는 방식에 특화된 새로운 세트의 특징(단서)들을 구축했습니다. 이것을 네 가지 특별한 유형의 ID 체크라고 생각하십시오:

• 인증서 체인 (공식 인장): Mac의 모든 정상적인 앱은 대개 애플(Apple)로부터 받은 디지털 "인장"을 가지고 있어, 그것이 누구인지 증명합니다. 연구진은 앱이 이 인장을 가지고 있는지, 인장이 만료되었는지, 또는 가짜 "자가 서명(self-signed)" 인장인지 확인했습니다.
  • 비유: 방문객이 유효한 정부 발행 여권을 가지고 있는지, 아니면 자신이 직접 그린 종이 조각을 가지고 있는지 확인하는 것과 같습니다.
• 엔타이틀먼트 (권한 허가증): 앱은 카메라나 마이크에 접근하는 것과 같은 특별한 일을 하기 위해 권한을 요청해야 합니다. 이러한 권한을 "엔타이틀먼트(entitlements)"라고 부릅니다.
  • 비유: 방문객이 서버실 열쇠를 요구한다고 상상해 보십시오. 일반적인 사무직 직원은 보통 그 열쇠가 필요하지 않습니다. 만약 방문객이 그 열쇠를 요구한다면, 그것은 거대한 경고 신호입니다.
• 지속성 기법 ( "영원히 머물기" 수법): 악성 코드는 종종 컴퓨터를 켤 때마다 자동으로 시작되도록 스스로를 설정하려고 시도합니다.
  • 비유: 손님이 당신이 그들을 쫓아낸 후에도 언제든 다시 돌아올 수 있도록 문 매트 아래에 여분의 열쇠를 숨겨두려는 것과 같습니다.
• 시스템 API (도구 사용): 이것은 앱이 컴퓨터의 두뇌와 어떻게 대화하는지를 살펴봅니다.
  • 비유: 일반적인 사람은 그림을 걸기 위해 망치를 사용합니다. 하지만 도둑은 창문을 깨기 위해 망치를 사용할 수 있습니다. 연구진은 소프트웨어가 어떤 "도구"(명령어)를 사용하고 있는지를 살펴보았습니다.

3. 거대 데이터 수집

이를 테스트하기 위해, 그들은 단지 몇 가지 사례만 봐서는 안 되었습니다. 그들은 "좋은" 앱과 "나쁜" 앱 모두를 포함하는 거대한 라이브러리가 필요했습니다.

• 수집 내용: 그들은 41,129개의 샘플을 모았습니다. 그것은 마치 11,000명의 결백한 방문자와 29,000명의 알려진 도둑들로 이루어진 도서관을 가진 것과 같습니다.
• 결과: 이것은 이와 같은 종류의 연구에 사용된 Mac 소프트웨어 중 가장 큰 규모의 수집물입니다. 이 전에는 대부분의 연구가 약 150개의 샘플만을 살펴보았습니다(이는 아주 작은 물방울에 불과합니다).

4. 결과: 슈퍼 보안 요원

그들은 이 새로운, 구체적인 단서들을 사용하여 컴퓨터 시스템(머신 러닝 탐지기)을 훈련시켰습니다. 다음과 같은 일이 일어났습니다:

• 구형 보안 요원을 이기다: 그들이 새로운 시스템을 기존의 일반적인 방법들과 테스트했을 때, 이는 압도적인 승리였습니다. 새 시스템은 악성 코드의 **98.5%**를 잡아냈으며, 기존 방식은 훨씬 적게 잡아냈습니다. 이것은 16%의 개선이며, 보안 측면에서 엄청난 도약입니다.
• "신선한" 테스트 (실제 환경): 진짜 테스트는 그들이 본 적이 없는 9,000개의 완전히 새로운 샘플(2024년 말 인터넷에서 수집됨)에 대해 시스템을 테스트했을 때 왔습니다.
  • 기존의 일반적인 시스템들은 새로운 도둑들이 그들의 "배낭"(일반적인 패턴)을 바꿨기 때문에 실패하기 시작했습니다.
  • 새로운 시스템은 특정 "ID 카드"(인증서 및 권한)를 사용하여 완벽하게 작동했습니다. 그것은 새로운 위협의 **99.5%**를 잡아냈습니다.
  • 핵심 발견: 만약 그들이 특별한 Mac 전용 단서들을 제거하고 시스템이 오직 일반적인 것들만 사용하도록 강제했을 때, 새로운 위협에 대한 성능은 거의 16% 하락했습니다. 이는 특정한 단서들이 새로운 유형의 나쁜 놈들을 잡는 비결임을 입증합니다.

5. 이것이 왜 중요한가

논문은 일반적인 단서들(예: 원시 코드를 보는 것)이 알려진 나쁜 놈들을 잡는 데는 괜찮지만, 나쁜 놈들이 전술을 바꿀 때는 실패한다는 결론을 내립니다.

애플의 공식 인장이나 특정 권한 허가증을 확인하는 것과 같이 macOS의 고유한 "DNA"를 이해함으로써, 연구진은 다음과 같은 탐지기를 구축했습니다:

1. 더 똑똑합니다: 더 많은 악성 소프트웨어를 잡아냅니다.
2. 더 견고합니다: 나쁜 놈들이 변장하려고 노력해도 혼란스러워하지 않습니다.
3. 설명 가능합니다: 시스템이 무언가를 잡아내면, "이것이 유효한 애플 인장을 가지고 있지 않기 때문에 잡았다"라고 말할 수 있으며, 이는 인간이 이해하기 쉽습니다.

요약하자면: 연구진은 일반적인 규칙으로 Mac 도둑을 잡으려 하는 대신, Mac 고유의 보안 언어를 사용하기 시작했습니다. 그 결과는 어떠했습니까? 새로운 변장을 하더라도 침입자를 훨씬 더 잘 식별해 내는 보안 요원을 얻게 된 것입니다.