Tri-Modal Contrastive Binary Analysis via Opcode Transformers, Control Flow Graph Isomorphism Networks, and System Call Embeddings: A Systematic Review of Zero-Day Malware Detection Frameworks

디지털 세계에서 소프트웨어는 종종 봉인된 상자처럼 취급됩니다. 프로그램이 무엇을 하는지 이해하기 위해, 보안 전문가들은 전통적으로 마치 정비사가 엔진을 점검하는 것처럼 그 코드를 들여다봅니다. 그들은 가공되지 않은 명령어를 읽거나, 프로그램이 한 작업에서 다른 작업으로 어떻게 이동하는지에 대한 지도를 살펴보거나, 프로그램이 실행될 때 어떤 일이 일어나는지 관찰할 수 있습니다. 수십 년 동안 이러한 방식은 알려진 위협을 잡아내는 데 충분히 효과적이었습니다. 하지만 지형이 바뀌었습니다. 현대의 공격자들은 소프트웨어를 위장하는 법을 배웠으며, 악성 프로그램을 암호화 계층으로 감싸거나 내부 로직을 재배열하여, 실제 동작은 위험함에도 불구하고 코드는 무해해 보이도록 만들었습니다. 하나의 관점으로 프로그램을 보는 방식이 너무 영리한 위장에 실패할 때, 전체 방어 시스템은 눈이 멀게 됩니다. 이는 중요한 격차를 남깁니다. 표준적인 모든 검사 도구로부터 숨을 수 있는 완전히 새롭고 보이지 않는 위협을 어떻게 찾아낼 것인가 하는 문제입니다.

인도의 산딥 기술 연구 센터(Sandip Institute of Technology and Research Centre) 연구진은 이 수수께끼를 풀기 위한 고급 접근 방식에 대해 종합적인 분석을 수행했습니다. 이들은 단순히 한 가지 검사 방법에 의존하는 대신, 기존의 하이테크 시스템이 세 가지 서로 다른 렌즈를 통해 소프트웨어를 어떻게 동시에 바라보는지 검토했습니다. 이 삼중 모드(tri-modal) 접근 방식은 세 가지 뚜렷한 유형의 분석을 하나의 통합된 뷰로 결합합니다. 즉, 가공되지 않은 어셈블리 명령어를 읽고, 프로그램의 구조적 흐름을 매핑하며, 프로그램이 실행되는 동안 컴퓨터의 운영 체제와 상호작용하는 모습을 관찰하는 것입니다. 이 프레임워크들이 소프트웨어가 무엇인지에 대해 세 가지 관점이 어떻게 일치하도록 강제하는지를 조사함으로써, 본 리뷰는 공격자가 한두 가지 관점으로부터 숨기려 시도하더라도 악성 코드가 어떻게 식별될 수 있는지를 입증합니다.

연구진은 실험실에서 테스트하기 위해 새로운 바이러스를 처음부터 구축한 것이 아니라, 기존의 하이테크 연구에 대한 체계적인 검토를 수행했습니다. 그들은 2020년에서 2026년 사이에 발표된 15개의 주요 연구와 50개 이상의 보조 논문을 수집하고 분석했습니다. 그들의 목표는 이러한 고급 시스템이 가장 어려운 과제들, 즉 미지의 새로운 위협인 제로 데이(zero-day) 멀웨어와 분석을 혼란스럽게 하기 위해 의도적으로 뒤섞인 코드인 고도로 난독화된(obfuscated) 코드를 마주했을 때 얼마나 잘 작동하는지 확인하는 것이었습니다. 그들은 가장 효과적인 시스템이 단순히 서로 다른 방법의 결과를 합치는 것이 아니라, 코드, 구조, 그리고 행동 사이의 깊은 연결 고리를 학습할 수 있도록 이들을 하나의 방식으로 융합하는 시스템임을 발견했습니다.

그들의 발견의 핵심은 이러한 관점들을 결합하는 것이 안전망을 형성한다는 것입니다. 만약 공격자가 명령어 판독기가 이해할 수 없도록 코드를 뒤섞는 기술을 사용한다면, 구조적 지도가 여전히 프로그램의 진정한 형태를 드러낼 수 있습니다. 만약 공격자가 지도를 혼란스럽게 하기 위해 구조를 변경한다면, 시스템은 프로그램이 운영 체제와 어떻게 대화하는지를 살펴봄으로써 진실을 찾아낼 수 있습니다. 연구진은 최고의 프레임워크들이 이 세 가지 관점을 일치시키기 위해 사용하는 특정 수학적 전략을 식별했습니다. 이 전략은 컴퓨터가 동일한 프로그램의 코드, 구조, 행동을 비록 표면적으로는 매우 달라 보일지라도 마치 동일한 객체인 것처럼 취급하도록 강제합니다. 시스템이 새로운 미지의 파일을 접하면, 이 세 가지 관점이 모두 동일한 결론을 가리키는지 확인합니다. 만약 일치한다면 안전할 가능성이 높습니다. 만약 악성 패턴을 가리킨다면, 시스템은 파일이 이전에 본 적 없는 것이라 할지라도 이를 경고합니다.

이 리뷰의 가장 중요한 발견 중 하나는 시스템이 기만을 처리하는 방식입니다. 공격자들은 종종 프로그램을 느리게 만들거나 무해한 파일처럼 보이게 만드는 방식으로 숨어서 보안 소프트웨를 속이려 합니다. 연구진은 가장 견고한 시스템들이 스마트한 가중치 메커니즘을 사용한다는 것을 발견했습니다. 세 명의 목격자가 용의자를 묘사하는 것을 듣는 보안 요원을 상상해 보십시오. 만약 한 명의 목격자가 거짓말을 하거나 혼란스러워한다면, 보안 요원은 나머지 두 명의 말을 무시하는 것이 아니라, 일관된 이야기를 하는 목격자들에게 더 주의를 기울입니다. 이와 유사하게, 이 프레임워크는 세 명의 "목격자" 중 하나가 공격에 의해 속고 있음을 자동으로 감지하고 초점을 다른 두 명에게로 옮깁니다. 이를 통해 시스템은 공격자가 숨기기 위해 정교한 속임수를 사용하더라도 종종 98.5%를 초과하는 높은 정확도를 유지할 수 있습니다.

연구는 또한 이 기술의 실질적인 한계를 강조했습니다. 시스템이 믿기 힘들 정도로 정확하지만, 비용이 들지 않는 것은 아닙니다. 세 가지 다른 렌즈를 통해 프로그램을 분석하는 것은 상당한 컴퓨팅 파워와 시간을 요구합니다. 연구진은 프로세스의 일부는 매우 빠르지만, 시뮬레이션된 환경에서 프로그램을 실행하는 부분은 파일당 몇 분이 소요될 수 있어 매일 수천 개의 파일을 검사하기에는 너무 느리다고 언급했습니다. 그러나 리뷰는 이러한 고급 정렬 기술을 사용함으로써, 보안 시스템이 결국 정적 코드를 보는 것만으로도 프로그램의 행동을 예측하는 법을 배워, 느리고 시간이 많이 걸리는 런타임 체크의 필요성을 제거할 수 있다고 제안합니다. 이를 통해 빠른 스캔의 속도와 깊은 행동 분석의 정확도를 모두 갖출 수 있게 될 것입니다.

연구진은 멀웨어 탐지의 미래가 이러한 다각적 지능에 있다고 결론지었습니다. 그들은 코드나 행동을 보는 것 중 어느 하나의 방법만을 신뢰하는 것은 현대의 위협에 대해 더 이상 충분하지 않다고 주장했습니다. 앞으로의 길은 정보의 다양한 출처를 합성하여 프로그램의 의도에 대한 완전한 그림을 만들어낼 수 있는 시스템을 구축하는 것입니다. 강력한 컴퓨터를 사용하여 복잡한 데이터를 처리해야 하는 필요성과 다양한 유형의 하드웨어에 이러한 시스템을 적응시켜야 하는 과제와 같은 장애물이 여전히 존재하지만, 이번 리뷰는 이러한 접근 방식이 증가하는 제로 데이 위협 문제에 대한 유망한 해결책임을 확인해 줍니다. 이 연구는 보안 팀이 시그니처가 나타나기를 기다리는 반응적 방어에서, 위협이 어떻게 숨으려 하든 상관없이 그 근본적인 본질을 인식하는 선제적 탐지로 나아가는 길을 제시하는 이정표 역할을 합니다.