SiNMULI: Novel Signed Network Approach for Malicious URL Identification

인터넷은 방대하고 상호 연결된 정보의 망이지만, 동시에 위험이 눈에 띄게 숨어 있는 곳이기도 합니다. 매일 사람들은 비밀번호를 훔치거나, 사기를 퍼뜨리거나, 해로운 소프트웨어를 설치하도록 설계된 웹사이트로 유도하는 링크를 클릭합니다. 수십 년 동안 보안 전문가들은 알려진 나쁜 주소 목록을 만들거나 컴퓨터가 웹 주소의 텍스트에서 의심스러운 패턴을 인식하도록 가르침으로써 이러한 위협을 막으려 노력해 왔습니다. 이러한 방식은 알려진 위협에는 효과적이지만, 공격자들이 실제와 똑같이 보이도록 교묘하게 위장한 새로운 사이트를 만들어낼 때는 종종 실패합니다. 이를 해결하기 위해 연구자들은 인터넷을 단순히 개별 페이지의 집합체가 아니라, 모든 웹사이트가 서로 다른 웹사이트와 관계를 맺고 있는 거대한 사회적 네트워크로 바라보기 시작했습니다. 공동체 안의 사람들이 어떤 이웃은 신뢰하고 어떤 이웃은 불신하는 것처럼, 웹사이트도 어떤 사이트에는 링크를 걸고 어떤 사이트는 피합니다. 이러한 연결 관계를 연구함으로써, 웹의 숨겨진 구조를 파악하고 그 속에 섞이지 못하는 악의적인 행위자들을 찾아내는 것이 가능해집 수 있습니다.

인도 정보기술연구소(Indian Institute of Information Technology) 구와하티의 연구팀은 이러한 아이디어를 사용하여 악성 웹사이트를 잡아내는 새로운 방법을 개발했습니다. 그들은 이 방식을 부호화된 네트워크(signed network)로 취급하는 시스템인 SiNMULI라고 부릅니다. 이 시스템에서 모든 웹사이트는 하나의 점이며, 웹사이트 사이의 모든 링크는 특정한 의미를 담은 선입니다. 신뢰할 수 있는 안전한 웹사이트가 다른 사이트로 링크를 걸면, 그 연결은 신뢰의 투표와 같은 긍정적인 것으로 표시됩니다. 알려진 나쁜 웹사이트가 다른 사이트로 링크를 걸면, 그 연결은 위험을 알리는 부정적인 것으로 표시됩니다. 연구진은 기존의 대부분의 보안 도구들이 단일 페이지의 콘텐츠에 집중하느라 이러한 관계를 무시한다는 점을 깨달았습니다. 반면, SiNMULI는 전체적인 그림을 보며 사회적 균형(social balance)의 논리를 사용하여 어떤 사이트가 안전하고 어떤 사이트가 위험한지를 판단합니다. 핵심 아이디어는 간단합니다. 안정적인 네트워크에서는 친구가 다른 친구에게 링크를 걸고, 적이 다른 적에게 링크를 거는 경향이 있습니다. 만약 어떤 웹사이트가 알려진 안전한 사이트들로부터의 링크에 둘러싸여 있다면, 그 사이트는 안전할 가능성이 높습니다. 만약 어떤 웹사이트가 알려진 나쁜 사이트들로부터의 링크에 둘러싸여 있다면, 그 사이트는 위험할 가능성이 높습니다.

이 아이디어를 테스트하기 위해, 연구진은 이미 알려진 안전한 웹사이트와 위험한 웹사이트의 대규모 컬렉션에서 시작했습니다. 그들은 더 넓은 웹을 탐색하기 위해 이들을 출발점으로 삼아, 링크를 따라가며 새로운 미지의 웹사이트들을 발견했습니다. 인터넷을 크롤링하면서, 그들은 어떤 사이트가 어떤 사이트로 링크를 거는지 기록하며 거대한 연결 지도를 구축했습니다. 그런 다음 그들은 사회적 균형 이론에 기반한 일련의 규칙들을 이 지도에 적용했습니다. 이 규칙들을 통해 시스템은 미지의 링크의 성격을 추론할 수 있었습니다. 예를 들어, 알려진 안전한 사이트가 미지의 사이트로 링크를 걸고, 그 미지의 사이트가 또 다른 알려진 안전한 사이트로 링크를 건다면, 시스템은 그 미지의 사이트가 안전할 가능성이 높다고 추론할 수 있습니다. 반대로, 미지의 사이트가 알려진 나쁜 사이트들에 의해 링크되었다면, 시스템은 이를 위험한 것으로 분류합니다. 연구진은 수천 개의 사례로 복잡한 컴퓨터 모델을 훈련시킬 필요 없이, 웹 자체의 자연스러운 구조에 의존하여 진실을 밝혀냈습니다.

이 접근 방식의 결과는 놀라웠습니다. 실제 데이터를 통해 테스트했을 때, 이 시스템은 99.89%의 정확도로 악성 웹사이트를 식별해 냈습니다. 이 시스템은 매우 적은 실수로 안전한 사이트를 판별하면서 거의 모든 나쁜 사이트를 찾아낼 수 있었습니다. 이러한 성능은 머신러닝이나 딥 뉴럴 네트워크에 의존하는 전통적인 방식들과 지속적으로 대등하거나 이를 능가하는데, 기존 방식들은 새롭거나 위장된 위협에 직면했을 때 어려움을 겪는 경우가 많습니다. 가장 중요한 발견 중 하나는 이 시스템이 방대한 양의 훈련 데이터 없이도 작동한다는 점이었습니다. 웹사이트 간의 기존 링크 구조에 의존하기 때문에, 이 시스템은 이전에 본 적이 없는 새로운 위협이라 할지라도 즉각적으로 식별할 수 있습니다. 그러나 연구진은 현재의 파이프라인이 오프라인 방식으로 작동한다는 점에 주목했습니다. 전체 부호화된 네트워크를 구축하고 반복적인 균형 기반 라벨 전파(iterative balance-based label propagation)를 실행하는 것은 계산 비용이 많이 들기 때문에, 추가적인 엔지니어링 개선 없이는 실시간 배포가 어렵습니다. 이는 시스템이 훈련 요구 사항 측면에서는 가볍지만, 분석 과정 자체에는 상당한 시간과 컴퓨팅 파워가 필요함을 의미합니다.

연구진은 또한 악성 웹사이트가 네트워크 내에서 안전한 웹사이트와 다르게 행동한다는 사실을 발견했습니다. 안전한 웹사이트는 잘 연결되어 있어, 많은 신뢰할 수 있는 사이트들과 링크를 주고받는 크고 조밀한 클러스터를 형성하는 경향이 있습니다. 반면, 악성 웹사이트는 종종 네트워크의 가장자리에 위치합니다. 이들은 연결이 적으며, 그들의 링크는 종종 드문드문하거나 고립되어 있습니다. 이러한 구조적 차이는 시스템이 정확한 결정을 내리는 데 도움이 되는 또 다른 증거의 층위를 제공했습니다. 이 연구는 웹사이트가 서로 어떻게 연결되는지를 살펴봄으로써, 보안 전문가들이 단일 페이지를 독립적으로 볼 때는 보이지 않는 패턴을 볼 수 있다는 것을 보여주었습니다. 또한 이 시스템은 투명합니다. 결정 과정이 숨겨진 '블랙박스'처럼 작동하는 일부 현대적 보안 도구들과 달리, 이 방법은 분석가가 왜 특정 사이트가 분류되었는지 정확히 알 수 있게 해줍니다. 분석가들은 결론에 이르게 된 링크의 사슬을 추적할 수 있으며, 이를 통해 결과에 대한 이해와 신뢰를 높일 수 있습니다.

이 방법이 매우 효과적이었음에도 불구하고, 연구진은 그것이 완벽하지는 않다는 점을 인정했습니다. 많은 악성 웹사이트가 완전히 매핑되기 전에 사라지거나 자동 스캐너를 차단하는 트릭을 사용하기 때문에 데이터를 수집하는 것이 어려웠습니다. 이는 네트워크 지도가 때때로 불완전하여 일부 나쁜 사이트들이 숨겨진 채로 남을 수 있음을 의미합니다. 또한, 현재 시스템은 전체 네트워크 구조를 분석할 수 있을 때 가장 잘 작동하며, 여기에는 시간과 컴퓨팅 파워가 소요됩니다. 찰나의 순간에 결정을 내려야 하는 실시간 보호를 위해서는 시스템이 더 빠르게 작동하도록 조정되어야 합니다. 이러한 과제에도 불구하고, 이 연구는 사이버 보안에 대한 강력한 새로운 관점을 제시합니다. 디지털 위협에 맞서 싸우는 최선의 방법은 단순히 개별 코드 조각을 더 열심히 들여다보는 것이 아니라, 인터넷을 하나로 묶어주는 관계를 이해하는 것임을 시사합니다. 웹을 신뢰와 불신이 사이트 간에 전달되는 사회적 네트워크로 취급함으로써, 연구진은 진실을 드러내는 보이지 않는 패턴을 찾아내는 방법을 발견했습니다.