SSHafe: A Real-Time SSH Brute Force Attack Detection and Novel Credential Rotation Standard

인터넷을 거대한, 북적이는 도시라고 상상해 보세요. 모든 건물은 컴퓨터 서버이고, 정문은 SSH라고 불리는 특별한 프로토콜입니다. 이것은 시스템 관리자들이 건물을 들어가서 문제를 해결하거나, 메일을 확인하거나, 불을 켜기 위해 들어오는 주요 방법입니다. 대부분의 이 문들은 두 가지 방식으로 열립니다: 하이테크 열쇠(공개 키) 또는 비밀 단어(비밀번호)입니다. 비밀 단어는 어디에서나 입력할 수 있어 사용하기 더 쉽지만, 치명적인 약점이 있습니다. 누군가 그 단어를 알아내면 바로 들어올 수 있다는 점이죠.

여기 "브루트 포스(무차별 대입)" 공격이 등장합니다. 당신의 문 앞에 서서, 운 좋게 당신의 비밀과 일치하는 것을 찾기 위해 매 초마다 수천 개의 서로 다른 비밀번호를 속삭이며 시도하는 장난꾸러기 로봇을 상상해 보세요. 만약 로봇이 운이 좋다면, 그는 바로 걸어 들어올 것입니다. 이를 막기 위해 많은 건물은 Fail2Ban이라는 이름의 보디가드를 고용합니다. 이 보디가드는 똑똑하지만 단순합니다. "비밀번호를 세 번 틀리면, 밖으로 쫓아내겠다." 하지만 로봇들은 교활합니다. 그들은 속삭이는 속도를 늦추거나 도시 전역으로 흩어져서, 수천 개의 서로 다른 문에서 딱 한 번씩만 시도할 수 있습니다. 단순한 보디가드는 그들이 "3회 실패" 규칙을 어기지 않기 때문에 눈치채지 못합니다. 이는 로봇들이 몰래 잠입할 수 있는 틈을 남겨두며, 내부 사람들을 취약한 상태로 만듭니다.

여기서 새로운 연구팀이 SSHafe라는 프로젝트를 통해 등장합니다. 그들은 단순히 실패 횟수를 세는 것이 아니라, 노크의 '리듬'을 관찰하는 초스마트 보안 요원을 만들었습니다. 그들은 실제 사람이 비밀번호를 입력할 때는 자연스럽고 느린 심장 박동을 갖는 반면, 비밀번호를 추측하려는 로봇은 광란의 기관총 심장 박동을 가진다는 사실을 깨달았습니다. 로그 기록에서 이러한 심장 박동을 듣는 특수한 수학적 방식(머신 러닝)을 사용하여, SSHafe는 로봇이 아무리 은밀하게 움직이더라도 즉시 찾아낼 수 있습니다.

하지만 로봇을 찾아내는 것은 전투의 절반에 불고합니다. 로봇이 잡히면 어떻게 될까요? 보통 건물 주인은 비밀번호를 재설정해야 하며, 이는 종종 이메일이나 문자 메시지로 링크를 보내는 과정을 포함합니다. 연구진은 이러한 복구 방식이 마치 주의가 분산된 사이 주인에게 여분의 열쇠를 건네주는 것과 같다고 생각했습니다. 그것들은 도난당하거나 속임수에 넘어갈 수 있기 때문입니다. 그래서 SSHafe는 비밀번호를 변경하는 완전히 새로운 방법을 도입합니다. 링크를 보내는 대신, 비밀번호 없이도 당신이 당신임을 증명하는 디지털 악수인 "패스키(passkey)"를 사용합니다. 이것은 신원 증명과 비밀번호 변경이라는 두 가지 행위를 하나의 깨지지 않는 동작으로 결합합니다.

새로운 경비원과 마법의 악수

이 논문은 은밀하게 비밀번호를 추측하는 로봇들을 실시간으로 잡아내고, 실제 소유자가 문을 더 단단히 잠글 수 있도록 돕기 위해 설계된 시스템인 SSHAfe를 제시합니다. 연구진은 "LightGBM"이라는 가벼운 머신 러닝 모델을 사용하여 이 시스템을 구축했습니다. 이 모델을 수백만 개의 로그를 읽고 공격의 특정 "지문"을 인식하도록 학습된 탐정이라고 생각하면 됩니다.

SSHAfe는 단순히 비밀번호가 몇 번 틀렸는지만 보는 것이 아니라, 타이밍을 봅니다. 이 시스템은 지난 30초, 60초, 또는 300초 동안의 영상을 보는 것과 같은 "슬라이딩 윈도우(sliding window)" 기술을 사용합니다. 시스템은 다음과 같은 질문을 던집니다. "이 사람이 지난 1분 동안 몇 번 시도했는가?", "얼마나 많은 서로 다른 사용자 이름을 시도했는가?", 그리고 "얼마나 빨리 타이핑하는가?" 연구진은 일반적인 사람은 초당 한두 번 비밀번호를 시도할 수 있지만, 로봇은 초당 3~5회 또는 그 이상을 시도한다는 것을 발견했습니다. 이 광란의 속도가 바로 로봇의 결정적인 단서입니다.

시스템이 이 광란의 리듬을 감지하면, 단순히 기다리지 않습니다. 즉각적으로 행동합니다. 10초 이내에 대상 사용자 계정을 차단합니다. 하지만 여기서 영리한 부분이 있습니다. 단순히 문을 잠그고 사용자를 난처하게 만드는 대신, SSHafe는 "이봐요, 누군가 침입하려고 합니다! 문을 잠갔습니다. 여기를 클릭하여 안전하게 비밀번호를 변경하세요."라는 디지털 표지판(SSH 배너)을 띄웁니다.

"원스텝" 비밀번호 재설정

이 논문에서 가장 흥از로운 부분은 비밀번호 변경을 처리하는 새로운 방식입니다. 보통 비밀번호를 재설정하는 것은 두 단계의 춤과 같습니다. 먼저, 당신이 누구인지 증명하고(이메일 링크나 휴대폰 코드를 통해), 그다음 별도의 단계에서 새 비밀번호를 입력합니다. 연구진은 이 "증명" 단계가 도난당하거나 속임수에 쓰일 수 있기 때문에 위험하다고 주장합니다.

SSHAfe는 이 두 단계를 하나로 결합한 **새로운 자격 증명 순환 표준(novel credential rotation standard)**을 제안합니다. 이 시스템은 FIDO2 패스키(휴대폰이나 컴퓨터에 저장된 디지털 열쇠와 같은 기술)를 사용합니다. 비밀번호를 변경해야 할 때, 시스템은 기존 비밀번호를 묻거나 이메일을 보내는 대신, 당신의 기기에 "마법의 악수"를 요청합니다.

논문에 따른 마법의 작동 방식은 다음과 같습니다:

1. 서버가 당신의 기기에 챌린지(challenge)를 보냅니다.
2. 당신의 기지는 비밀 키(패스키)를 사용하여, 아무도 읽을 수 없도록 암호화된 상태로 새로운 비밀번호가 포함된 메시지에 서명합니다.
3. 서버는 서명을 확인합니다. 서명이 일치하면, 서버는 당신이 실제 소유자임을 확인하는 동시에 새로운 비밀번호를 동시에 전달받습니다.

이 모든 과정은 단일 흐름으로 일어납니다. 쿠키도, 오래 지속되는 세션도, 훔칠 수 있는 이메일 링크도 없습니다. 논문은 이 방식이 피싱, 세션 하이재킹, 그리고 "재생(replay)" 공격(나쁜 사람이 메시지를 기록했다가 나중에 다시 재생하는 공격)에 저항력이 있다고 주장합니다.

결과: 빠르고, 정확하며, 강력함

연구진은 인터넷에 공개된 클라우드 컴퓨터(Azure VM)를 사용하여 실제 환경에서 SSHafe를 테스트했습니다. 또한 Hydra라는 도구와 1,430만 개의 흔한 비밀번호 목록을 사용하여 공격을 시뮬레이션했습니다.

결과는 인상적이었습니다. 테스트 데이터에서 이 시스템은 **99.96%**의 탐지 정확도를 달enc했습니다. 이는 거의 모든 공격 시도를 잡아냈음을 의미합니다. 라이브 테스트에서도 시스템은 10초 이내에 공격자를 식별하고 차단했습니다. 사용자의 비밀번호가 취약하더라도, 시스템이 로봇이 추측하기 전에 계정을 잠가버리기 때문에 공격자는 침입할 수 없었습니다.

또한 논문은 SSHafe를 다른 방법들과 비교했습니다. 기존의 Fail2Ban 같은 시스템은 단순한 규칙(예: "3회 실패 시 차단")에 의존하지만, SSHafe는 공격의 복잡한 리듬을 사용하여 그들을 잡아냅니다. 연구진은 이 방법이 테스트에서 **100%의 정밀도(precision)**를 보였다는 것을 발견했는데, 이는 무고한 사용자를 실수로 차단하는 일(오탐)이 전혀 없었음을 의미합니다.

이것이 중요한 이유

이 논문은 우리가 단순한 규칙과 구식의 복구 방식을 넘어서야 한다고 주장합니다. IP를 차단하거나 이메일 링크를 보내는 "옛날 방식"은 레이저 검에 맞서 나무 방패를 사용하는 것과 같습니다. 현대의 자동화된 로봇들을 상대하기에는 역부족입니다. SSHafe는 두 부분으로 된 솔루션을 제공합니다: 공격의 리듬을 듣는 스마트한 경비원, 그리고 취약한 링크나 코드에 의존하지 않는 안전한 비밀번호 변경 방식입니다.

연구진은 단 2 vCPU와 1 GB 메모리를 가진 소박한 클라우드 컴퓨터에서도 이 테스트를 수행하여, 이 첨단 솔루션이 슈퍼컴퓨터를 필요로 하지 않는다는 것을 입증했습니다. 심지어 시스템을 2주 동안 계속 실행해 두었으며, 그 과정에서 인터넷상의 실제 해커들에게 자연스럽게 발견되어 공격을 받기도 했습니다. 시스템은 이러한 실제 환경의 공격으로부터 성공적으로 방어해 냈으며, 자격 증명이 취약한 상황에서도 계정을 안전하게 지켜냈습니다.

요약하자면, SSHafe는 리듬을 감지하는 스마트한 탐지기와 안전한 원스텝 비밀번호 변경 방식을 결합함으로써, 우리의 디지털 문을 훨씬 더 강력하게 방어할 수 있음을 보여줍니다. 이는 서버가 단순히 공격에 반응하는 것을 넘어, 발을 들이기도 전에 공격을 간파하고 압도하는 미래를 향한 한 걸음입니다.