당신이 거대하고 북적이는 공항의 보안 요원이라고 상상해 보십시오. 당신의 임무는 수백만 명의 여행객 사이에서 문제아를 찾아내는 것입니다. 과거에는 경비원들이 얼굴을 보거나 가방 속의 특정 물건을 확인했습니다. 하지만 오늘날의 "나쁜 놈들"은 얼굴을 숨기고 가방을 싸는 데 너무 능숙해서, 경비원들은 이제 아주 똑똑한 로봇(머신러닝)을 사용하여 이들을 찾아내기 시작했습니다. 이 로봇들은 믿기지 않을 정도로 정확하며, 종종 나쁜 놈들의 99%를 잡아냅니다. 하지만 여기에는 함정이 있습니다. 이 로봇들은 "블랙박스"라는 점입니다. 로봇은 "경보!"라고 소리치지만, 왜 그런지는 말해주지 않습니다. 로봇이 범인을 잡은 이유가 그가 뛰고 있었기 때문인가요? 무거운 여행 가방을 들고 있었기 때문인가요? 아니면 단순히 빨간 모자를 쓰고 있어서 혼란을 느낀 것인가요? 만약 로봇이 스스로를 설명할 수 없다면, 보안 팀은 그것을 신뢰할 수 없으며, 새로운 종류의 문제를 포착하도록 로봇을 가르칠 수도 없습니다.

이것이 바로 "설명 가능한 AI(XAI)"라는 분야가 등장하는 지점입니다. XAI를 수학 시험에서 풀이 과정을 적는 학생처럼, 로봇에게 자신의 작업 과정을 보여주도록 강제하는 번역가라고 생각하십시오. 연구자들이 던진 핵심 질문은 이것입니다: 한 유형의 범죄자(예: 협력하는 해커 그룹)를 잡기 위해 로봇이 사용하는 단서가 다른 유형(예: 가짜 트래픽의 거대한 홍수)을 잡는 데도 작동하는가? 아니면 로봇이 단지 자신이 훈련받은 특정 "유니폼"을 암기한 것뿐인가? 만약 로봇이 빨간 모자만 알고 있다면, 파란 모자를 쓴 범인은 놓치게 될 것입니다. 이 논문은 이 미스터리를 파고들며, 로봇이 학습한 "단서"가 보편적인 것인지 아니면 단지 훈련 캠프에 특화된 것인지를 테스트합니다.

위대한 탐정 교체: 봇넷(Botnets) vs 플러드(Floods)

이 연구에서 두 명의 연구자, Gizachew와 Shahzad는 일곱 가지 서로 다른 "로봇 탐정"(머신러닝 모델)을 엄격한 테스트에 투입하기로 했습니다. 그들은 이 로봇들이 단 아홉 개의 "시계열적" 단서 체크리스트만을 사용하여 두 가지 매우 다른 유형의 사이버 범죄자를 찾아낼 수 있는지 확인하고자 했습니다.

두 명의 악당:

1. 봇넷(The Botnet): 수천 개의 작고 멍청한 드론(감염된 컴퓨터)이 마스터의 신호를 기다리며 움직이는 군집을 상상해 보십시오. 그들은 마치 행진하는 악단처럼 완벽하고 지루하게 일제히 움직입니다. 그들의 "시그니처"는 엄격하고 리드미컬한 타이밍입니다.
2. 멀티 벡터 공격(The Multi-Vector Attack): 다양한 문제아들이 뒤섞인 혼란스러운 폭도를 상상해 보십시오. 어떤 이들은 거대한 돌을 던지고(플러드), 어떤 이들은 자물쇠를 따고(스캔), 또 다른 이들은 비밀번호를 추측하려고 시도합니다(브루트 포스). 그들은 시끄럽고 무질서하며, 크기와 속도가 다양합니다.

아홉 가지 단서:
메시지의 내용(종종 암호화되어 있거나 비공개인)을 보는 대신, 연구자들은 로봇이 오직 트래픽의 타이밍과 형태만을 보도록 강제했습니다. 그들은 아홉 가지 항목의 체크리스트를 제공했습니다:

• 대화가 얼마나 지속되었는가.
• 얼마나 많은 데이터가 전송되었는가 (볼륨).
• 얼마나 빠르게 전송되었는가 (속도).
• 데이터가 어느 방향으로 흘렀는가 (방향).
• 개별 "패키지"의 크기가 얼마나 큰가 (패킷 크기).
• 그리고 가장 중요한 것은, 패키지 사이의 시간 간격(Inter-Arrival Time 또는 IAT)입니다.

충격적인 발견: 악당마다 규칙이 다르다

로봇들은 이 아홉 가지 단서를 바탕으로 훈련되었으며, 두 시나리오 모두에서 거의 100%에 달하는 놀라운 성과를 거두며 나쁜 놈들을 잡아냈습니다. 하지만 연구자들이 로봇에게 어떻게 그들을 잡았는지 설명하라고 요청했을 때, 결과는 놀라웠습니다.

봇넷 검거:
로봇이 봇넷(행진하는 드론들)을 잡을 때, 그들은 거의 전적으로 타이밍에 의존했습니다. 그들은 메시지 사이의 간격을 보았습니다. 드론들은 완벽한 리듬으로 움직이기 때문에 시간 간격이 매우 규칙적입니다. 로봇은 이렇게 말했습니다. "아하! 이 메시지들 사이의 시간이 너무 완벽해! 이건 봇이야!" 실제로 봇넷 탐지기들에게 타이밍 단서는 매우 중요해서, 만약 타이밍을 뒤섞어 버린다면 로봇의 검거 능력은 거의 제로로 떨어졌습니다.

멀티 벡터 검거:
혼란스러운 폭도(플러드와 스캔)를 잡을 때, 로봇들은 타이밍을 거의 완전히 무시했습니다. 대신, 그들은 크기와 볼륨을 보았습니다. 그들은 이렇게 말했습니다. "이것 좀 봐! 패킷들이 모두 이상한 크기로 똑같아," 또는 "이 사람은 한 방향으로 너무 많은 데이터를 보내고 있어!" 혼란스러운 폭도는 무작위 속도로 움직이기 때문에 타이밍은 그리 중요하지 않았습니다.

"블랙박스"의 함정:
여기서 가장 결정적인 발견이 있습니다. 연구자들은 봇넷을 잡기 위해 사용된 단서가 멀티 벡터 공격에도 작동하는지, 혹은 그 반대의 경우도 그러한지 확인하기 위해 수학적 검증을 실시했습니다. 그들은 두 그룹 사이의 "중요도"가 일치하는지 확인했습니다. 결과는 어땠을까요? 전혀 일치하지 않았습니다. 상관관계는 거의 0(0.01)이었습니다.

이것은 만약 당신이 봇넷을 찾아내도록 훈련된 로봇을 가져다가 플러드를 찾으라고 명령한다면, 그 로봇은 엉뚱한 단서를 찾고 있기 때문에 실패할 가능성이 높다는 것을 의미합니다. 이는 마치 개에게 공을 가져오라고 가르친 다음, 똑같이 "가져와"라는 단어를 사용했다고 해서 프리스비를 잡을 것이라 기대하는 것과 같습니다. 이 논문은 보안 시스템 간에 "특징 중요도(feature importance)" 대시보드를 단순히 복사해서 붙여넣는 방식으로는 작동하지 않는다는 점을 명시적으로 밝히고 있습니다. 단서들은 도메인 특화적입니다.

한 줄기 빛: "강건한" 단서들

그렇다면 모든 희망이 사라진 것일까요? 모든 유형의 공격마다 다른 로봇이 필요한 걸까요? 꼭 그렇지는 않습니다. 연구자들은 "공통 분모"를 찾기 위해 영리한 기술을 사용했습니다. 그들은 물었습니다: "두 유형의 공격 모두에서 가장 중요하지 않은 단서는 무엇인가?" 아닙, 그들은 반대로 물었습니다: "두 세계의 최소 점수를 기준으로 했을 때도 여전히 중요한 단서는 무엇인가?"

두 세계(봇넷의 세계와 플러드의 세계) 모두에서 살아남은 단서(즉, 양쪽 모두에서 중요한 단서)를 찾음으로써, 그들은 세 가지 초강력한 시그니처인 "합의 집합(Consensus Set)"을 발견했습니다:

1. 타이밍의 가변성: 시간 간격이 얼마나 변하는가 (단순한 평균 시간이 아니라).
2. 소스 바이트 비율: 데이터가 전송되는 양과 수신되는 양 사이의 균형.
3. 평균 패킷 크기: 데이터 덩어리의 전형적인 크기.

이 세 가지 단서가 바로 "유니버스 키(universal keys)"입니다. 이것들은 나쁜 놈들이 속이기 어려운 것들입니다. 만약 봇넷이 자신을 숨기기 위해 타이밍을 조작하려고 하면, 자신의 리듬을 망가뜨리게 됩니다. 만약 플러드 공격자가 숨기기 위해 패킷 크기를 바꾸려 한다면, 자신의 플러드 패턴을 깨뜨릴 수 있습니다.

이것이 당신에게 의미하는 바

이 논문은 "블랙박스" 로봇들이 나쁜 놈들을 잘 잡기는 하지만, 우리가 맹목적으로 신뢰해서는 안 된다고 결론짓습니다. 우리는 내부를 들여다보고 로봇이 실제로 무엇을 보고 있는지 확인하기 위해 설명 가능한 AI(XAI)를 사용해야 합니다.

이 연구는 다음을 보여줍니다:

• 봇에게는 타이밍이 왕이다: 봇넷을 잡고 싶다면, 시계를 보십시오.
• 플러드에게는 크기가 왕이다: 플러드를 잡고 싶다면, 볼륨을 보십시오.
• 복사해서 붙여넣지 마십시오: 똑똑하다고 해서 한 유형의 공격을 위해 훈련된 로봇이 다른 유형의 공격도 알아서 찾아낼 것이라고 가정해서는 안 됩니다.
• 안전한 선택: 어디서나 작동하는 보안 시스템을 원한다면, 세 가지 "합의" 단서(타이밍 가변성, 데이터 균형, 패킷 크기)에 집중하십시오.

연구자들은 이 결과가 특정 데이터셋(CIC-IDS2017 및 CTU-13)에 기반하고 있다는 점을 주의 깊게 언급했습니다. 이 데이터셋들은 일종의 훈련 시뮬레이션과 같습니다. 비록 로봇들이 이 테스트에서는 완벽한 성능(99% 이상의 정확도)을 보였지만, 실제 세상은 더 복잡합니다. 그러나 그들이 사용한 방법, 즉 로봇에게 스스로를 설명하도록 강제하고 서로 다른 세계를 관통하여 살아남는 단서를 찾는 방식은, 단순히 추측하는 것이 아니라 실제로 자신이 보고 있는 것을 이해하는 보안 시스템을 구축하는 새롭고 신뢰할 수 있는 길을 제시합니다.