당신이 로봇에게 문제를 포착하는 법을 가르치고 있다고 상상해 보세요. 컴퓨터 과학에서는 이를 **이상 탐지(anomaly detection)**라고 부릅니다. 보통, 당신은 로봇에게 '정상적인' 것들—예를 들어 조용한 거리나 평온한 서버실—의 사진 백만 장과, '나쁜' 것들—예를 들어 자동차 사고나 해커의 공격—의 사진 몇 장을 보여줍니다. 로봇은 무엇이 정상인지 학습하여, 무언가 이상한 일이 발생했을 때 "경보!"라고 외칠 수 있게 됩니다.

하지만 여기에 까다로운 점이 있습니다. 세상은 가만히 멈춰 있지 않습니다. '정상적인' 거리는 변하고, '정상적인' 서버실은 더 바빠질 수 있습니다. 이것을 **비정상 정지 환경(non-stationary environment)**이라고 합니다. 만약 당신이 로봇에게 예전 것을 잊게 하지 않고 계속해서 새로운 문제만을 보여준다면, 로봇은 혼란에 빠질 것입니다. 이것이 **연속적 이상 탐지(Continual Anomaly Detection, CAD)**의 과제입니다. 이는 마치 학생에게 작년에 배웠던 언어들을 여전히 말할 수 있으면서도, 매주 새로운 언어를 배우라고 요구하는 것과 같습니다. 단, 채점해 줄 선생님은 없습니다. 과학자들이 던지는 핵심 질문은 이것입니다. "어떻게 하면 로봇이 과거의 것을 잊지 않으면서도 새로운 기술을 계속 배울 수 있도록 만들 수 있을까?"

문제는 이 로봇들이 똑똑한지 확인하기 위해 우리가 사용하는 대부분의 테스트가 고장 나 있다는 점입니다. 학생의 새로운 언어 학습 능력을 테스트하려고 하면서 그냥 무작위로 텍스트 페이지를 건네주는 상황을 상상해 보세요. 만약 그 페이지들이 모두 같은 주제에 관한 것이라면, 학생은 똑똑해 보일 수 있지만 실제로 아무것도 배운 것이 아닙니다. 반대로 페이지들이 너무 다양하다면, 학생은 즉시 실패할 것입니다. 지금까지 연구자들은 이 로봇들을 테스트하기 위해 데이터를 어떻게 나눌지 추측해 왔으며, 종종 실제 삶을 반영하지 못하는 규칙들을 만들어냈습니다. 이 논문은 카밀 파버(Kamil Faber), 마테우시 스멘도프스키(Mateusz Smendowski), 그리고 로베르토 코리조(Roberto Corizzo)가 작성하였으며, 이렇게 말합니다. "추측은 그만합시다. 제대로 된 테스트를 만듭시다."

더 나은 테스트를 위한 "레시피"

저자들은 이러한 학습 로봇을 위한 좋은 테스트를 만드는 것이 단순히 데이터를 조각내는 것보다 훨씬 어렵다는 것을 깨달았습니다. 그들은 만약 데이터를 시간순으로 자른다면(예: "월요일의 데이터" 대 "화요일의 데이터"), 실제로는 동일한 두 날짜가 나올 수도 있다는 점을 발견했습니다. 로봇은 자신이 새로운 것을 배우고 있다고 생각하겠지만, 사실은 똑같은 것을 두 번 보고 있는 것뿐입니다. 그것은 지루한 테스트입니다. 반대로 너무 무작위로 자른다면, 로봇은 즉시 포기할 정도로 어려운 문제에 직면할 수도 있습니다.

이를 해결하기 위해 팀은 체계적인 프레임워크를 구축했습니다. 이것은 단순히 냄비에 재료를 던져 넣는 요리사가 아니라, 완벽한 "연속 학습 스튜(Continual Learning Stew)"를 만들기 위한 엄격한 레시피를 가진 아주 똑똑한 요리사와 같습니다.

이 레시피가 작동하는 방식은 다음과 같습니다:

1. 재료 찾기 (Task Discovery): 먼저, 프레임워크는 거대한 데이터 더미(예: 사이버 보안 로그)를 살펴보고 자연스러운 그룹들을 찾아냅니다. 수학적 기법인 **클러스터링(clustering)**을 사용하여 어떤 데이터 조각들이 자연스럽게 함께 모여 있는지 확인합니다. 이는 섞여 있는 레고 브릭 상자에서 무작위로 한 움큼 집어 드는 대신, 색깔이나 모양별로 분류하는 것과 같습니다.
2. 요리 맛보기 (Task Evaluation): 테스트를 내놓기 전에, 프레임워크는 "맛보기 테스트"를 실행합니다. 각 데이터 그룹에 대해 단순한 단일 작업(single-task) 로봇을 훈련시켜, 그 그룹이 실제로 학습 가능한지를 확인합니다. 만약 그룹이 너무 쉽거나(로봇이 즉시 해결함) 너무 어렵다면(로봇이 전혀 학습할 수 없음), 그 그룹은 제외됩니다.
3. 중복 확인 (Filtering): 프레임워크는 두 그룹이 기본적으로 동일한지 확인합니다. 만약 그룹 A와 그룹 B가 쌍둥이라면, 테스트에 둘 다 필요하지 않습니다. 또한 그룹 A를 학습하는 것이 그룹 B를 너무 쉽게 만드는지도 확인합니다. 로봇이 그룹 A를 배우고 나서 갑자기 노력 없이 그룹 B를 알게 된다면, 그것은 진정한 "연속적" 학습을 테스트하는 것이 아니기에 나쁜 테스트입니다.
4. 메뉴 구성하기 (Ordering): 이 부분이 가장 창의적인 부분입니다. 좋은 있고 구별되는 작업들의 목록이 정해지면, 로봇이 그것들을 어떤 순서로 볼지 결정해야 합니다. 저자들은 여섯 가지 다른 "메뉴" 또는 순서를 만들었습니다:
   • 부드러운 표류 (Smooth Drift): 로봇이 일몰처럼 천천히 일어나는 변화를 봅니다.
   • 급격한 표류 (Abrupt Drift): 로봇이 전등 스위치를 켜는 것처럼 갑작스럽고 충격적인 변화를 봅니다.
   • 커리큘럼 (Curriculum): 쉬운 작업부터 시작하여 점점 어려워지거나(또는 그 반대) 진행됩니다.
   • 일반화 (Generalization): 로봇이 다른 작업을 배우는 데 도움이 되는 작업들을 보거나, 매우 특정한 작업들을 봅니다.

다섯 가지 새로운 "게임"

이 프레임워크를 사용하여, 저자들은 단순히 이론을 쓴 것이 아니라 실제로 다섯 가지 새로운 벤치마크 시나리오(로봇들이 플레이할 새로운 비디오 게임과 같은 것)를 구축했습니다. 그들은 사이버 보안 분야의 세 가지 거대한 데이터셋(CICIDS2017, CICIDS2018, CIC-UNSW-NB15)을 사용했습니다. 이 데이터셋들은 정상적인 트래픽과 사이버 공격을 나타내는 기록들로 가득 차 있습니다.

그들은 다음을 만들었습니다:

• 세 가지 단일 데이터셋 시나리오: 이는 로봇이 특정 유형의 네트워크 내에서 발생하는 변화를 어떻게 처리하는지 테스트합니다.
• 두 가지 다중 데이터셋 시나리오: 이것들은 "보스 레벨"입니다. 서로 다른 출처의 데이터를 혼합하여, 로봇이 완전히 다른 환경에 적응하도록 강제합니다.

그 결과, 다섯 가지의 뚜렷한 "게임"이 만들어졌으며, 각 게임은 5개에서 13개의 서로 다른 "레벨(작업)"을 가집니다. 각 게임에 대해 앞서 언급한 여섯 가지 순서를 제공했습니다. 이는 이제 연구자들이 자신의 로봇을 공정하게 테스트하여, 로봇이 느린 표류, 갑작스러운 충격, 또는 쉽고 어려운 레벨의 혼합을 처리할 수 있는지 확인할 수 있음을 의미합니다.

그들이 발견한 것 (그리고 발견하지 못한 것)

저자들은 이 새로운 테스트를 여러 유형의 이상 탐지 모델에 실행했습니다. 그들은 다음과 같은 사실을 발견했습니다:

• 테스트는 어렵지만 공정합니다: 특별한 메모리 기술 없이( "Naive" 접근 방식) 로봇을 학습시키면, 로봇은 배운 것의 많은 부분을 잊어버렸습니다. 이것은 좋은 신호입니다! 이는 테스트가 실제로 도전적이라는 것을 의미합니다. 만약 로봇이 아무것도 잊지 않았다면, 그 테스트는 너무 쉬웠을 것입니다.
• 메모리가 도움이 됩니다: 로봇에게 작은 "리플레이 버퍼(replay buffer, 과거 데이터의 작은 기억)"를 허용했을 때, 성능이 훨씬 좋아졌습니다. 이는 이 새로운 시나리오들이 로봇이 실제로 과거를 기억할 수 있는지 테스트하는 데 유용하다는 것을 입 la 증명합니다.
• 모든 로봇이 똑같지는 않습니다: 어떤 모델은 새로운 것을 배우는 데는 뛰어났지만 과거를 기억하는 데는 형편없었습니다. 또 다른 모델은 두 가지 모두 적당히 잘했습니다. 새로운 프레임워크는 이러한 차이점을 명확하게 보여줍니다.

하지만 저자들은 자신들이 연속 학습 문제를 "해결했다"고 주장하지 않도록 주의를 기울였습니다. 그들은 모든 게임에서 승리하는 새로운 로봇을 발명한 것이 아닙니다. 대신, 그들은 더 나은 점수판과 더 나은 게임 세트를 만들었습니다. 그들은 이전의 테스트 방식들이 작업이 충분히 구별되지 않았거나 순서가 잘못되어 있었기 때문에 종종 결함이 있었다는 점을 보여주었습니다.

또한 몇 가지 한계점도 언급했습니다. 그들의 테스트는 현재 사이버 보안 데이터에만 국한되어 있습니다. 이 프레임워크가 의료 데이터나 주식 시장 데이터에서도 완벽하게 작동할지는 아직 알 수 없지만, 저자들은 그럴 가능성이 높다고 생각합니다. 또한, 많은 "단일 작업 전문가"를 훈련시켜야 했기 때문에 이 테스트를 구축하는 데 많은 컴퓨터 연산 능력이 필요했습니다.

이것이 왜 중요한가

당신이 아이에게 축구를 가르치려 한다고 상상해 보세요. 만약 아이가 절대 움직이지 않는 벽을 상대로만 경기를 한다면, 아이는 자신이 프로라고 생각할 수도 있습니다. 하지만 매 분마다 전략을 바꾸는 실제 선수들과 경기장에 내보낸다면, 당신은 아이가 정말로 잘하는지 알 수 있을 것입니다.

이 논문은 바로 그 '실제 경기장'을 만드는 것과 같습니다. 이는 과학자들에게 그들의 "로봇"이 진정으로 배우고 적응하고 있는지, 아니면 단순히 기술을 암기하고 있는지를 테스트할 수 있는 원칙적이고 재현 가능한 방법을 제공합니다. 다섯 가지 시나리오와 여섯 가지 순서를 제공함으로써, 저자들은 이렇게 말하고 있습니다. "여기 공정한 경기장이 있습니다. 이제, 누가 실제로 배울 수 있는지 봅시다."

논문은 결론적으로, 자신들이 로봇 자체를 고친 것은 아니지만, 로봇을 측정하는 방식을 고쳤다고 밝힙니다. 이는 매우 중요한 진전입니다. 저자들이 지적했듯이, 시스템을 올바르게 측정할 수 없다면 개선할 수도 없기 때문입니다. 그들은 다음 세대의 이상 탐지기가 변화하는 세상에 진정으로 대비할 수 있도록, 커뮤니티에 새로운 도구 세트를 전달했습니다.