Bridging Explanation and Operations: A Systematic Review and Taxonomy of XAI-Enabled Cybersecurity Detection

현대의 디지털 방어 세계에서 보안 팀은 더 이상 알려진 악성 행위의 정적인 목록에만 의존하여 공격자를 포착하지 않습니다. 대신, 그들은 방대한 양의 네트워크 트래픽으로부터 패턴을 학습하여 침해 징후를 포착하는 인공지능, 즉 시스템으로 눈을 돌렸습니다. 이러한 시스템은 위협을 찾아내는 데 매우 뛰어나며, 인간 전문가가 놓칠 수 있는 복잡한 공격을 식별해 내기도 합니다. 그러나 이 강력함에는 대가가 따릅니다. 가장 진보된 학습 시스템들은 블랙박스처럼 작동합니다. 이들은 보안 분석가에게 특정 이벤트가 위험하다고 알려줄 수는 있지만, 왜 그런 결정을 내렸는지 쉽게 설명하지는 못합니다. 오보가 귀중한 시간을 낭비하고 놓친 위협이 재앙을 초래할 수 있는 분야에서, 결정의 이유를 아는 것은 결정 그 자체만큼이나 중요합니다. 이러한 명확성에 대한 요구는 '설명 가능한 인공지능(XAI)'이라는 분야를 탄생시켰으며, 이는 블랙박스를 열어 기계의 선택 뒤에 숨겨진 논리를 보여주는 것을 목표로 합니다.

키프로스, 노르웨이, 그리스의 대학 연구진들은 최근 사이버 보안을 위해 이 분야의 현재 상태를 구체적으로 매핑하는 작업을 수행했습니다. 그들은 2020년에서 2026년 사이에 발표된 수백 편의 연구를 대상으로 체계적인 검토를 실시하여, 이러한 설명 도구들이 네트워크, 장치 및 산업 시스템을 보호하는 데 어떻게 사용되고 있는지 조사했습니다. "설명과 운영의 가교(Bridging Explanation and Operations)"라는 제목의 이 연구는 단순히 새로운 기술을 나열하는 데 그치지 않고, 이러한 도구들이 실제 환경에서 어떻게 구축되고, 테스트되며, 사용되는지를 해부합니다. 연구진은 기술이 크게 발전했음에도 불구하고, 설명을 생성하는 능력과 실제 보안 센터에서 그 설명을 믿고 행동할 수 있는 능력 사이에 결정적인 격차가 존재한다는 것을 발견했습니다.

연구진은 기업 네트워크를 지키는 침입 탐지 시스템부터 스마트 공장을 보호하는 센서, 그리고 사물인터넷(IoT) 기기에 이르기까지 광범위한 디지털 전장을 다루는 연구들을 검토했습니다. 그들은 조사 결과를 네 가지 주요 영역, 즉 해결하려는 특정 보안 문제의 유형, 문제를 해결하기 위해 사용된 학습 구조, 결정에 대한 설명을 선택한 방법, 그리고 결과가 어떻게 평가되었는가로 분류하여 명확한 프레임워크를 구성했습니다. 여기서 나타난 결과는 특정 접근 방식이 지배하고 있다는 것이었습니다. 대부분의 연구자는 매우 정확하고 복잡한 머신러닝 모델을 채택한 후, 모델의 작업이 완료되면 그 결정에 대한 설명을 제공하기 위해 별도의 도구를 부착합니다. 이는 집을 지은 후에 페인트를 덧칠하는 것과 같은 '사후(post-hoc)' 방식입니다. 이 작업에 가장 흔히 쓰이는 도구는 어떤 데이터 포인트가 최종 결정에 가장 큰 영향을 미쳤는지를 계산하는 두 가지 특정 기법입니다. 연구진은 이러한 접근 방식이 높은 정확도를 허용하지만, 설명을 시스템 설계의 필수적인 부분이 아닌 사후 고려 사항처럼 취급하는 경우가 많다고 지적했습니다.

또한 이 검토는 이러한 시스템을 테스트하는 방식의 심각한 불균형을 강조했습니다. 분석된 대다수의 연구에서 연구자들은 정확도나 오류율 같은 표준 점수를 사용하여 시스템이 공격을 얼마나 잘 탐지하는지에 거의 전적으로 집중했습니다. 설명 자체의 품질을 테스트하기 위해 더 나아간 연구는 매우 적었습니다. 연구진은 설명이 그럴듯해 보일 수는 있지만 근본적으로 틀렸거나, 불안정하거나, 영리한 공격자에 의해 쉽게 속을 수 있다고 지적했습니다. 그들은 설명의 안정성(유사한 공격에 대해 동일한 이유를 제시하는지 여부)이나 조작에 대한 저항력과 같은 특성이 거의 측정되지 않았음을 발견했습니다. 공격자가 탐지 시스템을 속이려고 적극적으로 시도하는 고위험 환경에서, 조작될 수 있는 설명은 위험한 취약점이 됩니다. 이 논문은 현재의 연구가 탐지기가 작동함을 증명하는 데 너무 치중되어 있으며, 설명이 신뢰할 수 있음을 증명하는 데는 충분히 신경 쓰지 않고 있다고 제안합니다.

또 다른 주요 발견은 이러한 도구들의 인간 보안 분석가에 의한 실질적인 활용에 관한 것이었습니다. 검토 결과, 많은 논문이 왜 경보가 발생했는지를 보여주기 위해 화려한 차트와 그래프를 만들어내지만, 이러한 시각 자료가 인간 분석가가 더 나은 혹은 더 빠른 결정을 내리는 데 실제로 도움이 되는지를 테스트한 연구는 거의 없었습니다. 연구진은 실제 보안 운영 센터에서 분석가들은 쏟아지는 경보에 압도되어 있으며 신속한 판단을 내려야 한다는 점에 주목했습니다. 기술적으로는 정확하지만 너무 복잡하거나 처리 속도가 느린 설명은 부담을 덜어주기는커녕 오히려 짐을 지웁로 합니다. 연구는 현재의 연구가 인간 사용자의 인지적 부하나 설명을 생성하는 데 걸리는 시간을 충분히 고려하지 못하고 있으며, 이는 위협이 진행 중인 실시간 상황에서 매우 결정적일 수 있다고 밝혔습니다.

저자들은 또한 이 분야가 이러한 시스템을 테스트하기 위해 소수의 표준 데이터셋에 크게 의존하고 있다는 점을 언급했습니다. 이러한 공유 데이터셋은 연구자들이 결과를 비교할 수 있게 해주지만, 검토 결과 이러한 관행이 잘못된 안전감을 조성할 수 있음을 시사했습니다. 이 특정하고 잘 알려진 데이터셋에서 완벽하게 작동하는 시스템은 실제 네트워크의 무질서하고 예측 불가능한 현실에 직면했을 때 어려움을 겪는 경우가 많습니다. 연구진은 이러한 도구들이 진정으로 유용해지려면 불완전한 데이터나 끊임없이 변화하는 환경을 포함한 현실적인 조건 하에서 테스트되어야 한다고 주장했습니다. 또한 그들은 설명 능력이 사후에 추가되는 것이 아니라 처음부터 모델 내에 내장된 시스템에 대한 연구를 촉구하며, 이것이 더 신뢰할 수 있고 견고한 보안 도구로 이어질 수 있다고 보았습니다.

궁극적으로, 이 종합적인 검토는 디지털 방어의 미래를 위한 로드맵 역할을 합니다. 이는 우리가 기계에게 위협을 찾는 법을 가르치는 데는 큰 진전을 이루었지만, 기계가 인간이 신뢰하고 효과적으로 사용할 수 있는 방식으로 스스로를 설명하도록 가르치는 문제는 아직 완전히 해결하지 못했음을 확인시켜 줍니다. 연구진은 다음 단계가 단순히 더 똑똑한 탐지기를 만드는 것이 아니라, 설명 자체가 탐지만큼이나 안전하고, 안정적이며, 신뢰할 수 있는 시스템을 구축하는 것이라고 결론짓습니다. 초점을 단순히 설명을 생성하는 것에서부터, 그 설명을 실제 위협과 인간의 요구에 맞춰 엄격하게 검증하는 것으로 전환함으로써, 이 분야는 인공지능이 우리 디지털 세계를 보호하는 진정으로 투명하고 믿을 수 있는 파트너가 되는 미래로 나아갈 수 있습니다.