Do Machine Learning Security Detectors Survive New Attacks? A Leakage Free Evaluation of Hidden Prompt Injection Detection in AI Coding Agents, Malicious npm and PyPI Package Detection, and Network Intrusion Detection
본 논문은 일반적인 무작위 분할 방식에서는 완벽에 가까운 성능을 달리는 머신러닝 보안 탐지기들이, AI 프롬프트 인젝션, 악성 패키지, 그리고 네트워크 침입 탐지 시나리오 전반에 걸쳐 누설이 없는 엄격한 프로토콜을 통해 미지의 공격 기법 및 시간적 변화를 대상으로 평가했을 때 처참한 실패율을 겪는다는 것을 입증한다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
현대 디지털 세상에서 보안 시스템은 종종 머신러닝, 즉 과거의 공격 사례 수천 개를 학습하여 문제를 포착하는 법을 배우는 일종의 컴퓨터 프로그램에 의존합니다. 이 프로그램들은 네트워크 트래픽을 스캔하고, 소프트웨어가 설치되기 전에 파일을 점검하며, 심지어 인공지능 코딩 어시스턴트가 프로그래머를 돕기 위해 사용하는 지침을 읽는 디지털 경비원 역할을 합니다. 수년 동안 이 경비들을 테스트하는 표준적인 방법은 알려진 공격들을 한 더미 모아놓고, 이를 훈련용과 테스트용이라는 두 그룹으로 나누는 것이었습니다. 이 방식은 경비가 미래에 마주할 공격들이 이미 학습한 것들과 매우 유사할 것이라는 가정을 전제로 합니다. 하지만 현실 세계의 공격자들은 가만히 머물러 있지 않습니다. 그들은 끊임없이 새로운 속임수를 발명하고, 도구를 숨기는 방식을 바꾸며, 방어자들이 한 번도 본 적 없는 시간과 장소를 노려 공격합니다. 결정적인 질문은 이 디지털 경비들이 실제로 새로운 종류의 위협을 인식할 수 있는지, 아니면 단순히 과거의 것들을 암기했을 뿐 게임의 규칙이 바뀌었을 때 실패하게 되는지를 확인하는 것입니다.
포트 하코트 대학교(University of Port Harcourt)의 연구팀은 데이터 누출을 방지하기 위해 설계된 단일하고 엄격한 방법을 사용하여, 세 가지 매우 다른 유형의 디지털 위협에 대해 보안 탐지기를 테스트함으로써 이 질문에 답하고자 했습니다. 연구진은 AI 코딩 에이전트를 위해 파일에 숨겨진 지침을 찾아내는 능력, 온라인 라이브러리의 악성 소프트웨어 패키지에 대응하는 능력, 그리고 네트워크 침입을 식별하는 성능을 조사했습니다. 데이터를 무작위로 섞는 대신, 연구진은 탐지기들이 한 번도 경험하지 못한 상황, 즉 새로운 은닉 기술을 사용하는 공격, 이후 연도에 나타난 공격, 또는 완전히 다른 데이터셋에서 온 공격에 직면하도록 강제했습니다. 또한, 탐지기가 실제 위험을 이해하는 것이 아니라 파일 크기와 같은 단순하고 명백한 단서—예를 들어 파일의 크기—에 의존하는 '지름길(shortcut)'을 이용하고 있는지도 확인했습니다.
연구의 첫 번째 부분은 프로그래머의 코딩을 돕기 위해 설정 파일 등을 읽는 AI 코딩 에이전트에 초점을 맞추었습니다. 공격자들은 인간의 눈에는 보이지 않지만 컴퓨터는 명령으로 읽는 투명한 문자나 이상한 기호를 사용하여 이러한 파일 안에 비밀 지침을 숨기기 시작했습니다. 연구진은 공개 저장소에서 약 5,000개의 실제 파일을 수집한 후, 9가지 서로 다른 은닉 기술을 사용하여 무해한 숨겨진 지침을 심었습니다. 그들은 다섯 가지 서로 다른 탐지기를 테스트하여 이 함정들을 찾아낼 수 있는지 확인했습니다. 탐지기가 훈련 중에 학습했던 것과 동일한 은닉 기술로 테스트되었을 때는 거의 완벽하게 수행하며 거의 모든 숨겨진 지침을 잡아냈습니다. 그러나 연구진이 탐지기가 본 적 없는 새로운 은닉 기술으로 테스트했을 때, 일부 모델의 성능은 무너졌습니다. 특정 특징(예: 투명 문자의 개수)을 세는 것에 의존하는 탐지기는 새로운 공격의 96%를 놓쳤습니다. 반면, 숨겨진 문자를 일반적인 읽기 가능한 텍스트로 먼저 변환한 후 파일의 실제 텍스트를 읽는 탐지기는 높은 성능을 유지했습니다. 연구는 또한 소규모 오픈 소스 AI 모델들이 이러한 숨겨진 지침을 따라 최대 3분의 2의 사례에서 비밀 명령을 수행한다는 것을 발견했으며, 투명 문자를 단순히 삭제하는 것이 오히려 AI에게 공격을 더 이해하기 쉽게 만들 수도 있다는 점을 밝혀냈습니다.
두 번째 연구는 개발자들이 코드를 다운로드하는 거대한 온라인 상점인 npm 및 PyPI 라이브러리의 악성 소프트웨어 패키지를 살펴보았습니다. 연구진은 2024년, 2025년, 2026년의 알려진 수천 개의 악성 패키지를 포함하여 13,000개 이상의 패키지를 수집했습니다. 그들은 오래된 패키지로 탐지기를 훈련시킨 후, 2026년의 새로운 공격 파동을 대상으로 테스트했습니다. 코드 자체를 살펴보는 한 탐지기는 강력한 모습을 보이며 90% 이상의 새로운 악성 패키지를 잡아냈습니다. 반면, 패키지의 전체 크기나 내부 파일 수와 같은 정적 특징에 의존하는 또 다른 탐지기는 처음에는 잘 작동했으나, 연구진이 크기 기반의 단서를 제거하자 급격히 실패했습니다. 악성 패키지가 흔히 작다는 사실에 의존하지 않게 되자, 이 탐지기의 새로운 공격 탐지 능력은 크게 떨어졌으며, 이는 해당 탐지기가 진정한 악성코드를 식별하는 것이 아니라 지름길에 의존하고 있었음을 드러냈습니다. 연구는 또한 탐지기들이 합법적이고 인기 있는 라이브러리에 몰래 끼워 넣어진 악성 코드를 찾는 데 어려움을 겪고 있음을 보여주었는데, 이는 2026년에 더욱 흔해진 기법입니다.
세 번째 연구는 해커를 포착하기 위해 컴퓨터 네트워크를 흐르는 데이터를 스캔하는 네트워크 침입 탐지를 다시 다루었습니다. 연구진은 수년간 이 시스템들을 테스트하는 표준으로 사용되어 온 세 가지 널리 쓰이는 데이터셋을 사용했습니다. 그들은 이 데이터셋들에 중복 항목과 오류가 많다는 것을 발견했으며, 이는 이전의 성공률을 부풀렸을 가능성이 높습니다. 연구진이 초기 데이터로 훈련하고 이후의 데이터로 테스트했을 때, 시스템의 성능은 급락했습니다. 데이터를 무작위로 섞었을 때 완벽해 보였던 탐지기는 그다음 주 발생한 트래픽을 마주했을 때 동전 던지기 수준보다 나을 바가 없었습니다. 해당 탐지기는 이전에 본 적 없는 특정 봇넷 트래픽이나 침투 시도와 같은 공격 패밀리 전체를 인식하는 데 실패했으며, 이는 시스템이 공격의 본질이 아닌 과거의 특정 패턴을 인식하도록 학습되었음을 증명했습니다.
세 가지 보안 영역 모두에서 명확한 패턴이 나타났습니다. 요약된 특징이나 단순한 개수에 의존하는 탐지기들은 공격자가 방식을 바꿀 때 실패하는 경향이 있었던 반면, 위협의 실제 내용을 읽는 탐지기들은 훨씬 더 잘 버텨냈습니다. 연구진은 숨겨지거나 혼란스러운 텍스트를 스캔하기 전에 표준화된 읽기 가능한 형식으로 변환하는 간단한 단계가, 숨겨진 방식에 관계없이 근본적인 메시지를 인식할 수 있게 해준다는 것을 발견했습니다. 또한, 데이터에서 중복을 제거하는 것이 필요하긴 하지만 그것만으로는 문제가 해결되지 않는다는 점도 입증했습니다. 진짜 문제는 미래의 공격이 과거와 같을 것이라는 가정에 있었습니다. 연구는 보안 시스템을 신뢰하기 위해서는 새로운, 보지 못한 기술들에 대해 먼저 테스트되어야 하며, 표준적인 무작위 테스트 방식에 의존하는 것은 잘못된 안전감을 준다고 결론짓습니다. 이 연구는 우리가 안전을 유지하기 위해서는 공격의 외형을 암기하는 것이 아니라 공격의 내용을 이해하는 시스템을 설계해야 함을 시사합니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.