Adversarial Attacks on Artificial Intelligence Models: Defence Strategies, Datasets, Evaluation Metrics, and Future Research Directions

현대 디지털 세계에서 은행, 병원, 전력망은 방대한 양의 데이터를 파악하기 위해 인공지능에 크게 의존하고 있습니다. 머신러닝과 딥러닝을 기반으로 구축된 이 시스템들은 지치지 않는 파수꾼 역할을 합니다. 이들은 네트워크 트래픽을 스캔하여 침입자를 찾아내고, 파일을 분석하여 숨겨진 악성코드를 발견하며, 신원을 확인하여 권한이 없는 사용자의 접근을 차단합니다. 수년간 이러한 도구들은 복잡한 패턴을 학습하고 새로운 위협에 적응하는 능력으로 찬사를 받아왔으며, 정상적인 조건에서는 위협의 95%까지 잡아내기도 했습니다. 그러나 숨겨진 취약점이 나타났습니다. 인간이 교묘한 환상에 속을 수 있는 것처럼, 이 지능형 시스템들도 실제와 거의 동일해 보이지만 미세하고 정교하게 설계된 왜곡을 포함하고 있는 입력값에 의해 속을 수 있습니다. '적대적 공격(adversarial attacks)'이라고 불리는 이러한 왜곡은 컴퓨터의 논리를 혼란시켜, 위험한 바이러스를 무해한 것으로 오인하게 하거나 사칭한 사용자에게 접근 권한을 부여하도록 설계되었습니다. 그 결과는 매우 치명적입니다. 단 한 번의 성공적인 속임수가 해커로 하여금 수백만 달러를 훔치게 하거나, 핵심 기반 시설을 마비시키거나, 국가적 수준의 보안을 무력화하게 만들 수 있습니다.

이라크와 말레이시아 대학의 연구진은 이 커지는 위협에 대해 포괄적인 조사를 수행했습니다. 그들은 단순히 한 가지 유형의 공격이나 특정 방어 기법만을 연구한 것이 아니라, 문제의 전체 지형을 파악하기 위해 2017년부터 2025년 사이에 발표된 1,000편의 연구 논문을 수집하고 분석했습니다. 그들의 목표는 이러한 공격이 어떻게 작동하는지, 현재의 방어 체계가 얼마나 잘 버티고 있는지, 그리고 어떤 격차가 남아 있는지를 이해하는 것이었습니다. 방대한 문헌을 분류함으로써, 그들은 이전에는 단일 프레임워크로 그룹화되지 않았던 12가지 새로운 유형의 적대적 공격을 식별해 냈습니다. 연구진은 공격자가 서로 다른 수준의 지식을 가지고 활동할 수 있다는 점을 발견했습니다. 어떤 공격자는 공격 대상 시스템의 내부 작동 원리 전체를 알고 있는 반면, 어떤 공격자는 최종 출력값만을 보며, 또 다른 이들은 그 중간 단계의 지식을 가집니다. 또한 연구진은 공격이 시스템이 학습하는 동안 데이터를 오염시키는 방식(poisoning)이나, 시스템이 이미 가동 중인 상태에서 까다로운 입력값을 몰래 집어넣는 방식 등 서로 다른 단계에서 발생할 수 있음을 발견했습니다.

이 연구는 현재 보안 상태에 대한 냉혹한 현실을 보여줍니다. 연구자들은 이러한 속임수를 탐지하고 차단하기 위한 많은 방법을 개발했지만, 방어 체계는 종종 불균형한 상태에 있습니다. 저자들은 기존 연구의 약 70%가 공격이 발생한 후 이를 탐지하는 데 집중되어 있는 반면, 모델의 훈련 단계에서 모델을 더 강력하게 만드는 데 집중한 연구는 약 23%에 불과하다는 것을 발견했습니다. 이러한 불균형은 공격자가 모델이 구축되는 방식 자체의 약점을 이용할 수 있게 함으로써 시스템을 취약하게 만듭니다. 더욱이, 연구팀은 실험실 환경과 실제 적용 사이의 상당한 괴리를 강조했습니다. 통제된 환경에서는 방어 체계가 완벽해 보일 수 있지만, 복잡하고 예측 불가능한 실제 환경으로 옮겨졌을 때 그 성공률은 최대 60%까지 떨어질 수 있습니다. 이러한 하락은 실제 시스템이 제한된 컴퓨팅 파워, 즉각적인 결정의 필요성, 그리고 끊임없이 진화하는 공격 방법의 다양성과 같은 과제에 직면하기 때문에 발생합니다.

이러한 문제를 해결하기 위해 연구진은 우리가 이러한 공격과 방어를 생각하는 방식을 정리하기 위한 새로운 3단계 프레임워크를 제안했습니다. 이 구조는 보안 전문가들이 공격자가 무엇을 알고 있는지, 무엇을 달성하고자 하는지, 그리고 데이터를 어떻게 변경하는지에 따라 위협을 분류할 수 있도록 돕습니다. 또한 그들은 이 시스템들을 테스트하는 데 사용되는 도구와 데이터셋을 검토하며, 많은 표준 테스트가 존재함에도 불구하고 모든 다양한 유형의 AI에 걸쳐 성공을 측정할 수 있는 단일한 합의된 표준은 없다는 점을 언급했습니다. 이러한 표준화의 부재는 조직이 자신의 특정 요구 사항에 맞는 적절한 보호 수단을 선택하는 것을 어렵게 만듭니다. 논문은 향-후의 발전이 데이터 공유를 안전하게 하기 위한 블록체인 활용, 인간이 더 나은 선택을 할 수 있도록 돕는 의사결정 지원 시스템과 인공지능의 통합, 그리고 센서나 카메라와 같은 작은 엣지 디바이스에서 효율적으로 작동하는 방어 기술 개발과 같은 다양한 전략을 결합하는 데 달려 있다고 시사합니다.

궁극적으로 이 서베이는 차세대 사이버 보안을 위한 중요한 길잡이 역할을 합니다. 이 연구는 인공지능이 우리의 디지털 기반 시설을 보호하는 방식에 혁명을 일으켰지만, 동시에 지속적인 경계가 필요한 새로운 종류의 취약점 또한 도입했음을 확인시켜 줍니다. 연구진은 이러한 공격을 막기 위한 단 하나의 '마법의 탄환'은 없다고 강조합니다. 대신, 안전한 시스템을 구축하기 위해서는 더 나은 훈련 방법, 실시간 탐지, 그리고 이러한 기술을 테스트하고 검증하기 위한 표준 규칙을 만들기 위한 글로벌 차원의 노력을 결합한 다층적인 접근 방식이 필요합니다. 기술이 계속 발전함에 따라, 방어 체계를 구축하려는 자와 그것을 깨뜨리려는 자 사이의 경주는 더욱 치열해질 것이며, 이러한 위협을 이해하고 분류하는 작업의 중요성은 그 어느 때보다 커질 것입니다.