Cyber Threat Intelligence for Artificial Intelligence Systems

이 논문은 인공지능 시스템의 고유한 취약점과 공격 벡터를 분석하여 기존 사이버 위협 인텔리전스 프레임워크의 한계를 지적하고, AI 공급망 전반에 걸친 구체적인 침해 지표와 유사성 측정 기법을 포함한 AI 전용 위협 인텔리전스 체계의 필요성과 방향성을 제시합니다.

핵심

이 논문은 **"인공지능 (AI) 을 지키기 위한 새로운 '경보 시스템'을 어떻게 만들 것인가?"**에 대한 이야기입니다.

기존의 사이버 보안은 전통적인 컴퓨터나 서버를 보호하는 데 초점을 맞췄지만, 이제 AI 가 우리 생활의 핵심이 되면서 AI 를 공격하는 새로운 방식들이 등장했습니다. 이 논문은 기존 보안 지식으로는 AI 를 지킬 수 없으므로, **AI 만을 위한 새로운 '지능형 위협 정보 (CTI)'**를 어떻게 구축해야 하는지 제안합니다.

이 복잡한 내용을 쉽게 이해할 수 있도록 세 가지 핵심 비유로 설명해 드리겠습니다.

---

1. 상황: 왜 기존 보안은 AI 에게 무력한가?

비유: "고급 로봇 요리사에게 낡은 보안 요원"

과거의 사이버 보안은 마치 건물 경비원과 같았습니다. 도둑이 창문을 깨거나 (SQL 인젝션), 문을 부수고 들어오면 (버퍼 오버플로우) 경비원이 이를 막았습니다.

하지만 AI 는 다릅니다. AI 는 고급 로봇 요리사입니다.

• 기존 보안: "창문 깨지 마!"라고 외칩니다.
• 새로운 위협: 도둑이 창문을 깨지 않고, 요리사의 레시피 책 (학습 데이터) 에 독을 넣거나, 요리사가 보지 못하게 식탁 위에 아주 작은 스티커 (적대적 예제) 를 붙여 "이건 소금인데, 이건 설탕이야"라고 속입니다.

기존 경비원 (보안 시스템) 은 이런 새로운 수법을 전혀 몰라요. 그래서 이 논문은 **"AI 요리사를 지키기 위한 새로운 보안 매뉴얼"**이 필요하다고 말합니다.

2. 해결책: AI 를 위한 '지능형 위협 정보 (CTI)'란 무엇인가?

비유: "범인 수첩과 범죄 패턴 분석대"

기존 보안에서는 해커의 얼굴 사진 (IP 주소) 나 지문 (파일 해시) 을 모아 '범인 수첩'을 만들었습니다. 하지만 AI 공격은 훨씬 더 추상적입니다.

이 논문은 AI 를 위한 새로운 **'범인 수첩'**이 어떤 내용을 담아야 하는지 제안합니다.

• 새로운 증거 (IoC):

  • 단순히 파일 해시만 보는 게 아니라, 모델의 '성격'이 변했는지 (가중치 이상), 학습 데이터가 오염되었는지, 질문을 잘못하면 엉뚱한 대답을 하는지 (프롬프트 인젝션) 등을 기록해야 합니다.
  • 예시: "어떤 AI 모델이 특정 질문을 받으면 갑자기 비밀을 털어놓는다"는 패턴을 기록하는 것.

• 새로운 지도 (MITRE ATLAS 등):

  • 해커가 AI 를 공격할 때 어떤 순서로 움직이는지 (레시피를 훔쳐보기 -> 독을 섞기 -> 요리사 속이기) 를 단계별로 정리한 지도가 필요합니다.

3. 실행 방법: 어떻게 정보를 모으고 비교할까?

비유: "유령 같은 범인을 찾아내는 '후각'과 '유사도 검색'"

AI 모델은 텍스트 파일처럼 똑같은 복사본이 아닙니다. 조금만 수정해도 완전히 다른 파일이 될 수 있습니다. 그래서 "이 파일이 범인이다!"라고 딱 잘라 말하기 어렵습니다.

이 논문은 유사성을 측정하는 새로운 기술을 제안합니다.

• 딥 해싱 (Deep Hashing):
  • 비유: 범인의 얼굴 특징을 기억하는 대신, 걸음걸이나 목소리 톤을 분석해서 "이 사람은 범인과 비슷해!"라고 판단하는 기술입니다.
  • AI 모델의 복잡한 구조를 압축된 '지문'으로 바꾸어, 변형된 악성 모델도 빠르게 찾아냅니다.
• 데이터 소스:
  • AVID, OWASP: AI 의 약점 목록 (취약점) 을 정리한 백과사전.
  • AIID (사건 데이터베이스): 실제로 AI 가 실수하거나 해킹당한 사례를 모아둔 '범죄 수사 기록'.
  • MITRE ATLAS: 해커들의 전술을 정리한 '범인 행동 분석 보고서'.

---

📝 요약: 이 논문이 우리에게 주는 메시지

1. 문제: AI 가 발전하면서 해커들도 AI 를 공격하는 새로운 방법 (데이터 독살, 모델 속이기 등) 을 개발했습니다. 기존 보안은 이걸 못 잡습니다.
2. 해결: AI 만을 위한 **'새로운 위협 정보 시스템'**이 필요합니다. 이는 단순한 해킹 기록이 아니라, AI 모델의 행동 패턴, 학습 데이터의 이상 징후 등을 포함해야 합니다.
3. 방법:
   • 데이터 모으기: 실제 AI 사고 사례와 해커 전술을 수집합니다.
   • 비교하기: 새로운 AI 모델이 악성인지 판단할 때, '완벽한 일치'가 아니라 '유사성'을 찾아내는 기술 (딥 해싱 등) 을 사용합니다.
4. 목표: 이 시스템을 통해 AI 가 해킹당하기 전에 미리 경보를 울리고, 공격을 자동으로 차단할 수 있게 만드는 것입니다.

한 줄 결론:

"기존의 '문단속'으로는 AI 라는 '지능형 로봇'을 지킬 수 없으니, 로봇의 생각 방식과 행동 패턴까지 분석하는 초정밀 AI 전용 보안 시스템을 만들어야 합니다."

기술 요약

1. 문제 정의 (Problem)

인공지능 (AI) 이 핵심 서비스와 일상 제품에 깊이 통합됨에 따라, 기존 사이버 방어 체계로 처리하기 어려운 새로운 보안 위협에 노출되고 있습니다.

• 기존 CTI 의 한계: 전통적인 사이버 위협 인텔리전스 (CTI) 는 네트워크, 서버, 소프트웨어와 같은 기존 IT 자산에 초점을 맞추고 있으며, 훈련 데이터, 모델 가중치, 추론 파이프라인 등 AI 고유의 자산과 취약점 (데이터 중독, 모델 백도어, 적대적 예제, 프롬프트 인젝션 등) 을 포괄하지 못합니다.
• 새로운 공격 표면: 공격자들은 AI 를 악용하여 더 정교한 공격을 수행하거나 (딥페이크, 자동화된 멀웨어 생성), AI 시스템 자체를 표적으로 삼아 모델을 조작하거나 우회하는 공격을 수행합니다.
• 데이터 및 지식의 부재: AI 공격에 대한 체계적인 인텔리전스 프레임워크, 표준화된 지표 (IoC), 그리고 신뢰할 수 있는 데이터 소스가 부족하여 효과적인 방어와 대응이 어렵습니다.

2. 방법론 (Methodology)

이 연구는 체계적인 문헌 검토 (Systematic Literature Review) 가이드라인을 따랐으며, 다음과 같은 단계를 거쳤습니다.

1. 검색 전략: 'Cyber threat intelligence', 'CTI for AI', 'AI incidents', 'AI vulnerabilities' 등의 키워드를 사용하여 Google Scholar, Scopus 등 학술 데이터베이스 및 관련 문헌을 검색했습니다.
2. 분석 및 추출: AI 컨텍스트의 CTI, 제안된 프레임워크, 데이터 소스, 침해 지표 (IoC), 보안 도구 적용 사례 등을 식별하기 위해 각 논문을 심층 분석했습니다.
3. 종합 (Synthesis): 분석된 통찰력을 구조화하여 AI 특정 위협에 맞는 CTI 관행을 적응시키는 방향성을 도출했습니다.

3. 주요 기여 (Key Contributions)

가. 기존 CTI 와 AI 기반 CTI 의 차이점 분석 (RQ1)

• 자산의 차이: 기존 CTI 는 네트워크/서버를 다루지만, AI CTI 는 훈련 데이터셋, 모델 아키텍처, 모델 가중치, API 등을 주요 자산으로 다룹니다.
• 공격 단계의 차이: 전통적인 MITRE ATT&CK 와 달리, AI 는 ML 수명주기에 특화된 단계 (ML 아티팩트 재단, 훈련 중 데이터 중독, 모델 백도어 삽입, 추론 시 우회, 모델 추출 등) 를 포함합니다.

나. AI CTI 지식 기반 구축을 위한 데이터 소스 평가 (RQ2)

세 가지 주요 소스 카테고리를 식별하고 그 신뢰성을 평가했습니다.

1. 취약점 중심 (Vulnerability-oriented):
   • AVID (AI Vulnerability Database): 개발 단계 취약점 위주이며, 표준화된 분류 체계 (SEP: 보안, 윤리, 성능) 를 제공합니다.
   • OWASP, ENISA, SAIF: 취약점 데이터베이스라기보다는 가이드라인과 프레임워크를 제공하며, 용어 표준화와 수명주기 매핑에 기여합니다.
2. 사고 중심 (Incident-oriented):
   • AIID (AI Incident Database): 실제 AI 사고 (보행자 사망, 금융 폭락 등) 를 기록한 커뮤니티 기반 저장소입니다.
   • CSET AI Harm Taxonomy & GMF Taxonomy: 사고의 영향, 피해자, 기술적 실패 원인 등을 체계적으로 분류하는 데 사용됩니다.
3. 적대자 중심 (Adversary-oriented):
   • MITRE ATLAS: AI/ML 시스템을 대상으로 한 공격 벡터 (모델 중독, 우회 공격 등) 를 MITRE ATT&CK 와 유사하게 매핑한 핵심 프레임워크입니다.
   • 기타: Marcus Comiter 의 보고서 등 정성적인 공격자 행동 분석 자료.

다. AI 특화 침해 지표 (IoC) 및 유사성 측정 기술 (RQ3, RQ4)

• AI 특화 IoC 정의: 파일 해시, IP 주소 외에 의심스러운 모델 가중치, 비정상적인 데이터셋 패턴, 수정된 훈련 스크립트, 프롬프트 인젝션 패턴 등을 새로운 IoC 로 정의해야 함을 강조했습니다.
• 악성 모델 파일 사례: Hugging Face 등에서 발견된 악성 모델 (PyTorch, Pickle 파일) 과 관련 IP 주소를 구체적인 IoC 예시로 제시했습니다.
• 유사성 측정 기술: 수집된 IoC 와 새로운 AI 아티팩트 간의 유사성을 측정하기 위해 다음 기술을 제안했습니다.
  • 딥 해싱 (Deep Hashing): 복잡한 AI 자산을 의미적 유사성을 보존하는 컴팩트한 이진 지문으로 변환하여 대규모 데이터베이스에서 빠른 검색을 가능하게 함.
  • 퍼지 해싱 (Fuzzy Hashing) 및 TLSH/LZJD: 파일/데이터셋의 부분 매칭을 통해 변형된 악성 아티팩트 탐지.
  • 시맨틱 일관성 해싱 (SCH): 입력 데이터의 변화에 강건하면서도 전역적 의미 정보를 보존하는 차세대 기법.

4. 결과 및 시사점 (Results & Significance)

• 지식 기반의 필요성: 기존 리소스 (AVID, AIID, MITRE ATLAS 등) 는 기초를 제공하지만, 여전히 불완전하고 품질 편차가 큽니다. 특히 프롬프트 인젝션 데이터셋이나 악성 모델 저장소는 체계적인 IoC 수집이 필요한 상태입니다.
• 보안 도구 통합 가능성: AI CTI 지식 기반은 AI 보호 도구에 다음과 같은 혜택을 제공합니다.
  • 배포 전 악성 모델/데이터셋 스캔 및 과거 사고 패턴 비교.
  • MITRE ATLAS 의 TTP(전술, 기법, 절차) 를 기반으로 한 탐지 (예: 데이터 중독 시도 감지).
  • 딥 해싱 등을 통한 변형된 악성 모델의 실시간 탐지.
  • 구조화된 분류 체계 (CSET, GMF) 를 통한 사고 자동 분류 및 대응 가이드 제공.
• 향후 연구 방향: AI 시스템에 특화된 새로운 IoC 정의, 모델 조작 징후 탐지 (비정상 출력, 중독된 데이터 등), 그리고 실제 보안 팀이 활용할 수 있는 실용적인 CTI 프레임워크 개발이 필요합니다.

5. 결론

이 논문은 AI 시스템의 보안 위협에 대응하기 위해 기존 CTI 패러다임을 어떻게 진화시켜야 하는지를 체계적으로 분석했습니다. AI 고유의 자산과 취약점을 반영한 새로운 IoC 정의, 신뢰할 수 있는 데이터 소스의 통합, 그리고 대규모 AI 아티팩트 간의 유사성을 효율적으로 측정하는 기술 (해싱 등) 의 중요성을 강조함으로써, AI 시대의 효과적인 사이버 방어 체계 구축을 위한 청사진을 제시했습니다.