🤖 AI

AI Model Extraction Attacks: Bypassing Single-Client Assumptions in Defenses

이 수상 경력에 빛나는 논문은 오픈 소스인 CerberusAI 프레임워크를 소개하며, 협동적인 다중 클라이언트 공격이 AI 모델 추출에 대한 기존의 단일 클라이언트 가정 기반 방어 체계를 효과적으로 우회할 수 있음을 입증함으로써, 상태 유지형(stateful) 및 신원 독립적(identity-independent) 보안 아키텍처로의 패러다임 전환이 필요함을 보여준다.

원저자: Maxime Schwarzer, Johannes F. Loevenich, Gustavo Sánchez, Laurin Holz, Thies Möhlenhof, Tobias Hürten, Roberto Rigolin F. Lopes, Veit Hagenmeyer

게시일 2026-06-03

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Maxime Schwarzer, Johannes F. Loevenich, Gustavo Sánchez, Laurin Holz, Thies Möhlenhof, Tobias Hürten, Roberto Rigolin F. Lopes, Veit Hagenmeyer

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 군사 등급의 케이크를 만드는 매우 비밀스럽고 똑똑한 레시피를 소유하고 있다고 상상해 보세요. 당신은 아무도 이것을 훔치지 않기를 바라며, 사람들에게는 당신의 비밀 레시피를 바탕으로 케이크를 아주 조금만 맛보게 한 뒤, "이것은 단맛인가요, 아니면 짠맛인가요?"라고 묻습니다.

인공지능(AI)의 세계에서 이 "레시피"는 **모델(Model)**이며, "맛을 보는 것"은 AI에게 질문을 던지는 것(쿼리, queries)입니다. **모델 추출 공격(Model Extraction Attack)**이란, 나쁜 놈이 당신의 비밀 레시피를 알아내어 자신만의 복제 케이크를 만들기 위해 충분히 많은 양의 맛을 보려고 시도하는 것을 말합니다.

케이크를 지키는 옛날 방식 ( "단일 클라이언트"의 결함)

오랫동안 보안 전문가들은 이러한 도둑들을 잡기 위한 간단한 규칙을 가지고 있었습니다: 바로 **단일 클라이언트 가정(Single Client Assumption)**입니다.

이것을 클럽 입구를 지키는 문지기에 비유해 봅시다. 문지기의 규칙은 다음과 같습니다: "만약 어떤 한 사람이 연속으로 100번이나 몰래 들어오려고 시도한다면, 그 사람은 분명히 도둑이다. 막아라!"

이 방식은 도둑이 서투른 개인 행동가라면 아주 잘 작동합니다. 하지만 이 논문은 이 규칙이 깨졌다고 주장합니다. 왜냐하면 이 규칙은 도둑이 항상 혼자 움직인다고 가정하기 때문입니다.

새로운 현실: "스웜(Swarrm, 떼)" 공격

이 논문의 저자들은 이렇게 말합니다. "만약 도둑이 한 사람이 아니라면 어떨까요? 만약 그들에게 400명의 친구라는 군대가 있다면 어떨까요?"

그들은 이를 **분산 공격(Distributed Attack)**이라고 부릅니다. 도둑이 문지기를 우회하는 방법은 다음과 같습니다.

라운드 로빈(Round-Robin) 전략: 한 사람이 100번의 질문을 하는 대신, 도둑은 질문을 400명의 서로 다른 친구들에게 나누어 줍니다. 각 친구는 단 1~2개의 질문만 던집니다.
- 비유: 400명의 사람들이 문지기에게 다가와 각각 아주 작은 맛만 한 번씩 보는 상황을 상상해 보세요. 문지기는 각 개인을 개별적으로 보고 생각합니다. "오, 이 사람은 괜찮군. 딱 한 번만 물어봤으니까."
- 결과: 문지기는 모두를 들여보냅니다. 도둑은 필요한 100번의 맛을 모두 얻었지만, 어느 특정 한 사람도 너무 많은 질문을 하지 않았기 때문에 경보가 울리지 않습니다. 논문은 이 단순한 기술이 현재 사용 중인 최고의 보안 시스템들을 완전히 무력화한다는 것을 보여줍니다.
"트래픽 혼합(Traffic Mixing)" 전략: 만약 보안 요원이 개별적으로 보는 대신, 모두를 함께 관찰하기로 결정한다면 어떻게 될까요?
- 비유: 도둑은 보안 요원이 이제 방 안에 있는 전체 인원수를 세고 있다는 사실을 깨닫습니다. 그래서 도둑은 400명의 친구를 데려오지만, 동시에 케이크를 구경하러 온 4,000명의 무고한 관광객(가짜 트래픽)도 함께 데려옵니다.
- 도둑은 자신의 100개 "훔치는" 질문을 4,000개의 "무고한" 질문 속에 섞어 버립니다. 보안 요원에게 이 군중은 평범해 보입니다. 도둑의 "훔치는" 질문들은 소음 속에 묻혀버립니다.
- 결과: 만약 보안 요원이 건초더미 속의 작은 바늘을 찾아내기 위해 기준을 낮추어 모든 사람을 잡아내려 한다면, 결국 4,000명의 무고한 관광객까지 모두 막아서게 됩니다. 보안 시스템은 너무 소란스러워 작동할 수 없게 되어 쓸모가 없어집니다.

해결책: "CerberusAI"라 불리는 새로운 도구

이 아이디어들을 증명하기 위해, 저자들은 CerberusAI(지옥을 지키는 머리 세 개 달린 개에서 이름을 따옴)라는 새로운 오픈 소스 도구를 만들었습니다.

역할: 이것은 시뮬레이션 실험실입니다. 연구자들이 "가짜" AI 모델을 설정하고, 그 모델에 대해 "가짜" 공격자 군단을 보내 보안이 유지되는지 테스트할 수 있게 해줍니다.
중요성: 이전에는 연구자들이 주로 한 명의 나쁜 놈이 모델을 공격하는 방식으로 보안을 테스트했습니다. 하지만 CerberusAI를 통해 조직적이고 조율된 군대가 공격할 때 어떤 일이 벌어지는지 테스트할 수 있습니다.

핵심 요점

이 논문은 우리의 사고방식을 바꿔야 한다고 결론짓습니다.

옛날 사고방식: "이 특정한 한 사람이 너무 많은 질문을 하고 있는가?"
새로운 사고방식: "이 사람들의 집단이, 설령 군중 속에 숨어 있더라도, 내 비밀을 훔치려 하고 있는가?"

저자들은 군사 및 핵심 인프라(전력망이나 국방 시스템 등)를 위해서, 우리는 더 이상 개인만을 감시하는 보안 시스템을 신뢰할 수 없다고 주장합니다. 우리는 질문의 횟수뿐만 아니라 질문의 의도를 파악하고 전체적인 그림을 볼 수 있는 더 똑똑한 문지기가 필요합니다.

요약하자면: 이 논문은 만약 당신이 한 번에 한 명의 도둑만을 막으려 한다면, 조율된 도둑 무리가 당신의 비밀을 쉽게 훔쳐갈 것이라는 점을 증명합니다. 우리는 군중 속에 숨어 있더라도 전체 일당을 찾아낼 수 있는 새로운 종류의 보안이 필요합니다.

기술 요약: AI 모델 추출 공격: 방어 체계의 단일 클라이언트 가설 우회

문제 정의

군사 지휘 통제(C2) 시스템 및 핵심 인프라에 배치된 인공지능(AI) 모델의 보안이 모델 추출 공격(Model Extraction Attacks, MEAs)으로 인해 점점 더 위협받고 있습니다. 이러한 공격에서 공격자는 대상 모델을 체계적으로 쿼리하여 그 결정 경계(decision boundary)를 복제하며, 이를 통해 지적 재산을 탈취하거나 침입 탐지 시스템(IDS)을 회피하기 위한 오프라인 적대적 공격을 개발할 수 있습니다.

PRADA(Protecting Against Deep Neural Network Model Stealing Attacks), QUEEN(Query Unlearning), Model-Guardian와 같은 기존 방어 메커니즘은 **단일 클라이언트 가설(Single Client Assumption, SCA)**에 크게 의존합니다. 이 가설은 악성 활동이 단일하고 격리된 식별자(예: 하나의 IP 주소 또는 API 키)로부터 발생한다고 가정합니다. 방어 기제는 개별 클라이언트의 요청 패턴(예: 도착 간격 시간)을 모니터링하고, 통계적 편차가 발생할 때 경보를 트리거하는 방식으로 작동합니다.

본 논문은 현대의 네트워크화된 작전 환경, 특히 고도 지속 위협(APT)에 맞서 SCA가 근본적으로 유효하지 않다고 주장합니다. 이러한 시나리오에서 공격자는 다수의 조정된 클라이언트(예: 봇넷)로 탐사 활동을 분산시킬 수 있는 자원을 보유하고 있으며, 이를 통해 개별 클라이언트 기반의 통계적 방어를 무력화할 수 있습니다. 또한, 전역적 집계(global aggregation) 접근 방식조차 적대적 트래픽 혼합(adaptive traffic mixing)에 취약합니다. 즉, 공격자가 악성 프로브를 정상적인 배경 트래픽 속에 섞어 통계적 특징을 은폐함으로써 방어를 무력화할 수 있습니다.

방법론

분산된 공격 시나리오를 체계적으로 입증하고 평가하기 위해, 저자들은 재현 가능한 모델 탈취 연구를 위한 모듈형 오픈 소스 프레임워크인 CerberusAI를 개발했습니다.

CerberusAI 프레임워크

CerberusAI는 소프트웨어 정의 방어(SDD) 아키텍처에 부합하는 복잡한 분산 공격 시나리오를 시뮬레이션하도록 설계되었습니다. 핵심 구성 요소는 다음과 같습니다:

선언적 구성(Declarative Configuration): 실험은 YAML 파일을 통해 정의되며, 대상 모델, 공격 전략 및 방어 하이퍼파라미터를 고정함으로써 재현성을 보장합니다.
실험 오케스트레이터(Experiment Orchestrator): 팩토리 패턴을 사용하여 구성 요소를 인스턴스화하며, 대상 모델을 DefendedModel 프록시로 감싸 요청이 모델에 도달하기 전 방어 로직(예: PRADA)을 거치도록 합니다.
분산 공격 관리자(Distributed Attack Manager): 봇넷과 유사한 구조를 시뮬레이션하기 위해 $N$ $N$ 개의 가상 클라이언트 식별자를 생성합니다. 이는 방어를 우회하기 위한 특정 스케줄링 전략을 구현합니다:
1. 라운드 로빈 스형(Round-Robin Scheduling): 총 쿼리 예산을 $N$ 개의 클라이언트에 순환적으로 분배합니다. 이는 단일 클라이언트가 통계적 유의성 검출에 필요한 최소 샘플 크기( $N_{min}$ )를 초과하지 않도록 보장합니다.
2. 적응형 트래픽 혼합(Adaptive Traffic Mixing): 공격 스트림에 높은 비율의 양성(benign) 트래픽을 주입합니다. 이는 전체 트래픽의 통계적 분포를 모호하게 만들어 정상적인 사용자 행동과 구별할 수 없게 만듭니다.

공격 정식화

저자들은 분산된 공격자를 전체 쿼리 집합 $Q$ 를 서로소 부분 집합 $Q_{c_i}$ 로 분할하는 클라이언트 집합 $C = \{c_1, \dots, c_N\}$ 으로 정식화합니다. 만약 각 부분 집합 $|Q_{c_i}|$ 가 임계값 $\epsilon$ (통계 테스트를 위한 최소 샘플 크기) 미만으로 유지된다면, 클라이언트를 개별적으로 평가하는 방어 메커니즘 $D$ 는 경보를 발생시키지 못하고 실패하게 됩니다.

주요 기여

SCA 취약성의 체계적 입증: 본 논문은 조정된 분산 쿼리 전략이 기존 방어 체계(특히 PRADA)의 탐지 성능을 0으로 낮출 수 있다는 실증적 증거를 제공합니다.
전역 방어의 한계 분석: 저자들은 공격자가 적응형 트래픽 혼합을 사용할 때 단순한 전역 요청 집계가 실패함을 보여줍니다. 이는 대규모의 오탐(False Positive)을 초래하여, 방어 체계를 운영 불가능한 상태(정상 사용자에 대한 서비스 거부 효과)로 만듭니다.
CerberusAI 도입: 분산된 적응형 MEA 시나리오 시뮬레이션을 가능하게 하는 모듈형 오픈 소스 프레임워크를 공개하여, 해당 분야의 표준화된 평가 도구 부족 문제를 해결합니다.

실험 결과

저자들은 MNIST 데이터셋과 합성곱 신경망(CNN) 대상 모델을 사용하여 PRADA 방어 메커니즘을 평가했습니다. 공격 생성에는 모멘텀 반복 경사 부호 방법(MI-FGSM)이 사용되었습니다.

시나리오 1 (베이스라인 - 단일 클라이언트): 표준 PRADA 방어에 대응하는 단일 공격자. 시스템은 **63.2%**의 F1-score(정밀도: 100%, 재현율: 46.2%)를 달성하여, SCA 하에서 방어가 의도대로 작동함을 확인했습니다.
시나리오 2 (분산 공격): 공격 예산(2,500 쿼리)이 라운드 로빈 스케줄링을 통해 400개의 클라이언트에 분산되었습니다. 각 클라이언트는 $N_{min}=50$ $N_{min} = 50$ 임계값보다 훨씬 낮은 약 6~7개의 쿼리만을 전송했습니다.
- 결과: F1-score가 **0.0%**로 급락했습니다. 어떤 단일 클라이언트도 통계적 분석을 트리거하지 못했기 때문에 방어 체계가 공격을 전혀 탐지하지 못했습니다.
시나리오 3 (전역 방어): 400개 클라이언트의 요청을 모두 집계하도록 수정된 방어 체계.
- 결과: F1-score가 90.8%(정밀도: 100%, 재현율: 83.1%)로 회복되어, 전역 집계가 단순 분산 공격을 탐지할 수 있음을 보여주었습니다.
시나리오 4 (적응형 트래픽 혼합): 공격자가 라운드 로빈 분산 방식을 사용하면서 악성 쿼리를 99%의 양성 트래픽과 혼합했습니다.
- 결과: F1-score가 **2.0%**로 붕괴되었습니다. 재현율은 99.3%로 높게 유지되었으나, 정밀도가 **1.0%**로 폭락했습니다. 시스템이 과도한 오경보를 생성하여 운영상 사용할 수 없는 상태가 되었습니다.

의의 및 주장

본 논문은 SCA가 현재 AI 방어 교리에서 구조적인 보안 격차를 나타낸다고 주장합니다. 연구 결과는 다음과 같습니다:

SCA의 무효성: 조정된 자원 부유한 공격자(예: APT)가 존재하는 경우, 격리된 클라이언트 분석에 의존하는 방어 체계는 분산 공격에 대해 눈이 멀게 됩니다.
통계적 방어의 취약성: 도착 간격 시간이나 분포 매칭에 기반한 순수 통계적 접근 방식은 분포 및 노이즈 주입을 통해 임의로 조작될 수 있습니다.
패러다임 전환 필요: 미래의 연구는 클라이언트 중심의 이상 탐지를 넘어서야 합니다. 저자들은 상태 유지형, 식별자 독립적 방어 아키텍처로의 전환을 주장하며, 단순히 통계적 분포를 모니터링하는 것이 아니라 쿼리의 의미론적 내용(즉, "이 쿼리들이 추출하는 정보의 내용은 무엇인가?")을 분석해야 한다고 강조합니다.

이 연구는 "위협 기반 평가(threat-informed evaluation)" 방법론을 제공하고, 연합 및 다영역 작전에서의 탄력적인 AI 보안 필요성을 강조함으로써 NATO의 전략적 목표를 지원합니다. 저자들은 핵심 인프라의 AI 구성 요 ever를 보호하기 위해서는 격리된 공격자라는 가정에서 벗어나, 조정된 적대적 행동을 인식할 수 있는 학습 기반의 강력한 보안 아키텍처로 나아가야 한다고 결론짓습니다.