💻 computer science

Adversarial Evasion Attacks on Computer Vision using SHAP Values

이 논문은 SHAP 값을 활용하여 컴퓨터 비전 모델을 대상으로 한 백박스 공격 기법을 제시하며, 기존 방법보다 그라디언트 은닉 상황에서 더 강력한 적대적 회피 공격이 가능함을 입증합니다.

원저자: Frank Mollard, Marcus Becker, Florian Roehrbein

게시일 2026-04-10

📖 3 분 읽기☕ 가벼운 읽기

원저자: Frank Mollard, Marcus Becker, Florian Roehrbein

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🕵️‍♂️ 핵심 주제: AI 를 속이는 '보이지 않는 장난'

이 논문은 **'적대적 회피 공격 (Adversarial Evasion Attack)'**이라는 것을 다룹니다. 쉽게 말해, 사람은 아무것도 모르게 하지만 AI 만은 완전히 혼란스럽게 만들어 실수하게 만드는 기술입니다.

예를 들어, 고양이 사진을 AI 에게 보여주면 "고양이"라고 맞춥니다. 하지만 이 사진의 아주 미세한 부분 (사람 눈에는 보이지 않는 픽셀) 을 살짝 건드리면, AI 는 갑자기 "이건 개야!"라고 잘못 판단하게 됩니다.

🧠 기존 방법 vs. 새로운 방법 (SHAP)

연구진은 기존의 유명한 해킹 방법인 FGSM과 새로 제안한 SHAP 방법을 비교했습니다.

1. 기존 방법 (FGSM): "무작위 폭격"

비유: AI 가 "고양이"라고 판단할 때, 그 이유를 정확히 모릅니다. 그래서 전체 화면에 아주 작은 소금 (노이즈) 을 골고루 뿌리는 것과 같습니다.
문제점: AI 가 "그림자"를 보고 "고양이"라고 판단했다면, 소금을 뿌려도 그림자가 여전히 보일 수 있습니다. AI 가 다시 "아, 그래도 고양이네"라고 생각할 수도 있고, 오히려 더 확신하게 될 수도 있습니다. (논문의 '그라디언트 마스킹' 현상)
특징: 구현이 쉽지만, AI 가 방어 기제를 가지고 있으면 효과가 떨어집니다.

2. 새로운 방법 (SHAP): "정밀한 외과 수술"

비유: 이 방법은 AI 가 왜 '고양이'라고 생각했는지 그 '이유'를 먼저 분석합니다.
- "아, AI 는 귀 모양 때문에 고양이라고 생각했구나."
- "코 모양 때문에 확신이 생겼구나."
- "배경이 어두우니까 더 확신하는구나."
작동 원리: SHAP(샤플리 값) 이라는 도구를 써서 **"어떤 부분이 AI 의 판단에 가장 큰 영향을 미쳤는지"**를 찾아냅니다. 그리고 그 가장 중요한 부분만 골라서 반대 방향으로 살짝 건드려서 AI 의 판단 근거를 무너뜨립니다.
장점: 불필요한 곳 (중요하지 않은 배경) 은 건드리지 않고, 핵심만精准하게 공격하므로 AI 를 훨씬 더 쉽게 혼란스럽게 만들 수 있습니다.

🦋 나비 무늬의 비밀 (중요한 발견)

논문에서 가장 재미있는 발견은 **"중립 지대"**의 존재입니다.

비유: AI 의 머릿속에는 "고양이"를 지지하는 영역 (빨간색) 과 "고양이가 아님"을 지지하는 영역 (파란색) 이 있습니다. 그런데 이 두 영역 사이에는 AI 가 "아무것도 아닌 것"으로 생각하는 중립적인 회색 영역이 있습니다.
전략: SHAP 공격은 이 중립 지대를 노립니다.
- "고양이"라고 말하게 하던 중요한 부분들을 중립 지대로 밀어넣습니다.
- "고양이가 아니라고" 하던 부분들도 중립 지대로 밀어넣습니다.
- 결과: AI 는 "이게 고양이인지 개인지, 아니면 그냥 잡음인지"를 전혀 알 수 없게 되어 **실수 (오분류)**를 하게 됩니다.

📊 실험 결과: 누가 더 잘하나요?

연구진은 고양이, 개, 사람 얼굴, 숫자 (MNIST) 등 다양한 데이터로 실험했습니다.

결과: SHAP 공격이 기존 방법 (FGSM) 보다 훨씬 더 자주, 더 강력하게 AI 를 속였습니다.
이유: FGSM 은 AI 의 '감정 (기울기)'만 보고 공격하지만, SHAP 는 AI 의 '논리 (어떤 픽셀이 결정에 기여했는지)'를 정확히 파악하고 공격하기 때문입니다. 특히 AI 가 방어 기제 (그라디언트 마스킹) 를 써서 속을 감추려 할 때 SHAP 공격이 더 효과적이었습니다.

⚠️ 결론 및 경고

이 논문은 두 가지 중요한 메시지를 줍니다.

AI 는 매우 취약합니다: 우리가 눈으로 볼 때는 전혀 변한 것 같지 않은 사진이라도, AI 는 그 미세한 변화에 속아 넘어갈 수 있습니다.
설명 가능성 (Explainability) 의 양날의 검: SHAP 는 원래 "AI 가 왜 이런 판단을 했는지 인간에게 설명해 주기 위해" 만들어진 도구입니다. 하지만 이 논문은 그 설명 도구를 역이용해서 AI 를 해킹하는 데 사용할 수 있음을 보여줍니다.

미래의 과제:
이제 AI 개발자들은 "어떻게 하면 AI 가 특정 픽셀 하나에 너무 의존하지 않고, 더 균형 잡힌 시각으로 세상을 볼 수 있게 할까?"를 고민해야 합니다. 그래야 이런 정밀한 해킹 공격에도 견딜 수 있는 튼튼한 AI 를 만들 수 있기 때문입니다.

한 줄 요약:

"AI 가 왜 그걸 '고양이'라고 생각했는지 그 이유를 찾아낸 뒤, 그 이유만精准하게 제거해서 AI 를 완전히 혼란스럽게 만드는 새로운 해킹 방법이 등장했습니다."

1. 문제 정의 (Problem)

딥러닝 기반 컴퓨터 비전 모델은 적대적 회피 공격 (Adversarial Evasion Attacks) 에 취약합니다. 이러한 공격은 학습된 모델의 추론 (inference) 단계에서 입력 데이터에 인간이 눈으로 감지하기 어려운 미세한 교란 (perturbation) 을 추가하여, 모델의 신뢰도를 낮추거나 잘못된 분류를 유도합니다.
기존의 대표적인 공격 방법인 FGSM (Fast Gradient Sign Method) 은 손실 함수의 기울기 (gradient) 의 부호만을 사용하여 입력을 변형합니다. 그러나 이는 기울기의 크기를 무시하고 모든 가중치에 동일한 크기의 교란을 적용하기 때문에, 비선형 손실 함수의 특성이나 기울기 가림 (Gradient Masking) 현상이 발생하는 환경에서는 공격이 실패하거나 비효율적일 수 있습니다.

2. 방법론 (Methodology)

저자들은 SHAP (SHapley Additive exPlanations) 값을 기반으로 한 새로운 화이트박스 (White-box) 적대적 공격을 제안합니다.

SHAP 값의 활용: SHAP 은 개별 입력 변수 (이미지의 경우 픽셀) 가 모델 출력에 기여하는 정도를 정량화합니다. 기존 연구에서 SHAP 은 모델 해석 (Explainability) 도구로 사용되었으나, 본 논문에서는 이를 공격 벡터로 활용합니다.
공격 원리:
1. 중립 영역 (Neutral Area) 식별: 다양한 데이터셋과 아키텍처에서 SHAP 값과 픽셀 값 간의 관계를 분석한 결과, SHAP 값이 0 에 수렴하는 '중립 영역'이 존재함을 발견했습니다. 즉, 특정 픽셀 값 (예: 0.3~0.5 사이) 을 가지면 모델에 미치는 영향이 거의 없음을 확인했습니다.
2. 공격 전략: 모델이 특정 클래스로 분류되도록 긍정적/부정적 영향을 미치는 픽셀들을 식별한 후, 해당 픽셀들의 값을 중립 영역으로 이동시킵니다.
3. 수식적 정의:
  - SHAP 값 ( $\phi$ ) 이 임계값 $v$ 이상이거나 이하인 강력한 영향력을 가진 픽셀을 선택합니다.
  - 해당 픽셀 $x$ 를 중립 영역 ( $h$ ) 으로 이동시키도록 변형합니다.
  - $x' = x + \epsilon \cdot (\text{방향})$ 형태로, $\epsilon$ 은 공격 강도이며 SHAP 값의 표준편차 ( $\sigma_\phi$ ) 를 기반으로 조정됩니다.
FGSM 과의 차이점: FGSM 은 기울기 부호에 상수를 곱하여 모든 픽셀에 균일하게 교란을 가하는 반면, SHAP 공격은 영향이 큰 픽셀에 집중하여 교란을 가하고 중요도가 낮은 픽셀은 변경하지 않습니다.

3. 주요 기여 (Key Contributions)

SHAP 기반 적대적 공격 프레임워크 제안: 모델 해석 도구인 SHAP 값을 역이용하여 적대적 예제를 생성하는 새로운 화이트박스 공격 기법을 최초로 제시했습니다.
기울기 가림 (Gradient Masking) 환경에서의 우월성: 기존 FGSM 이 기울기 정보가 불확실하거나 가려지는 상황에서 취약한 반면, SHAP 공격은 모델의 출력 행동에 직접 기반하므로 이러한 환경에서도 더 강건한 공격이 가능함을 입증했습니다.
다양한 아키텍처 및 데이터셋에서의 검증: Animal Faces, Cats and Dogs, MNIST, Human Faces 등 4 가지 서로 다른 데이터셋과 CNN, EfficientNetB7 등 다양한 모델 구조를 통해 공격의 보편성을 검증했습니다.

4. 실험 결과 (Results)

다양한 데이터셋에서 FGSM(Kurakin et al., 2017) 과 SHAP 공격을 비교한 결과는 다음과 같습니다.

데이터셋	모델 정확도	FGSM 오분류율 (ε)	SHAP 공격 오분류율 (ε)
Animal Faces	99.5%	52% (0.2)	73% (50)
Cats and Dogs Filtered	98%	98% (0.01)	89% (80)
MNIST	99%	34% (0.2)	60% (1.5)
Woman and Man Faces	97%	69% (0.2)	98% (60)

성능: SHAP 공격은 대부분의 경우 FGSM 보다 높은 오분류율을 기록했습니다. 특히 'Woman and Man Faces' 데이터셋에서는 98% 의 오분류율을 달성했습니다.
비가시성: 두 방법 모두 인간이 감지하기 어려운 수준의 교란을 유지하면서도 SHAP 공격이 더 강력한 영향을 미쳤습니다.
안정성: FGSM 은 기울기 방향이 잘못될 경우 오히려 분류 신뢰도가 높아지는 불안정성이 있었으나, SHAP 공격은 모델 출력과 변수 간의 관계를 직접 반영하여 일관된 오분류 효과를 보였습니다.

5. 의의 및 결론 (Significance & Conclusion)

모델 취약성 재확인: SHAP 값이 모델의 취약점을 정확히 드러낼 뿐만 아니라, 이를 악용하여 모델을 속일 수 있음을 보여줌으로써 딥러닝 모델의 보안 취약성을 강조했습니다.
이중적 성격 (Dual Nature): SHAP 값은 모델의 투명성을 높이는 해석 도구이면서 동시에, 모델의 약점을 찾아내어 공격하는 데 사용될 수 있음을 보여주었습니다.
향후 과제: 이러한 공격에 대응하기 위해 개별 픽셀의 영향력이 균일하게 분포되고, 특정 픽셀에 과도하게 의존하지 않는 일반화된 모델 개발이 필요함을 강조했습니다. 또한, SHAP 계산의 높은 계산 비용 (고해상도 이미지 및 복잡한 모델 처리 시) 은 실제 적용 시 고려해야 할 제한 사항으로 지적되었습니다.

이 논문은 적대적 공격의 새로운 패러다임을 제시하며, 컴퓨터 비전 모델의 보안 강화와 방어 메커니즘 개발의 중요성을 시사합니다.