🤖 machine learning

A New Kind of Adversarial Example: Measuring the Human-Model Gap, and Its Relationship to OOD Detection

이 논문은 크고 눈에 띄는 섭동(perturbation)이 인간으로 하여금 이미지를 오인하게 만드는 반면 모델은 올바른 예측을 유지하게 함으로써, 표준적인 OOD 탐지기 및 방어 기제들이 이러한 인간과 모델 사이의 간극에 대해 대체로 효과적이지 않음을 입증하는 새로운 부류의 적대적 예제를 소개하고 검증한다.

원저자: Ali Borji

게시일 2026-07-28

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Ali Borji

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

보이지 않는 잉크와 사각지대

당신이 로봇에게 고양이와 강아지 사진을 구별하는 법을 가르치고 있다고 상상해 보세요. 당신은 수천 장의 사진을 보여주었고, 로봇은 그 일을 아주 잘하게 되었습니다. 그런데 그러다 기묘한 결함을 발견합니다. 만약 고양이 사진에 아주 작고 보이지 않는 디지털 노이즈를 추가하면, 로봇이 갑자기 그것을 강아지라고 생각하는 것입니다. 이것은 인공지능 세계에서 유명한 문제인 전형적인 "적대적 예제(adversarial example)"입니다. 기계가 인간은 눈치채지도 못할 미세한 변화에 놀라울 정도로 취약하다는 것을 보여주는 사례죠.

하지만 만약 이 결함이 반대로 작동한다면 어떨까요? 만약 당신이 고양이 사진을 가져다가, 마치 형체를 알아볼 수 없는 혼란스러운 색채의 덩어리로 보이도록 거대하고 밝은 빨간색 마커로 온통 휘갈겨 쓴다면, 그리고 로봇이 여전히 100%의 확신을 가지고 "이것은 분명히 고양이입니다"라고 주장한다면 어떨까요? 반면, 똑같이 휘갈겨진 덩어리를 보고 있는 인간은 그것이 무엇인지 전혀 알 수 없을 것입니다. 이 논문은 바로 그 시나리오를 탐구합니다. 이 논문은 단순하지만 무서운 질문을 던집니다. 우리의 눈이 보는 것과 로봇의 뇌가 믿는 것 사이에 간극이 존재하는가? 만약 존재한다면, 우리는 그것을 잡아낼 보안 시스템을 구축할 수 있는가? 이것은 단지 로봇을 속이는 것에 관한 문제가 아닙니다. 우리의 AI가 우리에게는 완전히 인식 불가능한 대상에 대해 환각적인 자신감을 내뿜고 있는 것은 아닌지 이해하는 것에 관한 문제입니다.

"새로운 종류"의 속임수

이 연구를 진행한 연구진들은 AI를 속이는 일반적인 방식의 판도를 뒤집기로 했습니다. 보통 해커들은 아주 작고 보이지 않는 변화를 추가하여 로봇을 '틀리게' 만들려고 합니다. 하지만 여기서 그들은 이미지를 '완전히 틀리게' 만들면서도 로로는 '고집스럽게 맞게' 만들려고 시도했습니다. 그들은 이를 "새로운 종류의 적대적 예제"(또는 NKE)라고 부릅니다.

이것을 마술사가 모자 안에 토끼가 있다고 확신하고 있는데, 사실 그 모자는 지금 반짝이와 꽃가루, 그리고 살아있는 다람쥐로 가득 차 있는 마술 쇼에 비유해 보세요. 관객(우리)은 모자를 보고 "저게 도대체 뭐야!"라고 말합니다. 하지만 마술사는 계속해서 손가락으로 가리키며 "토끼다! 토끼야!"라고 확신에 차서 외칩니다.

연구팀은 이를 세 가지 난이도 단계로 테스트했습니다: 단순한 흑백 숫자(MNIST), 알록달록한 작은 사물 이미지(CIFAR-10), 그리고 실제 세상의 사진(ImageNet)입니다. 그들은 이러한 "휘갈겨진" 이미지를 쉽게 만들어낼 수 있다는 것을 발견했습니다. (오래된 TV의 정적처럼 보일 때까지) 점점 더 많은 혼란스러운 노이즈를 추가하더라도, AI 모델은 원래의 레이블을 유지했으며 신뢰도 점수는 완벽한 100%를 유지했습니다. 하지만 인간은 어땠을까요? 인간은 완전히 길을 잃었습니다.

인간과 로봇의 간극

이것이 단순히 컴퓨터 시뮬레이션이 아님을 증명하기 위해, 연구진은 실제 사람들을 대상으로 작은 실험을 진행했습니다. 그들은 다섯 명의 자원봉사자에게 이 휘갈겨진 이미지들을 보여주고 무엇인지 추측하게 했습니다. 결과는 극명했습니다. 이미지가 심하게 휘갈겨졌을 때, 인간은 약 8% 정도만 정답을 맞혔습니다. 반면, AI는 여전히 100%의 확률로 정답을 맞히고 있었습니다.

이로 인해 거대한 "인간-모델 간극"이 발생했습니다. AI는 인간이 보는 것에 대해 확신하며 틀린 판단을 내리고 있었습니다. 연구진은 이것이 단순히 이미지가 너무 흐릿하거나 노이즈가 많아서 발생하는 문제인지도 확인했습니다. 그들은 자신들의 "휘갈겨진" 이미지를 정확히 동일한 양의 시각적 "손상"을 가진 무작위 노이즈와 비교했습니다. 그 결과, AI의 특수한 "휘갈김"은 무작위 노이즈보다 다른 컴퓨터 프로그램들에게 오히려 더 잘 인식된다는 것을 발견했습니다. 두 경우 모두 인간에게는 쓰레기처럼 보였음에도 불구하고 말입니다. 이는 AI가 단순히 노이즈를 무시하는 것이 아니라, 인간은 볼 수 없는 어떤 기묘하고 숨겨진 패턴에 집착하고 있음을 시사합니다.

보안의 사각지대

여기서부터 매우 까다로워집니다. 보통 AI가 이상한 것(예: 구름처럼 보이는 토스터 사진)을 보면, 경고를 울려야 합니다. 우리는 정확히 그 역할을 수행하도록 설계된 "분포 외(Out-of-Distribution, OOD) 탐지기"라는 도구를 가지고 있습니다. 이 도구들은 이미지가 AI가 학습한 데이터와 일치하는지 확인합니다. 만약 그렇지 않다면, 탐지기는 "이것은 수상해 보인다!"라고 말합니다.

연구진은 이 휘갈겨진 이미지들을 이러한 보안 도구들로 테스트했습니다. 결과는 어떠했을까요? 표준 도구들은 완전히 눈이 멀어 있었습니다.

신뢰도 체크: AI가 "나는 100% 확신한다!"라고 말했기에, 보안 도구는 "좋아, 문제없어"라고 생각했습니다.
에너지 체크: 이미지의 "이상한 에너지"를 찾는 또 다른 도구 역시 아무것도 발견하지 못했습니다.
특징 체크: 데이터의 내부적 "형태"를 살펴보는 특정 도구는 이를 잡아냈습니다. 이 도구는 휘갈겨진 이미지의 100%를 수상하다고 표시했습니다.

하지만 함정이 있었습니다. 연구진은 만약 해커가 이 "특징 체크" 도구가 존재한다는 것을 안다면, 자신의 휘갈김을 아주 미세하게 조정하여 이 도구마저 속일 수 있다는 것을 보여주었습니다. 이것은 마치 도둑이 집의 알람 시스템이 어떻게 생겼는지 정확히 파악한 뒤, 알람이 울리지 않도록 완벽하게 자물쇠를 따는 것과 같습니다. 이 속임수를 잡아낼 수 있었던 도구조차 공격자가 충분히 영리하다면 쉽게 무력화될 수 있었습니다.

질감 vs 형태의 미스터리

왜 이런 일이 발생할까요? 연구진은 AI의 "두뇌"를 파헤쳐서 그것이 무엇을 보고 있는지 조사했습니다. 그들은 매혹적인 분리 현상을 발견했습니다.

질감(Texture): AI는 이미지의 미세한 디테일, 즉 "질감"(예: 고양이의 털)에 크게 의존합니다. 휘갈김은 이 질감을 즉각적으로 파괴했습니다.
형태(Shape): 물체의 "윤곽"이나 "형태"(예: 고양이 몸의 일반적인 곡선)는 휘갈김 속에서도 훨씬 더 오래 살아남았습니다.

인간은 보통 형태를 통해 사물을 인식합니다. 하지만 이 경우의 AI는 형태를 무시하고 질감에 의존하거나, 혹은 자신만이 이해할 수 있는 기묘한 질감 패턴을 찾아내는 것처럼 보였습니다. 형태를 더 잘 보도록 설계되었다는 최신 유형의 AI인 '비전 트랜스포머(Vision Transformer)'를 테스트했을 때도, 이 속임수에 여전히 넘어갔습니다. 인간과 기계 사이의 간극은 여전했습니다.

"슈퍼 방어"는 통하지 않는다

마지막으로, 팀은 질문했습니다. "AI를 더 강하게 훈련시키면 되지 않을까?" 그들은 일반적인 미세하고 보이지 않는 공격에 저항하도록 AI를 가르치는 방법(이를 "적대적 훈련"이라 부름)을 시도했습니다. 또한 이미지를 흐리게 처리하거나 AI가 보기 전에 크기를 변경하는 방법도 시도했습니다.

결과는 어떠했을까요? 아무것도 통하지 않았습니다. 미세한 공격에 대해 매우 강력하도록 훈련된 AI조차도, 이러한 거대한 휘갈김 공격에는 여전히 100% 취약했습니다. 미세한 먼지를 무시하는 데 능숙한 것이 거대한 콧수염을 얼굴에 그려 넣는 상황에서는 전혀 도움이 되지 않는다는 사실이 드러났습니다. 두 가지 유형의 공격은 완전히 다르며, 우리의 현재 방어책은 문제의 한쪽 면만을 다루고 있을 뿐입니다.

요약

이 논문은 무서운 새로운 취약성을 드러냅니다. 우리는 인간이 보기에는 완전히 인식 불가능한 대상에 대해서도 100%의 확신을 갖도록 유도될 수 있는 AI 시스템을 구축했습니다. 우리의 현재 보안 알람들은 AI가 너무나 확신에 차 있기 때문에 이 상황을 감지하지 못합니다. 그리고 이를 감지할 수 있는 도구들조차 공격자가 방법을 안다면 쉽게 속일 수 있습니다.

연구진은 이것이 해결된 문제라고 말하는 것이 아닙니다. 오히려 이것이 우리 안전망에 있는 거대하고 열려 있는 구멍이라고 말하고 있습니다. 그들은 다른 과학자들이 AI가 단순히 혼란스러운 상황에서 확신을 가지고 "추측"하는 것이 아니라, 실제로 "모르겠다"라고 인정할 수 있는 방법을 찾도록 돕기를 바라며, 사용한 모든 코드와 도구를 공개했습니다. 그때까지 우리는 주의해야 합니다. 로봇이 확신한다고 해서, 그것이 반드시 옳은 것은 아니기 때문입니다.

기술 요약: 새로운 종류의 적대적 예시 (NKE)

문제 정의
고전적인 적대적 예시는 인간에게는 시각적으로 변하지 않은 것처럼 보이면서도 모델이 이미지를 오분류하게 만드는 미세하고 인지 불가능한 섭동(perturbation)으로 정의된다. 본 논문은 이와 반대되는 실패 모드인 **새로운 종류의 적대적 예시 (New Kind of Adversarial Examples, NKE)**를 조사한다. 이 설정에서는 이미지에 크고 명확하게 보이는 섭동이 적용되지만, 인간 관찰자는 더 이상 이미지를 인식할 수 없음에도 불구하고 모델은 높은 신뢰도로 원래의 올바른 예측을 유지한다.

이전 연구(Borji [3]; Nie et al. [5])가 이러한 예시를 대규모로 생성할 수 있음을 입증했으나, 세 가지 핵심 질문은 여전히 검증되지 않은 상태로 남아 있었다:

인간-모델 간극 (The Human–Model Gap): 이러한 대규모 섭동 하에서 인간의 인식 능력이 모델의 정확도보다 실제로 더 빠르게 저하되는가, 아니면 이 간극이 단순히 신호 손실에 의한 결과인가?
OOD 탐지 및 보정 (OOD Detection and Calibration): 표준 분포 외(Out-of-Distribution, OOD) 탐지기 및 보정 도구(예: 신뢰도 점수, 에너지 기반 방법)가 이 예시들을 실패 사례로 식별하는가? 이들은 데이터 매니폴드에서 멀리 떨어져 있음에도 불구하고 자신만만하게 분류된다.
강건성 (Robustness): 기존의 방어 기제(적대적 훈련, 입력 변환, 무작위 평활화)가 이러한 실패 모드를 완화하는가, 아니면 작은 $\epsilon$ 공격에 대한 저항성이 큰 $\epsilon_l$ 공격에 대한 저항성과는 별개의 문제인가?

방법론
본 연구는 MNIST, CIFAR-10, ImageNet(Imagenette 사용)에 걸쳐 NKE 이미지를 생성하기 위한 통합된 공격 생성 파이프라인을 활용한다. 공격은 진성 레이블 손실(true-label loss)을 최소화하면서(올바른 예측을 유지함) 섭동 크기에 대한 하한 제약 조건( $D(x, x') > \epsilon_l$ )을 강제한다. 주요 생성기는 모멘텀 기반 반복 변형(NMI-FGSM/NMI-FGM)을 사용한다.

평가는 네 가지 트랙으로 구성된다:

인간-모델 간극 측정:
- 계산적 대리 지표 (Computational Proxies): 독립적인 일반 인식기(깨끗한 데이터로 훈련된 다른 아키텍처)와 형상 인식기(Canny 엣지 맵으로 훈련됨)가 인간의 성능을 나타내는 대리 지표 역할을 한다.
- 인간 파일럿 테스트: 공개된 하네스를 사용하여 실제 인간의 반응을 수집하는 소규모 강제 선택 연구( $N=5$ )를 수행한다.
- 대조군 (Controls): "적대적 구조" 효과와 일반적인 "신호 손실"을 구분하기 위해 일치하는 크기의 가우시안 노이즈 대조군을 사용한다.
- CLIP 대리 지표: ImageNet 규모에서 인간의 인식 가능성을 나타내는 더 강력한 비-CNN 대리 지표로 제로샷 CLIP 분류를 사용한다.
OOD 및 보정 분석: 최대 소프트맥스 확률(MSP), 에너지 점수, 마할라노비스 거리 탐지기와 함께 기대 보정 오차(ECE)를 평가한다.
적응형 공격 (Adaptive Attack): 공격자가 최적화 목적 함수에 탐지기의 거리 메트릭을 포함함으로써 특징 공간 탐지기를 회피할 수 있는지 테스트한다.
방어 평가: 적대적 훈련, 무작위 평활화, 입력 변환을 NKE에 대해 평가하고, 고전적 강건성과 NKE 저항성 사이의 상관관계를 조사한다.
메커니즘 분석: 모델의 불변성을 설명하기 위해 엣지/형상 구조의 보존과 질감(texture)의 보존을 정량화한다 (GLCM 및 Canny 엣지 F1 점수 활용).

주요 결과

인간-모델 간극은 실재하며 구조적이다:
- CIFAR-10에서 $\epsilon_l$ 이 증가함에 따라, 소스 모델은 100% 정확도를 유지하는 반면, 독립적인 일반 인식기는 약 49%로 떨어진다.
- 결정적으로, 일치하는 L2 가우시안 대조군은 인식기를 (NKE보다) 더 빠르게 저하시킨다(약 15%까지). 이는 이 간극이 신호 손실 때문이 아니라, 인간이 인식할 수 있는 콘텐츠를 파괴하면서도 모델 관련 특징은 보존하는 특정한 적대적 구조 때문임을 나타낸다.
- 소규모 인간 파일럿( $N=5$ ) 또한 이를 뒷받침하며, 대규모 섭동에서 인간의 정확도는 약 8%로 떨어지는 반면 모델은 100%를 유지한다.
- ImageNet 규모에서 CLIP 제로샷 대리 지표는 유의미한 간극(모델 100% vs. CLIP ~33%)을 확인했으나, CIFAR-10과 달리 NKE와 가우시안 노이즈의 순서가 역전되었다. 이는 Image-scale에서 NKE가 광범위한 의미론적 콘텐츠를 능동적으로 파괴함을 시사한다.
표준 OOD 및 보정 도구의 맹점:
- 신뢰도 기반(MSP) 및 에너지 기반 OOD 탐지기는 NKE 이미지를 0% 탐지하며, ECE 또한 0에 가깝게 유지된다. 입력이 인간에게 인식 불가능함에도 불구하고 모델은 완벽하게 보정된 것처럼 보인다.
- 특징 공간 마할라노비스 탐지기는 NKE 이미지를 100% 탐지하여, 이들이 매니폴드에서 벗어나 있음을 정확히 식별한다.
- 적응형 취약성: 그러나 적응형 공격자는 손실 함수에 패널티 항을 추가함으로써 마할라노비스 탐지를 100%에서 0%로 줄일 수 있으며, 이때 공격 성공률이나 섭동 크기에는 비용이 들지 않는다. 이러한 회피는 보유 중인 탐지기 및 적대적으로 훈련된 모델에 대해서도 유효하다.
고전적 방어와의 직교성 (Orthogonality):
- 어떤 고전적 방어도 NKE를 완화하지 못한다. PGD에 대해 45%의 강건한 정확도를 보이는 적대적 훈련 모델도 NKE에는 약 100% 취약하다.
- 작은 $\epsilon$ 공격에 대한 저항성과 큰 $\epsilon_l$ NKE 공격에 대한 저항성 사이에는 제로 상관관계( $r \approx 0$ )가 존재한다.
메커니즘 통찰 (질감 vs. 형상):
- 공격은 엣지/형상 구조의 저하(엣지 보존율 약 0.3–0.4 유지)보다 저수준 질감 통계(GLCM 유사도가 ~0으로 붕괴)를 훨씬 더 빠르게 파괴한다.
- CNN은 질감 편향(texture-biased)을 갖지만, 형상 편향(shape bias)을 가진 비전 트랜스포머(ViT) 역시 NKE 입력에 대해 CNN보다 레이블을 더 잘 복구하지 못한다. 이는 생존한 구조가 인간과 같은 인식을 하기에는 불충분함을 나타낸다.
- 전이성(Transferability) 분석 결과, NKE 예시는 매우 모델 특이적(model-specific)이다. 작업 복잡도가 증가함에 따라(MNIST $\to$ ImageNet) 전이성이 붕계되는데, 이는 생존한 신호가 소스 모델에 특이적(idiosyncratic)임을 시사한다.

의의 및 주장
본 논문은 논의의 초점을 이러한 예시의 '생성 가능성'에서, 모델과 인간 지각 사이의 간극 및 현재 안전 도구의 한계를 이해하는 것으로 옮긴다고 주장한다.

실패 모드의 재정의: NKE는 모델이 인간의 관점에서는 "틀렸지만(인식 불가능)", 모델의 관점에서는 "옳은(정확한)" 상태인 독특한 취약성을 나타낸다. 이는 표준 신뢰도 기반 모니터링이 구조적으로 눈멀 수밖에 없는 실패 모드이다.
현재 방어 체계의 한계: 강건성이 작은 섭동에 대한 저항성을 의미하는 것이 아니라, 레이블을 보존하는 큰 섭동에 대한 저항성까지 포함하는 것은 아님을 보여준다. 기존 방어는 이 영역을 다루지 못한다.
OOD 탐지의 뉘앙스: 특징 공간 탐지기가 NKE를 식별할 수는 있지만, 적응형 공격에는 취약하다. 논문은 "매니폴드 이탈" 탐지가 필요하긴 하지만, 탐지기가 알려진 공격자에게는 불충분함을 시사한다.
인간-모델 발산: 본 연구는 인간과 모델의 심리물리학적 곡선 간의 발산이 단순한 이론적 개념이 아니라, 질감을 파괴하면서 모델이 의존하는 형상 구조를 보존하는 대규모 섭동 영역에서 측정 가능한 현실임을 경험적 증거(대리 지표 및 파일럿 테스트)를 통해 제공한다.

저자들은 소프트맥스 신뢰도나 에너지 점수에 의존하는 시스템이 분포 외 실패 탐지에 대해 감사를 받아야 하며, 향el 연구는 설계 단계부터 적응형 강건성을 갖춘 탐지기에 집중해야 한다고 결론짓는다. 저자들은 감사를 용이하게 하기 위해 전체 파이프라인, 자극물, 그리고 인간 연구용 하네스를 공개한다.