💻 computer science

Large-Model-Assisted Analysis of Adversarial Vulnerability: Separating Evidence-Conflict Detection from Robust Classification

이 논문은 적대적 증거 충돌의 탐지와 강건한 분류를 분리하는 대규모 모델 보조 진단 프레임워크를 제안하며, 특정 트리거와 정책이 적대적 입력을 효과적으로 식별하고 전환할 수 있는 반면, 이러한 능력이 화이트박스 공격에 대한 강력한 강건성을 달성하는 것과는 별개라는 점을 입증한다.

원저자: Keji Han

게시일 2026-09-30

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Keji Han

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

현대 이미지 인식의 강력한 엔진인 심층 신경망은 기묘한 사각지대를 가지고 있습니다. 인간의 눈에는 고양이 사진이 몇 개의 픽셀이 미세하게 변하더라도 여전히 고양이로 보입니다. 그러나 이러한 컴퓨터 시스템에게는 이미지 속의 거의 보이지 않는 변화가 완전한 오인식을 일으켜, 고양이를 개로 바꾸거나 정지 표지판을 속도 제한 표지판으로 바꾸어 놓을 수 있습니다. 적대적 취약성(adversarial vulnerability)이라고 알려진 이 현상은 근본적인 불일치를 드러냅니다. 즉, 기계는 우리가 세상을 보는 방식과 다르게 보고 있다는 것입니다. 기계는 인간이 사용하는 형태와 구조에 대한 견고한 이해 대신, 취약한 통계적 지름길에 의존합니다. 수년 동안 연구자들은 더 크고 강력한 모델을 구축하거나, 기계가 사람만큼 신뢰할 수 있는 지점에 도달하기를 희망하며 이러한 공격을 견뎌내도록 훈련시키는 방식으로 이 문제를 해결하려 노력해 왔습니다.

난징 우체통 대학교(Nanjing University of Posts and Telecommunications)의 새로운 연구는 다른 접근 방식을 취합니다. 연구진은 컴퓨터를 무적(invincible)으로 만드는 데 강요하는 대신, 더 단순하고 진단적인 질문을 던졌습니다. 바로 '컴퓨터가 자신의 증거가 의심스러워지고 있다는 것을 스스로 알아차릴 수 있는가?'였습니다. 그들은 진짜 문제가 힘의 부족이 아니라, 자신이 사용하는 단서들이 조작되었다는 사실을 인지하지 못하는 데 있을지도 모른다고 제안했습니다. 연구팀은 거대한 범용 인공지능이 컨설턴트 역할을 하는 워크플로우를 개발했습니다. 이 컨설턴트는 이미지를 분류하거나 시스템을 방어하는 것이 아니라, 깨끗한 이미지와 조작된 이미지의 쌍을 살펴보고 무엇이 잘못되었는지에 대한 가설을 생성합니다. 이 컨설턴트는 공격이 이미지의 미세한 질감 속에 숨어 있다거나, 노이즈에도 불구하고 물체의 형태는 온전하게 유지되고 있다는 등의 의견을 제시할 수 있습니다. 연구진은 이후 이러한 인간과 유사한 추측들을 작은 전문화된 컴퓨터 모델이 수행할 수 있는 엄격한 수학적 테스트로 변환합니다.

그들의 실험의 핵심은 "아하 모먼트(Aha moment)"라고 부르는 메커니즘을 포함합니다. 이 문맥에서 아하 모먼트는 갑작스러운 통찰의 번뜩임이 아니라, 컴퓨터가 자신의 증거에서 충돌을 감지하는 측정 가능한 사건을 의미합니다. 시스템이 깨끗한 이미지를 볼 때, 그것은 한 세트의 시각적 단서에 의존합니다. 하지만 동일한 이미지가 적대적 공격을 받은 후 나타나면, 시스템은 주의를 다른 세트의 단서(예: 물체의 전체적인 형태나 가장자리 등)로 전환하도록 설계되었습니다. 이는 공격자가 훼손한 미세한 세부 사항 대신 다른 정보를 보도록 유도하는 것입니다. 연구진은 대형 AI의 가설을 사용하여 무엇을 찾아야 할지 안내받으며, 작은 모델들이 이러한 전환을 수행하도록 훈련시켰습니다. 그들은 표준 이미지 데이터셋을 대상으로 하여, 시스템을 단계적으로 속이려는 점점 더 강력한 공격들을 가하며 이 모델들을 테스트했습니다.

결과는 놀랍고도 중요한 차이점을 드러냈습니다. 연구진은 작은 모델들이 충돌을 감지하고 주의를 전환하도록 성공적으로 훈련할 수 있다는 것을 발견했습니다. 공격이 발생했을 때, 모델들은 실제로 초점을 옮겼으며, 증거가 변했다는 명확한 "아하" 신호를 보여주었습니다. 그러나 이러한 감지가 안전을 보장하지는 않았습니다. 모델이 공격을 올바르게 인지하고 더 안전한 방식으로 이미지를 보는 법으로 전환했음에도 불구하고, 강력한 공격 하에서는 여로 물체를 올바르게 식별하는 데 실패하는 경우가 많았습니다. 가장 엄격한 테스트에서, 최고의 모델들은 약 80%에 달하는 깨끗한 정확도를 달양했으나, 가장 강력한 공격에 직면했을 때는 정확도가 약 6.65%로 떨어졌습니다. 더욱 시사하는 바는, 가장 강력한 "아하" 신호를 보인 모델들—즉, 공격에 가장 극적으로 반응한 모델들—이 반드시 이미지를 가장 정확하게 분류하는 모델은 아니었다는 점입니다.

이러한 괴리는 문제를 인지하는 것과 문제를 해결하는 것이 서로 다른 기술임을 시사합니다. 모델은 초기 단서가 신뢰할 수 없다는 것을 깨닫고 백업 계획으로 전환할 수는 있지만, 만약 그 백업 계획마저 취약하다면 시스템은 여전히 실패할 것입니다. 연구는 "아하" 메커즘이 훈련 가능하고 측정 가능하지만, 진정으로 견고한 결정 경계(decision boundary)를 갖는 것과는 별개의 문제임을 보여주었습니다. 실제로 연구진은 단순히 모델이 충돌을 더 잘 감지하게 만든다고 해서 공격에 대한 저항력이 자동으로 높아지는 것은 아니라는 사실을 발견했습니다. 가장 강력한 공격을 가장 잘 견뎌낸 모델들은 충돌을 가장 잘 감지하는 모델이 아니라, 결정 경계를 강화하도록 특화되어 훈련된 모델들이었습니다.

연구진은 또한 이 "아하" 모듈을 기존에 훈련된 시스템을 처음부터 다시 구축하지 않고도 추가할 수 있는지 테스트했습니다. 그들은 1,500개 미만의 조정 가능한 설정값을 가진 아주 작은 애드온(add-on)이 쉬운 수준과 중간 수준의 공격에 대한 성능을 향상시킬 수 있다는 것을 발견했습니다. 그러나 이 작은 추가물은 가장 강력한 공격에 대한 시스템의 실패를 해결할 수는 없었습니다. 이는 충돌을 감지하는 능력과 공격을 견뎌내는 능력이 두 가지 별개의 과제임을 확인시켜 주었습니다. 거대 인공지능은 무엇이 이미지를 취약하게 만드는지에 대한 올로한 질문을 구성하는 가이드로서 역할을 잘 수행했지만, 최종적인 답은 실험의 가혹한 데이터로부터 나왔습니다.

궁극적으로, 이 연구는 견고한 인공지능을 향한 길이 단순히 더 나은 탐지나 더 강한 방어만을 요구하는 것이 아니라고 결론짓습니다. 그것은 자신의 증거가 훼손되었을 때를 인지할 수 있는 능력과, 동시에 공격으로부터 면역이 되어 있는 신뢰할 수 있는 대안적 시각을 모두 갖춘 시스템을 필요로 합니다. 연구진은 우리가 기계에게 함정을 포착하는 법은 가르칠 수 있지만, 일단 함정 안에 들어갔을 때 그곳에서 탈출하는 법은 아직 완전히 가르치지 못했다는 것을 입증했습니다. 이 연구는 이러한 격차를 연구할 수 있는 명확하고 측정 가능한 방법을 제공하며, 진정으로 견고한 시각을 향한 여정은 위험을 보는 것이 단지 첫 번째 단계일 뿐, 그 자체가 해결책은 아니라는 점을 보여줍니다.

기술 요약: 대규모 모델 보조를 통한 적대적 취약성 분석

문제 정의

적대적 예제(Adversarial examples)는 인간의 시각적 불변성과 심층 신경망이 학습한 결정 경계 사이의 근본적인 불일치를 드러낸다. 표준적인 적대적 훈련은 최악의 손실(worst-case losses)을 최적화하지만, 모델이 증거를 어떻게 처리하는지, 혹은 섭동(perturbation)에 직면했을 때 내부적 충돌을 감지하는지 여부는 설명하지 못하는 경우가 많다. 기존 연구는 종종 최첨단(SOTA) 강건성 수치나 더 큰 백본(backbone)을 달하는 데 집중하며, 적대적 증거 충돌을 감지하는 것과 대안적 증거 경로에서 강건한 결정 경계를 보유하는 것 사이의 기계론적 구분을 모호하게 만들 가능성이 있다.

본 논문은 컴팩트한 비전 모델이 적대적 증거가 나타날 때 측정 가능한 내부 이벤트(즉, "아하 모먼트(Aha moment)")를 생성할 수 있는지, 그리고 모델이 추론 전략을 전환하려고 시도한 후에도 입력이 강력한 공격 하에서 왜 여전히 취약한 상태로 남는지에 대해 조사한다.

방법론

제안된 워크플로우는 대규모 모델(LM)을 분류기, 탐지기 또는 방어 모듈이 아닌, 엄격하게 가설 생성기로서 활용한다. 과정은 세 가지 뚜렷한 단계로 나뉜다.

1. 대규모 모델 보조 가설 생성

훈련 전, 대규모 모델은 쌍을 이룬 깨끗한 이미지(clean)와 적대적 이미지(adversarial), 섭동 맵(perturbation maps), 그리고 예측값을 분석한다. 이 모델은 다음과 같은 취약성 요인에 대한 구조화된 자연어 가설을 생성한다:

객체의 정체성이 시각적으로 보존되는지 여부.
섭동이 고주파 텍스처를 타겟팅하는지 여부.
저역 통과(low-pass), 에지(edge) 또는 시맨틱 뷰(semantic view)가 안정적인 대안을 제공할 수 있는지 여부.

2. 결정론적 텐서 감사 (Deterministic Tensor Audit)

자연어 가설은 결정론적 텐서 연산 및 측정 가능한 통계치로 변환된다. LM의 출력은 그 자체로 정답(ground truth)으로 취급되지 않으며, 다음을 포함한 텐서 테스트를 통해 검증된다:

섭동 밀도(Perturbation Density): $\ell_\infty$ 및 변경된 엔트리 비율.
주파수 분석(Frequency Analysis): 푸리에 고주파 에너지 점유율.
구조적 보존(Structural Preservation): 그레이스케일 및 에지 상관관계.
불안정성(Instability): 총 변동량(Total-variation) 이득.
측정 가능한 텐서 통계와 일치하는 가설만이 훈련 목표를 정의하기 위해 유지된다.

3. 메커니즘 구현 및 평가

검증된 가설은 충돌을 감지하고 뷰를 전환하도록 설계된 컴팩트 모듈의 훈련을 유도한다:

Aha-ResNet: 베이스 뷰와 시맨틱 뷰( $v_{sem} = 0.65 \text{LowPass}(x) + 0.35 \text{Sobel}(x)$ )로부터 로짓(logits)을 계산하며, 이는 학습 가능한 게이트 $g(x)$ 에 의해 보간된다.
AhaV2: 신뢰도, 엔트로피, 마진, 뷰 불일치(view disagreement)에 대한 작은 트리거 네트워크를 사용하는 쌍체 순위(pairwise ranking) 변형이다. 이는 깨끗한 입력에서 적대적 입력으로 갈수록 트리거 점수가 증가하도록( $\Delta_{sem} > 0$ ) 하는 순위 목표를 강제한다.
GRPO 스타일 정책: 컴팩트한 특징을 기반으로 베이스, 저역 통과, 에지 및 시맨틱 뷰 중에서 선택하는 그룹화된 상대적 선호 최적화(grouped relative preference optimization) 정책을 사용한다.

평가 프로토콜:
모델은 CIFAR-10, CIFAR-100, TinyImageNet, CelebA 데이터셋에 대해 강력한 화이트박스 공격(PGD-20/50 with restarts)을 사용하여 평가된다. 결정적으로, 본 연구는 세 가지 지표를 분리한다:

강건 정확도(Robust Accuracy): 공격 하에서의 최종 예측 정확도.
Aha Shift: 깨끗한 입력과 적대적 입력 사이의 트리거 또는 시맨틱 액션의 변화량.
텐서 진화(Tensor Evolution): PGD 단계 동안의 손실, 마진 및 게이트 값의 궤적.

또한, 고정된(frozen) 적대적 훈련 백본 위에 AhaV2 트리거 또는 GRPO 정책을 결려 훈련하는 PGD-5 Plug-and-Play 실험도 수행된다.

주요 기여

"아하 모먼트"의 정의: 본 논문은 "아하 모먼트"라는 개념을 쌍체 증거 전환 이벤트(pairwise evidence-switching event)로 구체화한다. 이는 적대적 섭동 시 베이스 픽셀 뷰에서 더 안정적인 시맨틱 뷰로의 트리거 게이트 증가 또는 액션 분포의 변화로 정의된다.
충돌 감지와 강건 분류의 분리: 핵심 발견은 적대적 충돌을 감지하는 것이 훈련 가능하고 측정 가능하지만, 대안적 증거 경로에서의 강건한 결정 경위 보유와는 분리되어 있다는 점이다. 모델은 자신의 증거가 의심스럽다는 것(높은 Aha shift)을 성공적으로 감지할 수 있지만, 대안 뷰 자체가 약한 결정 경계를 가질 경우 여로 강력한 공격 하에서도 분류에 실패할 수 있다.
대규모 모델 보조 메커니즘 분석: 본 논문은 대규모 모델이 취약한 증거(예: 텍스처 의존성, 형태 보존)에 대한 인간이 읽을 수 있는 가설을 생성하는 용도로만 사용되되, 이 가설들이 반드시 결정론적 텐서 감사로 변환되어야 함을 보여주는 파이프라인을 확립한다. 이는 검증 불가능한 자유 형식의 설명에 의존하는 것을 방지한다.

실험 결과

Shift와 정확도의 디커플링(Decoupling): CIFAR-10에서 가장 높은 PGD-50 Aha shift를 보인 모델(Pairwise Human-GRPO, 27.80 퍼센티지 포인트)이 가장 높은 PGD-50 정확도를 달성한 것은 아니다. 가장 높은 정확도(6.65%)는 더 낮은 shift(10.08 포인트)를 가진 robust ce120 AhaV2에 의해 달성되었다. 이는 적대적 증거에 대한 강력한 내부 반응이 강건한 최종 결정을 보장하지 않음을 확인시켜 준다.
Plug-and-Play의 한계: 고정된 PGD-5 백본에 부착되었을 때, 1,495개의 파라미터를 가진 AhaV2 트리거는 깨끗한 정확도(43.70% $\to$ 59.05%)와 FGSM 정확도(15.45% $\to$ 22.25%)를 개선했으나, PGD-50 정확도는 미미하게 개선(2.30% $\to$ 2.60%)하는 데 그쳤다. 이는 어댑터가 증거 사용 방식은 바꿀 수 있어도, 강력한 공격에 대한 고정된 백본의 약한 결정 경계를 수선할 수는 없음을 나타낸다.
교차 데이터셋 일반화: TinyImageNet, CIFAR-100, CelebA에서 저용량 "RobustMemory" 학생 모델(4.7k 파라미터)은 측정 가능한 충돌 신호(Aha delta 최대 27.17 포인트)를 성공적으로 학습하고 약/중간 공격 성능을 향상시켰다. 그러나 이들은 강력한 PGD 정확도 측면에서 항상 완전한 적대적 훈련 베이스라인(PGD-AT, TRADES, MART, AWP)에 뒤처졌으며, 이는 적대적 훈련이 여전히 강건한 경계의 주요 동력임을 재확인시켜 준다.
텐서 진화: PGD 단계 분석 결과, 손실이 상승하고 마진이 0을 교차함에 따라 Aha 게이트가 반응적으로 증가함을 보여준다. 게이트는 공격에 반응하지만, 결정 경계가 넘겨지는 것을 막지는 못한다.

의의 및 주장

본 논문은 SOTA 방어 기법을 제시하기보다는 **진단 프레임워크(diagnostic framework)**를 제공한다는 점을 겸허히 주장한다. 본 연구의 주요 의의는 다음과 같은 방법론적 구분에 있다:

진단적 가치: 적대적 충돌을 감지하는 것은 최종 강건 정확도와 독립적으로 측정될 수 있는 별개의 훈련 가능한 메커니즘이다.
대규모 모델의 역할: 대규모 모델은 취약한 증거(예: 텍스처 의존성, 형태 보존)에 대한 인간이 읽을 수 있는 가설을 구성하는 데 유용하지만, 반드시 결정론적 텐서 감사로 변환되어야 한다. 모델은 강건성의 최종 판정자가 아니다.
현재 접근법의 한계: 결과는 강건한 추론을 위해 두 가지 구성 요소가 필요함을 시사한다: (1) 증거가 신뢰할 수 없게 되었다는 것을 감지하는 능력, 그리고 (2) 모델이 전환하게 될 대안적 증거 경로에서의 강건한 결정 경계. 현재의 방법들은 종종 첫 번째를 명시적으로 측정하지 않거나, 혹은 두 번째를 명시적으로 측정하지 않은 채 하나만을 최적화한다.

저자는 대규모 모델의 보조가 메커니즘 질문을 체계화하는 데는 도움이 되지만, 강건성에 대한 주장은 궁극적으로 쌍을 이룬 텐서 측정과 강력한 적응적 공격에 의해 결정되어야 한다고 결론짓는다. 본 연구는 적대적 강건성을 해결한다고 주장하는 것이 아니라, 증거 충돌 감지와 강건한 분류 사이의 관계를 명확히 하는 데 목적이 있다.