Pushing the Frontier of Black-Box LVLM Attacks via Fine-Grained Detail Targeting

이 논문은 M-Attack 의 한계를 극복하기 위해 다중 크롭 정렬, 보조 타겟 정렬, 패치 모멘텀 등을 도입한 M-Attack-V2 를 제안하여, 블랙박스 LVLM 공격의 성공률을 Claude-4.0 에서 8% 에서 30% 로, Gemini-2.5-Pro 에서 83% 에서 97% 로, GPT-5 에서 98% 에서 100% 로 획기적으로 향상시켰음을 보여줍니다.

핵심

이 논문은 **"최신 AI 이미지 인식 모델 (LVLM) 을 속이는 새로운 방법"**에 대한 연구입니다. 마치 마법사처럼 AI 가 보는 이미지를 살짝만 건드려서, AI 가 완전히 다른 것을 보게 만드는 기술이죠.

이전까지의 기술들도 꽤 강력했지만, 최신 AI 들은 너무 똑똑해서 속이기 어려웠습니다. 이 논문은 그걸 해결하기 위해 **"조금 더 정교하고 안정적인 방법"**을 개발했다고 합니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제점: "흔들리는 나침반" (기존 기술의 한계)

과거의 공격 기술 (M-Attack) 은 AI 를 속이기 위해 이미지의 **작은 부분 (크롭)**을 잘라내서 분석했습니다. 하지만 이 방식에는 치명적인 문제가 있었습니다.

• 비유: imagine you are trying to find a hidden treasure on a map using a compass. But every time you move your finger just a tiny bit (even a millimeter), the compass needle spins wildly in a completely different direction. You can't tell which way is North anymore.
• 현실: AI 가 이미지를 볼 때, 아주 작은 부분만 바꿔도 AI 의 '뇌' (그래디언트) 가 완전히 다른 방향으로 반응합니다. 마치 나침반이 흔들려서 방향을 잃은 것처럼, AI 를 속이려는 시도가 매번 엉뚱한 곳으로 가게 되어 효율이 매우 떨어졌습니다.

2. 해결책: "M-Attack V2"의 세 가지 마법

저자들은 이 흔들림을 잡기 위해 세 가지 전략을 합쳤습니다.

① 여러 각도에서 보기 (Multi-Crop Alignment, MCA)

• 비유: 한 번에 한 장의 사진만 보고 방향을 결정하는 대신, 동일한 장면을 10 개씩 여러 각도로 찍어서 평균을 내는 것입니다.
• 효과: 한 각도에서 나침반이 흔들려도, 다른 9 개의 사진과 평균을 내면 진짜 방향 (올바른 공격 경로) 을 찾을 수 있게 됩니다. 이렇게 하면 AI 의 반응이 너무 극단적으로 변하는 것을 막아줍니다.

② 안전한 목표물 찾기 (Auxiliary Target Alignment, ATA)

• 비유: AI 를 속이려는 '목표' (예: "이 사진은 고양이입니다"라고 말하게 만들기) 를 잡을 때, 너무 급하게 멀리 있는 목표물을 잡으려다 길을 잃는 대신, 주변에 비슷한 목표물들을 미리 준비해두고 그 사이를 부드럽게 이동하는 것입니다.
• 효과: AI 가 혼란스러워하지 않도록, 공격 경로를 부드럽게 만들어줍니다.

③ 과거의 기억 활용하기 (Patch Momentum)

• 비유: 길을 찾을 때, "아까 저기서 방향이 틀렸구나"라고 기억해두고 다음에 그 방향을 피하거나 보정하는 기억력을 쓰는 것입니다.
• 효과: AI 가 한 번 실수한 경로를 반복해서 다시 시도하지 않게 도와주어, 더 빠르게 정확한 공격 지점에 도달하게 합니다.

---

3. 결과: "완벽한 속임수"

이 새로운 방법 (M-Attack V2) 을 적용하자 놀라운 결과가 나왔습니다.

• GPT-5: 98% 성공률 → 100% 성공률 (거의 완벽하게 속임)
• Gemini 2.5-Pro: 83% → 97%
• Claude 4.0: 8% → 30% (이전에는 거의 불가능했던 수준에서 성공적으로 돌파)

가장 중요한 점은, 사람의 눈으로는 전혀 변한 게 보이지 않는다는 것입니다. AI 만이 속아 넘어가고, 인간은 "아무것도 안 변했네?"라고 생각할 정도로 자연스럽습니다.

4. 결론: 왜 이 연구가 중요한가요?

이 연구는 단순히 "AI 를 해킹하는 방법"을 알려주는 것뿐만 아니라, AI 가 어떻게 이미지를 보고 판단하는지 그 '뇌'의 약점을 찾아낸 것입니다.

• 안전한 AI 만들기: 이렇게 AI 의 약점을 미리 찾아내면, 개발자들이 더 튼튼한 방어벽을 만들 수 있습니다. (마치 백신을 개발하기 위해 바이러스를 연구하는 것과 같습니다.)
• 미래의 경고: 앞으로 AI 가 우리 생활 (의료, 보안, 뉴스 등) 에 더 깊게 들어갈수록, 이런 '보이지 않는 속임수'에 대한 대비가 필수적임을 보여줍니다.

한 줄 요약:

"AI 가 이미지를 볼 때 생기는 '눈의 떨림'을 여러 각도와 기억력으로 보정하여, 최신 AI 모델도 전혀 모르게 속이는 **완벽한 '보이지 않는 마법'**을 개발했습니다."

기술 요약

1. 문제 정의 (Problem)

대규모 시각 - 언어 모델 (LVLMs) 은 이미지 캡셔닝, 시각적 질문 답변 (VQA), 시각적 추론 등 다양한 멀티모달 작업에서 핵심적인 역할을 하지만, 적대적 공격 (Adversarial Attacks) 에 취약합니다. 특히, 블랙박스 (Black-box) 환경에서의 공격은 모델의 기울기 (Gradient) 정보를 알 수 없고, 복잡한 멀티모달 결정 경계로 인해 매우 어렵습니다.

기존의 최첨단 (SOTA) 방법인 M-Attack은 소스 이미지와 타겟 이미지 간의 '로컬 크롭 (Local Crop) 수준 매칭'을 사용하여 높은 공격 성공률을 보였습니다. 그러나 저자들은 M-Attack 이 다음과 같은 근본적인 한계를 가지고 있음을 발견했습니다.

1. 고분산 및 거의 직교하는 기울기 (High-variance, Near-orthogonal Gradients): ViT(Vision Transformer) 기반 모델은 번역 (Translation) 에 매우 민감합니다. 픽셀의 미세한 이동만으로도 토큰 구성이 바뀌고 자기 주의 (Self-attention) 메커니즘이 변하여, 겹치는 영역이 많음에도 불구하고 연속된 반복(iteration) 에서의 기울기 방향이 거의 직교하게 됩니다. 이는 최적화를 불안정하게 만듭니다.
2. 비대칭적인 구조 (Structural Asymmetry): M-Attack 은 소스 이미지의 크롭과 타겟 이미지의 크롭을 매칭하지만, 두 과정이 서로 다른 의미 공간에서 작동합니다. 소스 크롭은 픽셀 공간에서 직접적인 교란을 생성하는 반면, 타겟 크롭은 특징 공간에서의 참조점을 이동시킵니다. 이러한 비대칭성은 타겟 임베딩의 분산을 증가시키고 최적화를 불안정하게 만듭니다.

2. 제안 방법론 (Methodology: M-Attack-V2)

저자들은 위 문제를 해결하기 위해 M-Attack-V2를 제안합니다. 이는 국소 매칭을 '비대칭 기대값 (Asymmetric Expectation)'으로 재정의하고, 기울기 잡음 제거 (Gradient Denoising) 프레임워크를 구축한 것입니다. 주요 구성 요소는 다음과 같습니다.

가. 다중 크롭 정렬 (Multi-Crop Alignment, MCA)

• 목적: ViT 의 번역 민감성으로 인한 기울기 분산을 줄입니다.
• 방식: 각 반복(iteration) 에서 소스 이미지에서 독립적으로 샘플링된 여러 개의 로컬 뷰 (K 개) 를 생성하고, 이들의 기울기를 평균화합니다.
• 효과: 이는 몬테카를로 추정기 (Monte-Carlo estimator) 로서, 단일 크롭의 급격한 기울기 변화 (Spike-like gradients) 를 완화하고 반복 간 기울기 일관성을 높여 최적화 경로를 안정화합니다.

나. 보조 타겟 정렬 (Auxiliary Target Alignment, ATA)

• 목적: 타겟 증강 (Target Augmentation) 으로 인한 해로운 분산을 줄이고, 매끄러운 타겟 매니폴드를 형성합니다.
• 방식: 공격 대상이 되는 주요 타겟 이미지 외에, 의미적으로 유사한 보조 이미지 (Auxiliary Images) 집합을 도입합니다. 공격 과정에서는 주요 타겟과 보조 이미지들에 대해 약간의 변형 (Mild shifts) 만을 적용하여, 의미적 일관성을 유지하면서 탐색 (Exploration) 과 활용 (Exploitation) 사이의 균형을 맞춥니다.
• 효과: 공격적인 타겟 증강 대신 의미적으로 상관된 분포의 작은 보조 집합을 사용하여, 최적화 과정의 분산을 줄이고 더 안정적인 기울기 신호를 제공합니다.

다. 패치 모멘텀 (Patch Momentum, PM)

• 목적: 기울기 방향의 일관성을 유지하고, 희소하게 샘플링된 영역 (예: 모서리) 의 기울기 고갈을 방지합니다.
• 방식: 기존 모멘텀을 '패치 단위'로 재해석합니다. 과거의 크롭 기울기를 재생 (Replay) 하여 현재 기울기에 가중치를 부여합니다. 이는 Adam 옵티마이저의 2 차 모멘텀과 결합되어 기울기 방향성을 유지합니다.

라. 정제된 패치 앙상블 (Patch Ensemble+, PE+)

• 방식: 다양한 패치 크기 (Patch Size) 를 가진 모델들을 신중하게 선별하여 앙상블합니다.
• 이유: 특정 패치 크기에 편향된 모델들은 교차 전이 (Cross-patch transfer) 가 어렵습니다. PE+ 는 주요 객체에 집중하는 모델들을 선별하여 전이성을 극대화합니다.

3. 주요 기여 (Key Contributions)

1. 문제 진단: 크롭 수준의 매칭이 ViT 의 번역 민감성과 소스/타겟 비대칭성으로 인해 고분산의 직교 기울기를 유발하여 블랙박스 최적화를 불안정하게 만든다는 것을 최초로 규명했습니다.
2. 새로운 프레임워크: 비대칭 기대값을 기반으로 한 MCA(다중 뷰 기울기 평균화) 와 ATA(보조 의미 상관 타겟) 를 도입하여 분산을 줄이고 타겟 매니폴드를 매끄럽게 만들었습니다.
3. 성능 향상: Patch Momentum 과 PE+ 를 결합하여 전이 가능한 방향을 강화했습니다.
4. SOTA 달성: 최신 상용 블랙박스 모델에 대한 공격 성공률을 획기적으로 개선했습니다.

4. 실험 결과 (Results)

저자들은 GPT-5, Claude 4.0, Gemini 2.5-Pro 등 최신 상용 LVLM 을 대상으로 실험을 수행했습니다.

• 공격 성공률 (ASR) 향상:
  • GPT-5: 98% → 100%
  • Gemini 2.5-Pro: 83% → 97%
  • Claude 4.0: 8% → 30% (기존 M-Attack 이 거의 공격하지 못했던 모델에서 큰 개선)
• 키워드 매칭률 (KMR): 공격이 생성한 교란이 타겟 모델에게 더 효과적으로 인식되도록 하여 KMR 도 크게 향상되었습니다.
• 가시성 (Imperceptibility): 인간의 눈으로 교란을 감지하는 비율은 기존 방법과 유사하게 낮게 유지되어, 공격의 은밀성이 확보되었습니다.
• 다른 모델: 오픈소스 모델 (Qwen-2.5-VL, LLaVA-1.5) 에 대해서도 기존 방법들을 압도하는 성능을 보였습니다.

5. 의의 및 결론 (Significance)

이 연구는 블랙박스 LVLM 공격의 새로운 지평을 열었습니다.

• 기술적 통찰: ViT 기반 LVLM 의 국소 교란 하에서의 기울기 동작을 심층적으로 분석하고, 이를 해결하기 위한 '기울기 잡음 제거' 프레임워크를 제시했습니다.
• 실용적 가치: 단순하고 모듈화된 방식 (MCA, ATA, PM) 으로 기존 SOTA 대비 큰 성능 향상을 이루었으며, 코드와 데이터는 공개되어 재현과 방어 연구에 기여할 수 있습니다.
• 보안 시사점: 최신 AI 어시스턴트 및 콘텐츠 생성 시스템이 얼마나 취약한지를 보여주어, 보다 견고한 방어 메커니즘 개발과 안전성 평가 기준 마련의 필요성을 강조합니다.

요약하자면, M-Attack-V2는 ViT 의 구조적 약점을 정밀하게 파고들어, 블랙박스 환경에서도 매우 강력하고 안정적인 적대적 공격을 가능하게 하는 차세대 프레임워크입니다.