PDA: Text-Augmented Defense Framework for Robust Vision-Language Models against Adversarial Image Attacks

1. 문제 정의 (Problem)

시각 - 언어 모델 (VLM) 은 최근 의료 영상, 자율 주행, 로봇 제어 등 다양한 분야에서 혁신적인 성과를 거두고 있으나, 적대적 이미지 공격 (Adversarial Image Attacks) 에 매우 취약하다는 치명적인 약점이 있습니다.

• 취약성: 인간에게는 보이지 않는 미세한 픽셀 수준의 교란 (Perturbation) 만으로도 모델의 예측을 완전히 뒤집을 수 있습니다.
• 기존 방어법의 한계:
  1. 계산 비용 및 데이터 의존성: 적대적 학습 (Adversarial Training) 은 대규모 데이터와 재학습이 필요하며 비용이 매우 높습니다.
  2. 일반화 부족: 특정 공격 유형 (예: $\ell_\infty$ 바운드) 에만 훈련되어 보이지 않는 새로운 공격에는 취약합니다.
  3. 블랙박스 접근 불가: 많은 상용 VLM 은 API 를 통해만 접근 가능하며 내부 그래디언트 (Gradient) 를 알 수 없습니다. 기존 방법들은 대부분 화이트박스 (White-box) 환경에 의존합니다.
  4. 정확도 트레이드오프: 적대적 강인성을 높이면 깨끗한 입력 (Clean Input) 에 대한 성능이 저하되는 경우가 많습니다.

2. 제안 방법론: PDA (Paraphrase-Decomposition-Aggregation)

저자들은 학습이 필요 없는 (Training-free), 블랙박스 환경에서 작동하는 새로운 방어 프레임워크인 PDA를 제안합니다. 이 방법은 모델의 파라미터를 변경하지 않고 추론 (Inference) 시점에 텍스트 입력을 조작하여 이미지의 적대적 교란을 상쇄합니다.

PDA 는 세 가지 핵심 단계로 구성됩니다:

1 단계: Paraphrase (문장 재구성)

• 목적: 원본 질문의 의미는 유지하되, 표현을 다양화하여 언어적 중복성 (Linguistic Redundancy) 을 활용합니다.
• 구현: 대형 언어 모델 (LLM) 을 'Paraphrase Agent'로 사용하여 원본 질문을 $N$개의 의미적으로 동등하지만 문자적으로 다른 문장으로 변환합니다.
• 효과: 적대적 공격이 특정 텍스트 표현에 의존할 경우, 다른 표현을 통해 올바른 의미를 복원할 가능성을 높입니다.

2 단계: Decomposition (질문 분해)

• 목적: 복잡한 질문을 검증 가능한 단순한 '원자적 질문 (Atomic Questions)'으로 분해합니다.
• 구현: 각 재구성된 질문을 LLM 을 통해 3~5 개의 세부 사실 확인 질문 (예: "물체가 존재하는가?", "색상은 무엇인가?") 으로 분해합니다.
• 효과: 모델이 전체적인 맥락에서 추측하는 대신, 이미지의 구체적인 시각적 증거 (Visual Evidence) 를 단계별로 확인하게 하여 추론의 해석 가능성과 강인성을 높입니다.

3 단계: Aggregation (집계)

• 목적: 분해된 질문에 대한 답변들을 통합하여 최종 결정을 내립니다.
• 구현:
  • 구조화된 작업 (VQA, 분류): 각 하위 질문에 대한 답변을 기반으로 투표 (Voting) 를 수행하거나, LLM 이 일관성 있는 답변을 도출하도록 합니다.
  • 비구조화된 작업 (캡션 생성): LLM 이 모든 증거를 종합하여 최종 캡션을 생성하거나 수정합니다.
• 핵심 원리: 적대적 공격이 일부 뷰 (View) 에만 영향을 미치더라도, 다른 뷰들의 일관된 답변을 통해 오류를 보정합니다 (Randomized Smoothing 의 텍스트 버전).

효율성 변형 (Budgeted Variants)

추론 비용 절감을 위해 4 가지 변형 모델을 제안합니다:

• PDA-Full: 전체 3 단계 수행 (최고 성능).
• PDA-RJV: 분해 단계 생략, 재구성된 질문에 대한 답변과 이유를 LLM 이 판단 후 투표.
• PDA-RDA: 분해 생략, 모든 재구성된 질문 - 답변 쌍을 LLM 에게 한 번에 전달하여 통합 판단.
• PDA-PV: 분해 및 LLM 집계 생략, 논리적 동등성을 가진 재구성 질문들에 대한 VLM 답변을 직접 투표 (가장 빠름).

3. 주요 기여 (Key Contributions)

1. 학습 불필요한 범용 방어 프레임워크: VLM 의 아키텍처나 파라미터 수정 없이, 오직 텍스트 인터페이스 (블랙박스) 만으로 작동하는 최초의 범용 방어 체계 제안.
2. 광범위한 검증: VQA, 제로샷 분류, 이미지 캡션 생성 등 다양한 작업과 LLaVA, DeepSeek-VL, InternVL 등 다양한 모델 패밀리에서 일관된 강인성 향상 입증.
3. 효율성과 강인성의 균형: 다양한 변형 모델을 통해 추론 비용과 방어 성능 사이의 최적 균형을 제공하며, 실제 배포 환경에 적용 가능한 실용성을 입증.

4. 실험 결과 (Results)

• 실험 설정: VQA-v2, ImageNet-D, MS COCO 데이터셋을 사용. 화이트박스 (PGD, EOT 적응 공격) 및 블랙박스 (전이 공격, Query 기반 공격) 환경 모두에서 평가.
• 성능 향상:
  • 적대적 정확도 (Adversarial Accuracy): 다양한 공격 하에서 기존 모델 대비 약 30%p 이상의 성능 향상을 기록 (예: ImageNet-D 에서 0.248 → 0.570).
  • 클린 정확도 (Clean Accuracy): 방어 메커니즘을 적용해도 깨끗한 입력에 대한 성능은 거의 유지되거나 오히려 소폭 향상됨 (거의 0% 손실).
  • 적응 공격 (Adaptive Attacks): 공격자가 PDA 의 무작위성을 고려하여 최적화된 공격 (EOT) 을 수행하더라도 방어 효과가 유지됨.
• 블랙박스 및 상용 모델: GPT-4, Claude, Gemini 등 상용 폐쇄형 모델에서도 전이 공격을 통해 방어 효과가 확인됨.
• 비교: 기존 텍스트 기반 무작위 평활화 (Randomized Smoothing) 기법이나 이미지 전처리 (JPEG 등) 기법보다 월등히 우수한 성능을 보임.

5. 의의 및 결론 (Significance)

이 논문은 VLM 의 보안 취약점을 해결하기 위해 이미지 공간이 아닌 텍스트 공간에서의 교란 (Text-side Perturbation) 을 활용하는 새로운 패러다임을 제시합니다.

• 실용성: 모델 재학습 없이 즉시 적용 가능한 '플러그 - 앤 - 플레이 (Plug-and-play)' 방식이라서 상용 API 기반 시스템에 적용하기 매우 용이합니다.
• 안전성: 적대적 공격에 대한 강력한 방어를 제공하면서도 모델의 원래 성능을 해치지 않아, 실제 세계 (Real-world) 에서의 VLM 배포 신뢰도를 높이는 데 기여합니다.
• 연구 방향: 추론 시 (Inference-time) 에 발생하는 강인성 문제를 해결하는 새로운 기준을 제시하며, 향후 인증 (Certification) 및 더 강력한 공격 설정에 대한 연구를 촉진할 것으로 기대됩니다.