기술 요약: 크로스-프롬프트 적대적 전이성 개선을 위한 CroPA 재검토: 재현성 연구 및 개선안

1. 문제 제기

대규모 시각 - 언어 모델 (VLM) 은 이미지 분류, 캡션 생성, 시각적 질문 답변 (VQA) 과 같은 작업을 혁신적으로 변화시켰습니다. 그러나 입력 이미지나 텍스트에 미묘한 교란이 가해지면 잘못된 또는 유해한 출력을 초래하는 적대적 공격에 여전히 매우 취약합니다. 기존 연구는 크로스-모델 전이성(다른 아키텍처 간에도 작동하는 적대적 예제) 과 크로스-이미지 전이성(범용 적대적 교란 또는 UAP) 을 확립했으나, Luo 등 (2024) 이 **크로스-프롬프트 공격 (CroPA)**을 통해 소개한 새로운 차원인 크로스-프롬프트 전이성이 등장했습니다.

CroPA 는 VLM 을 쿼리하는 데 사용되는 텍스트 프롬프트에 관계없이 효과적인 적대적 이미지를 생성하는 것을 목표로 합니다. 그 novelty(새로움) 에 불구하고, CroPA 의 견고성과 일반화 능력은 추가적인 검증이 필요합니다. 또한, 원래 CroPA 프레임워크는 다음과 같은 한계를 안고 있습니다:

• 무작위 초기화: 정보 없는 무작위 노이즈 초기화에 의존하여 불안정성과 느린 수렴을 초래합니다.
• 작업별 약점: 분류 및 캡션 생성과 같은 특정 작업에서 성능이 저조합니다.
• 계산 집약성: 높은 리소스 소모 (예: 48GB GPU 에서 50 개 이미지당 6 시간 이상).
• 제한된 크로스-이미지 전이성: 교란이 생성된 특정 이미지와 긴밀하게 결합되어 있어 범용 적용을 방해합니다.

본 연구는 CroPA 에 대한 포괄적인 재현성 연구를 수행하고, 공격 성공률 (ASR), 수렴성, 그리고 이미지 및 모델 간 전이성을 개선하기 위한 개선안을 제안함으로써 이러한 문제들을 해결합니다.

2. 방법론

2.1 재현성 연구

저자들은 먼저 주요 VLM(Flamingo, BLIP-2, InstructBLIP, LLaVA) 에서 원래 CroPA 실험을 엄격하게 재현했습니다. 그들은 Luo 등 (2024) 의 네 가지 핵심 주장을 검증했습니다:

1. CroPA 는 베이스라인 (Single-P 및 Multi-P) 에 비해 우수한 크로스-프롬프트 전이성을 달성합니다.
2. 프롬프트 수가 증가함에 따라 CroPA 는 성능 우위를 유지합니다.
3. CroPA 는 반복 횟수가 증가함에 따라 더 높은 ASR 로 수렴합니다.
4. CroPA 는 퓨샷 (in-context learning) 설정에서 베이스라인보다 우수한 성능을 보입니다.

재현 실험은 원래 주장을 확인했으며, CroPA 가 일관되게 베이스라인을 능가함을 입증했습니다. 다만, 원래 논문에서 제시된 집계 지표와 비교할 때 특정 작업 (예: 분류) 에서 수렴 경향의 불안정성이 관찰되었습니다.

2.2 제안된 개선안

식별된 한계를 해결하기 위해, 논문은 세 가지 주요 방법론적 개선을 도입합니다:

A. 비전 인코딩 최적화를 통한 노이즈 초기화

무작위 노이즈 대신, 저자들은 의미론적으로 정보화된 초기화를 제안합니다:

• 타겟 합성: 확산 모델 (Stable Diffusion XL) 이 타겟 텍스트 프롬프트에 해당하는 이미지 ($x_{target}$) 를 생성합니다.
• 비전 인코더 고정: 초기 교란 ($\delta_{init}$) 은 원본 이미지에 교란을 더한 것의 비전 인코더 표현과 합성된 타겟 이미지의 비전 인코더 표현 사이의 평균 제곱 오차 (MSE) 를 최소화하여 유도됩니다:
  $$\delta_{init} = \arg \min_{\|\delta\|_\infty \le \epsilon} \|f_v(x + \delta) - f_v(x_{target})\|^2_2$$
• 최적화: 이 초기화는 MSE 손실 함수를 사용하는 프로젝션 경사 하강법 (PGD) 으로 정제되어, 교란이 적대적 목표 방향으로 의미론적으로 유의미한 방향에서 시작되도록 보장합니다.

B. 타겟 값 벡터를 통한 교란 유도 (D-UAP 통합)

전이성과 공격 강도를 개선하기 위해, 저자들은 이중 범용 적대적 교란 (D-UAP) 방법에서 영감을 받은 손실 함수를 통합합니다. 이 접근법은 비전 인코더의 어텐션 메커니즘 내부 역학을 대상으로 합니다:

• 메커니즘: 이 방법은 비전 인코더의 어텐션 레이어 내 **값 벡터 (value vectors)**를 교란시킵니다. 이는 교란된 이미지의 값 벡터와 타겟 텍스트에 해당하는 참조 이미지의 값 벡터 사이의 코사인 유사도 손실을 최소화합니다.
• 목적 함수: 최종 손실은 표준 CroPA min-max 목적 함수와 값 벡터 손실을 결합합니다:
  $$\mathcal{L}_{re-CroPA} = \mathcal{L}_{CroPA} - \lambda \mathcal{L}_{d-UAP}$$
  여기서 $\mathcal{L}_{d-UAP}$는 교란된 이미지의 값 벡터가 타겟 텍스트의 표현과 정렬되도록 장려합니다.

C. 이미지 증강을 통한 크로스-이미지 전이성

특정 이미지 특징에 대한 과적합을 완화하고 크로스-이미지 전이성을 가능하게 하기 위해, 저자들은 교란 생성 중에 데이터 증강 전략을 통합합니다:

• SCMix: 자기 혼합 (동일 이미지의 잘린 패치 혼합) 과 크로스 혼합 (2 차 이미지와 혼합) 을 포함하는 2 단계 혼합 과정입니다. 이는 모델이 공간적 변화 및 이미지 간 혼합에 불변인 특징을 학습하도록 강요합니다.
• CutMix: 하드 마스크 기반의 지역 교체 전략으로, 교란이 국소적 아티팩트가 아닌 공간적으로 불변인 특징을 대상으로 하도록 강요합니다.

3. 주요 기여 및 결과

3.1 재현 검증

본 연구는 원래 CroPA 결과를 성공적으로 재현하여 다음을 확인했습니다:

• CroPA 는 VQA, 분류, 캡션 생성 작업 전반에 걸쳐 Single-P 및 Multi-P 베이스라인보다 훨씬 높은 ASR 을 달성합니다.
• CroPA 는 추론 중 인-컨텍스트 학습 예제가 추가되더라도 (퓨샷 설정) 견고성을 유지합니다.
• 이 방법의 전이성은 타겟 텍스트의 의미론적 의미나 단어 빈도에 크게 의존하지 않습니다.

3.2 개선안의 성능

• 노이즈 초기화: 제안된 초기화 전략은 ASR 을 크게 개선했습니다. BLIP-2 에서 CroPA+Init은 전체 ASR 을 89.77% (기존 CroPA 의 77.08% 대비) 달성했으며, "I am sorry"와 같은 특정 타겟의 경우 **94.58%**까지 도달했습니다. 또한 수렴에 필요한 최적화 단계 수도 줄였습니다.
• 값 벡터 유도 (D-UAP): 값 벡터 손실 통합은 성능을 더욱 향상시켰습니다. CroPA+D-UAP 방법은 BLIP-2 에서 전체 ASR 96.85% (기존 CroPA 대비 12.5% 증가) 와 OpenFlamingo 에서 **92.70%**를 달성했습니다. 특히, 이 개선안은 일반적으로 모델 가드레일을 트리거하는 "유해한" 타겟 텍스트인 "Bomb"에 대해서도 효과적이었습니다.
• 크로스-이미지 전이성: 기존 CroPA 는 크로스-이미지 전이성에서 어려움을 겪었으나, SCMix 통합은 전체 언타겟 ASR 을 43.55% 에서 **70.55%**로 개선했고, CutMix는 **55.65%**로 개선했습니다. 이는 증강 기법이 크로스-프롬프트와 크로스-이미지 전이성 간의 격차를 부분적으로 메울 수 있음을 보여줍니다.

3.2 크로스-모델 전이성 분석

본 연구는 서로 다른 아키텍처를 가진 모델 간 (예: BLIP-2 에서 Flamingo 로, BLIP-2 에서 InstructBLIP 로) 전이성을 분석했습니다.

• 결과: D-UAP 개선안은 특히 유사한 비전 인코더를 공유하는 모델 간 (예: BLIP-2 에서 InstructBLIP 로, ASR 이 50.65% 에서 68.50% 로 급증) 크로스-모델 전이성을 향상시켰습니다.
• 한계: 근본적으로 다른 아키텍처 간 (예: BLIP-2 에서 Flamingo 로) 전이성은 여전히 낮았으며, 이는 값 벡터 유도가 특정 비전 인코더 아키텍처에 의존함을 확인시켜 주었습니다.

4. 의의 및 주장

이 논문은 VLM 에서 전이 가능한 적대적 예제를 생성하기 위한 더 견고한 프레임워크를 제공한다고 주장합니다. 그 의의는 다음과 같습니다:

1. 검증: 최첨단 VLM 에서 크로스-프롬프트 적대적 취약점의 존재와 위력을 확인합니다.
2. 효율성과 효과성: 의미론적으로 정보화된 초기화와 표적 손실 함수가 공격 성공률과 수렴 속도를 획기적으로 개선할 수 있음을 입증합니다.
3. 일반화: 크로스-프롬프트와 크로스-이미지 전이성이 종종 상충되는 목표임에도 불구하고, SCMix 와 같은 기법이 핵심 크로스-프롬프트 능력을 희생하지 않으면서 크로스-이미지 일반화를 개선할 수 있음을 보여줍니다.
4. 보안 시사점: 프롬프트나 모델 아키텍처에 관계없이 (일정 정도까지) 출력을 조작하는 공격에 VLM 이 취약함을 강조하여 실제 배포 시 위험을 제기합니다. 반면, 저자들은 이러한 교란이 민감한 데이터를 보호하기 위해 모델을 사전에 정해진 비민감 텍스트로 출력하도록 강제하는 방어적 목적으로 사용될 수 있음을 지적합니다.

저자들은 개선안이 특정 전이성 차원의 한계를 넓히지만, 크로스-프롬프트, 크로스-이미지, 크로스-모델 전이성을 동시에 최적화하는 데 근본적인 트레이드오프가 존재한다고 결론지었습니다. 그들은 이러한 취약점을 더 깊이 이해하고 완화하기 위해 다목적 최적화 및 아키텍처 인식 공격 설계에 대한 향후 연구를 촉구하고 있습니다.