1. 문제 정의 (Problem)

시각 - 언어 모델 (VLM) 은 다양한 적대적 공격 (Adversarial Attacks) 에 취약하며, 이를 방어하기 위한 기존 방법들 (적대적 학습 등) 은 모델의 성능 (Clean Performance) 을 크게 저하시키거나 높은 계산 비용을 요구한다는 트레이드오프 문제가 존재합니다.
저자들은 VLM 의 취약성이 **기능어 (Function Words)**에서 비롯된다는 가설을 제시합니다.

• 가설: 기능어 (the, a, is, of 등) 는 의미론적 정보가 적고 빈도가 높아, 적대적 교란 (Perturbation) 이 깨끗한 이미지와 타겟 텍스트 간의 의미적 간극을 좁히는 방향으로 유도될 때, 다른 토큰보다 공격에 더 쉽게 노출됩니다.
• 관찰: 기능어를 제거하거나 주의를 줄였을 때, 모델의 적대적 공격 성공률 (ASR) 은 크게 감소하지만, 정상적인 성능 (Clean Performance) 은 거의 유지되거나 오히려 향상되는 현상을 발견했습니다. 이는 기능어가 불필요한 '방해 요소 (Distraction)'로 작용하여 크로스 - 모달 정렬 (Cross-modal Alignment) 을 해친다는 것을 시사합니다.

2. 방법론 (Methodology: Function-word De-Attention, FDA)

저자들은 **Function-word De-Attention (FDA)**이라는 새로운 방법을 제안합니다. 이는 차분 변환기 (Differential Transformers) 와 차분 증폭기의 아이디어를 차용하여, 기능어에 대한 주의를 '차분적으로' 제거함으로써 모델의 강건성을 확보합니다.

• 동작 원리:
  1. 병렬 파이프라인 구축: 기존 크로스 - 어텐션 (Cross-Attention) 계산 구조 위에 병렬 파이프라인을 추가합니다.
  2. 기능어 추출: 입력 텍스트에서 [CLS] 토큰을 제외한 모든 기능어 (사전 정의된 기능어 사전 사용) 만을 마스킹하여 추출합니다 ($T_f$).
  3. 방해 요소 (Distraction) 계산: 추출된 기능어 특징 ($F_{Tf}$) 과 이미지 특징 ($F_V$) 간의 어텐션 점수를 계산합니다. 이는 모델이 기능어에 의해 잘못 활성화되는 '방해 요소'를 의미합니다.
  4. 차분적 뺄셈 (Differential Subtraction): 원래의 어텐션 점수에서 계산된 기능어 기반의 방해 요소 어텐션을 뺍니다.
     • 수식: $\hat{Att} = \min(Att - G(\tilde{Att}_t), Att - G(\tilde{Att}_v))$
     • 여기서 $G$는 뺄셈 강도를 조절하는 제어 게이트이며, 시각 및 텍스트 토큰 차원별로 소프트맥스를 적용하여 가장 오해의 소지가 있는 토큰을 강조한 후 제거합니다.
  5. 적용 위치: 퓨전 인코더 (Fusion Encoder) 의 어텐션 헤드 (Attention Heads) 에 적용되며, 특히 초기 레이어 (Shallow layers) 에서 적용하는 것이 효과적임을 실험을 통해 확인했습니다.

3. 주요 기여 (Key Contributions)

1. 새로운 취약점 발견 및 해결: VLM 의 취약점이 기능어에서 비롯됨을 규명하고, 이를 제거하여 '무료 (Free)'로 강건성을 확보하는 FDA 를 최초로 제안했습니다.
2. 광범위한 실험 검증: 3 개의 모델 (ALBEF, TCL, BLIP), 2 개의 다운스트림 작업 (검색, 시각적 그라운딩), 3 개의 데이터셋 (Flickr30k, MSCOCO, RefCOCO+), 6 가지 공격 (PGD, APGD, MAPGD 등) 에 걸쳐 SOTA 기법 (TeCoA, FARE) 과 비교하여 검증했습니다.
3. 성능과 강건성의 동시 달성: 기존 방어 기법들이 성능 저하를 초래한 반면, FDA 는 강건성을 획기적으로 높이면서도 정상 성능을 유지하거나 오히려 향상시켰습니다.
4. 심층 분석: 제로샷 (Zero-shot) 성능 향상, 레이어/헤드 파라미터에 대한 민감도 분석, 그리고 어텐션 맵 시각화를 통해 모델이 기능어에 의한 방해에서 벗어나 더 정밀하게 정렬됨을 입증했습니다.

4. 실험 결과 (Results)

• 검색 작업 (Retrieval):
  • 3 개의 모델에서 평균적으로 ASR(공격 성공률) 이 18% ~ 53% 감소했습니다.
  • 반면, 정상 성능 (Clean R@1) 은 0.2% ~ 0.6% 미만의 감소만 보였거나, 일부 모델에서는 오히려 향상되었습니다.
  • 특히 BLIP 모델에서는 ASR 감소율이 50% 이상으로 매우 높게 나타났습니다.
• 시각적 그라운딩 (Visual Grounding):
  • FDA 를 적용한 모델은 거의 **완벽한 방어 (90% 이상의 ASR 감소)**를 보여주었습니다.
  • 정상 성능 또한 기존 모델보다 0.3% 향상되었습니다.
• 적응형 공격 (Adaptive Attacks): MAPGD (마스킹된 APGD) 와 같은 적응형 공격에서도 FDA 는 TeCoA 및 FARE 보다 우월한 방어 성능을 유지했습니다.
• 제로샷 성능: 파인튜닝 없이도 FDA 를 플러그인으로 적용했을 때, 제로샷 성능이 향상되는 것을 확인했습니다.

5. 의의 및 결론 (Significance)

이 연구는 VLM 의 강건성을 높이기 위해 복잡한 적대적 학습이나 데이터 정제 과정 없이, **모델 내부의 어텐션 메커니즘을 미세 조정 (Function-word De-Attention)**하는 것만으로도 뛰어난 방어 효과를 얻을 수 있음을 증명했습니다.

• 경제성: 추가적인 학습 비용이나 파라미터 증가 없이 기존 모델에 쉽게 적용 가능합니다.
• 일반화: 다양한 모델 아키텍처와 작업에 적용 가능하며, 모델의 규모가 커질수록 (BLIP 등) 효과가 더욱 증대됩니다.
• 이론적 통찰: 기능어가 시각 - 언어 정렬에 불필요한 노이즈로 작용할 수 있다는 점을 밝혀, 향후 VLM 설계 및 최적화에 중요한 시사점을 제공합니다.

결론적으로, 이 논문은 **"기능어에 대한 주의를 줄이는 것 (Pay Less Attention to Function Words)"**이 VLM 의 적대적 공격에 대한 방어와 성능 향상을 동시에 달성할 수 있는 효율적이고 강력한 전략임을 입증했습니다.