Enhancing CLIP Robustness via Cross-Modality Alignment

이 논문은 적대적 공격 하에서 CLIP 의 성능 저하를 유발하는 텍스트와 이미지 특징 간의 불일치 문제를 해결하기 위해, 최적 수송 기반의 학습 없는 프레임워크인 COLA 를 제안하여 전역적 정렬과 국소적 구조 일관성을 복원함으로써 다양한 벤치마크에서 적대적 공격에 대한 강인성을 크게 향상시킨다는 내용을 담고 있습니다.

핵심

🎨 핵심 비유: "혼란스러운 파티와 정확한 안내자"

1. 문제: AI 가 왜 헷갈릴까? (CLIP 의 취약점)

우리가 사용하는 최신 AI(예: CLIP) 는 사진과 문장을 연결하는 능력이 매우 뛰어납니다. "해변을 달리는 금색 개"라는 문장을 보면, AI 는 해변과 개가 있는 사진을 정확히 찾아냅니다.

하지만 **적대적 공격 (Adversarial Attack)**이라는 것이 있습니다. 이는 사람의 눈에는 보이지 않는 아주 미세한 노이즈를 사진에 섞는 것입니다. 마치 파티에 가려진 유령처럼요.

• 정상적인 상태: 사진 속 '개'와 문장 속 '개'가 서로 손을 잡고 친구처럼 지냅니다.
• 공격 상태: 유령이 사진 속 '개'의 귀를 살짝 찌르면, AI 는 그 '개'를 더 이상 '개'로 인식하지 못하고 '고양이'나 '자동차'로 착각합니다.
• 원인: AI 는 사진 전체를 한 덩어리로 보는데, 공격은 그 덩어리 안의 중요한 부분과 문장 사이의 **연결고리 (정렬)**를 끊어버립니다.

2. 해결책: COLA (교차 모달 정렬)

이 논문에서 제안한 COLA는 이 끊어진 연결고리를 다시 이어주는 명령자와 같습니다. 두 가지 단계로 작동합니다.

1 단계: "소음 제거 필터" (부분 공간 투영)

• 비유: 파티에 들어온 유령 (공격 노이즈) 이 사람들을 혼란스럽게 만들었습니다. COLA 는 **"진짜 손님은 누구인가?"**를 아는 안내자 역할을 합니다.
• 작동 원리: AI 는 "개", "고양이", "자동차" 등 각 카테고리별 '진짜 손님의 특징'을 미리 알고 있습니다. 공격받은 사진이 들어오면, COLA 는 그 사진 속의 불필요한 소음 (유령) 을 걷어내고, 오직 '진짜 손님의 특징'이 있는 공간으로만 사진을 옮겨놓습니다.
• 결과: 사진 속의 '개'가 다시 '개'라는 본연의 모습을 되찾아 문장과 다시 친구가 됩니다.

2 단계: "다양한 관점의 비교" (최적 수송, OT)

• 비유: 한 번에 한 장의 사진만 보는 게 아니라, 사진을 여러 각도에서 찍은 스냅샷과 문장을 여러 가지 표현으로 바꾼 버전을 만들어 비교합니다.
  • 예: "개"라는 문장을 "강아지", "반려동물", "털북숭이 친구" 등으로 다양하게 표현하고, 사진도 자르거나 뒤집어 여러 장을 만듭니다.
• 작동 원리: 이 모든 변형된 사진과 문장들을 **최적 수송 (Optimal Transport)**이라는 수학적 도구를 이용해 가장 잘 맞는 짝을 찾습니다. 마치 레고 블록을 맞추듯, 가장 자연스럽게 딱 들어맞는 조합을 찾아냅니다.
• 장점: 공격자가 한 장의 사진을 살짝 건드려도, 다른 각도에서 본 사진들은 여전히 '개'로 인식되므로 AI 는 흔들리지 않습니다.

3. 왜 이 방법이 특별한가요?

• 재교육 불필요 (Training-free): 기존 방법들은 AI 를 다시 가르치느라 (Fine-tuning) 시간이 오래 걸리고 비용이 많이 들었습니다. 하지만 COLA 는 이미 훈련된 AI 를 그대로 쓰면서, 테스트할 때만 이 '안내자'와 '비교 시스템'을 붙여주면 됩니다. 마치 새로운 안경을 끼는 것처럼 간단합니다.
• 효율성: 복잡한 계산을 반복하지 않아도 되어 속도가 빠르고, 원래의 성능도 떨어뜨리지 않습니다.

📊 실제 성과 (결과)

실험 결과, COLA 를 적용한 AI 는 공격을 받아도 정확도가 6.7% 이상이나 높아졌습니다.

• 비유: 공격을 받으면 원래 100 점짜리 시험을 1 점도 못 보는 AI 가, COLA 를 쓰면 50 점 이상을 맞출 수 있게 된 것입니다.
• 동시에, 공격이 없는 정상적인 사진에서는 여전히 100 점에 가까운 성능을 유지합니다.

💡 결론

이 논문은 **"AI 가 해킹당했을 때, 그 소음을 걷어내고 본질을 다시 보게 해주는 지능적인 필터"**를 개발했습니다.
자율주행차나 의료 진단처럼 AI 의 실수가 치명적인 분야에서, 안전하고 튼튼한 AI를 만드는 데 큰 기여를 할 것으로 기대됩니다.

한 줄 요약:

"COLA 는 AI 가 해킹 노이즈에 혼란스러워할 때, '진짜 모습'만 남기고 다시 정리해 주어, AI 가 다시 똑똑하게 일하게 만드는 마법의 안경입니다."

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 비전 - 언어 모델 (VLM) 인 CLIP 은 제로샷 (zero-shot) 분류에서 뛰어난 일반화 능력을 보이지만, **적대적 공격 (adversarial perturbations)**에 매우 취약합니다. 작은 노이즈가 입력 이미지에 추가되면 모델의 예측을 크게 왜곡시킵니다.
• 기존 방법의 한계:
  • 기존 방어 기법들은 주로 적대적 학습 (Adversarial Training) 이나 프롬프트 최적화 (Prompt Tuning) 에 의존합니다. 이는 계산 비용이 크거나 추론 지연을 유발하며, 모델을 다시 학습시켜야 하는 단점이 있습니다.
  • 가장 중요한 문제는 이미지와 텍스트 간의 정렬 (Alignment) 불일치를 간과한다는 점입니다. CLIP 은 전역적인 매칭을 학습하지만, 적대적 공격은 이미지 임베딩을 왜곡시켜 텍스트 임베딩과 멀어지게 만듭니다.
• 핵심 문제: 적대적 공격은 두 가지 차원에서 정렬을 파괴합니다.
  1. 전역적 불일치: 이미지 특징이 텍스트 특징 클러스터에서 멀리 이동합니다.
  2. 국소적 구조 파괴: 특징 공간 내의 근접한 이미지 임베딩들이 흩어지며 내부 일관성을 잃습니다.
  • 이로 인해 분류 정확도가 급격히 하락합니다.

2. 제안 방법: COLA (Cross-Modality Alignment)

저자들은 학습이 필요 없는 (training-free) 프레임워크인 COLA를 제안합니다. 이 방법은 최적 수송 (Optimal Transport, OT) 을 기반으로 하여, 적대적 왜곡으로 인한 정렬 불일치를 복원합니다.

주요 구성 요소:

1. 전역 특징 정렬 (Global Feature Alignment via Subspace Projection):

   • 원리: 깨끗한 텍스트 특징들이 형성하는 부분 공간 (subspace) 은 본질적인 깨끗한 이미지 표현을 복원하는 신뢰할 수 있는 프록시 역할을 합니다.
   • 구현: 모든 클래스 텍스트 임베딩을 행렬로 구성하고, SVD(특이값 분해) 를 통해 주요 성분을 추출하여 부분 공간 $U$를 정의합니다.
   • 작동: 적대적으로 공격받은 이미지 임베딩 $\hat{x}$를 이 부분 공간 $U$로 투영 (Projection) 합니다.
     • 수식: $\Pi(\hat{x}) = U_C U_C^\top \hat{x}$
   • 효과: 텍스트와 무관한 비의미적 왜곡 (noise) 을 필터링하고, 이미지 특징을 텍스트 특징이 존재하는 공간으로 다시 끌어당겨 전역적 정렬을 회복합니다.

2. 국소 구조 정렬 (Local Structural Alignment via Optimal Transport):

   • 원리: 투영된 특징만으로는 배경 등 텍스트에 없는 시각적 요소로 인한 불일치가 남을 수 있으므로, 분포 수준에서 정렬을 정교화합니다.
   • 구현:
     • 이미지: 원본 이미지에 증강 (확대, 회전, 자르기 등) 을 가해 $N$개의 뷰를 생성하고 이를 이산 분포 $P(x)$로 모델링합니다.
     • 텍스트: LLM 을 이용해 클래스 이름에서 $M$개의 세밀한 텍스트 설명을 생성하여 텍스트 분포 $Q_y(z)$로 모델링합니다.
     • 가중치: 각 뷰의 예측 신뢰도 (엔트로피) 를 기반으로 중요도 가중치 ($a_n, b_m$) 를 부여합니다.
   • 최적 수송 (OT): 이미지 분포와 텍스트 분포 간의 최소 비용 매칭을 계산합니다.
     • 핵심 혁신: OT 비용 행렬 (Cost Matrix) 을 계산할 때, **원래의 공격받은 특징이 아닌 투영된 특징 ($\Pi(\hat{x})$)**을 사용합니다.
     • 수식: $C^\Pi_y(n, m) = 1 - \cos(\Pi(\hat{x}_n), z^m_y)$
   • 결과: 투영된 특징을 기반으로 한 OT 거리를 계산하여, 가장 낮은 운송 비용을 가진 클래스로 분류합니다.

3. 주요 기여 (Key Contributions)

1. 학습 불필요 (Training-Free) 및 아키텍처 무관: 모델을 재학습하거나 구조를 변경할 필요 없이, 추론 시 (Test-time) 에만 적용 가능한 효율적인 방어 메커니즘을 제공합니다.
2. 이론적 보장:
   • 부분 공간 투영이 깨끗한 이미지 간의 쌍별 유사성 (pairwise similarity) 을 보존함을 증명합니다.
   • 제안된 OT 기반 분류기가 기존 방법보다 더 큰 결정 마진 (decision margin) 을 가지며, 이는 더 나은 일반화 성능을 의미함을 이론적으로 입증합니다.
3. 적대적 정렬 복원: 전역적 정렬 (투영) 과 국소적 의미 정렬 (OT) 을 결합하여, 적대적 공격으로 파괴된 이미지 - 텍스트 정렬을 효과적으로 복원합니다.

4. 실험 결과 (Results)

14 개의 제로샷 분류 벤치마크 (ImageNet, Caltech101, SUN397 등) 에서 광범위한 실험을 수행했습니다.

• 적대적 공격 성능 (Robustness):
  • PGD 공격: ImageNet 및 그 변형 데이터셋에서 평균 **6.7%**의 정확도 향상을 기록했습니다. (예: ImageNet-A, ImageNet-R 에서 7% 이상 향상).
  • CW 공격: ImageNet 에서 4.8% 향상.
  • 강한 공격 ($\epsilon_a = 4/255$): 기존 방법들의 성능이 0% 에 수렴하는 반면, COLA 는 높은 견고성을 유지했습니다.
• 클린 데이터 성능 (Clean Accuracy):
  • 적대적 공격에 대한 방어 성능을 높이면서도, 깨끗한 이미지 (Clean samples) 에 대한 정확도는 거의 유지하거나 미미하게만 감소했습니다.
• 비교 대상:
  • 기존 테스트 시간 방어 기법 (TTC, TTE, HD 등) 과 적대적 미세 조정 (Fine-tuning) 기반 방법 (TeCoA, PMG 등) 보다 우수한 성능을 보였습니다.
  • 특히 TTC(테스트 시간 반격) 보다 추론 속도가 빠르고 (28 분 vs 40 분), 정확도도 더 높았습니다.
• 모델 일반화: ViT-B/16, ViT-L/14 등 다양한 백본 모델과 CLIP 의 미세 조정 버전 (TeCoA, PMG 등) 에 모두 적용 가능하며, 플러그 - 앤 - 플레이 방식으로 작동합니다.

5. 의의 및 결론 (Significance)

• 실용성: 재학습 없이 기존 VLM 모델에 즉시 적용 가능하여, 의료 진단, 자율 주행, 보안 시스템 등 고신뢰성이 요구되는 분야에서 CLIP 의 취약점을 해결할 수 있는 실용적인 솔루션을 제공합니다.
• 이론적 통찰: 적대적 공격이 특징 공간의 정렬을 어떻게 파괴하는지 분석하고, 부분 공간 투영과 최적 수송을 통해 이를 수학적으로 복원하는 새로운 패러다임을 제시했습니다.
• 향후 과제: 사전 학습된 모델의 편향성 (bias) 이나 적응형 공격에 대한 대응 등 추가적인 연구가 필요함을 인정하며, 더 안전한 멀티모달 시스템 구축에 기여했습니다.

요약하자면, COLA 는 CLIP 의 이미지 - 텍스트 정렬 불일치 문제를 해결하기 위해, 적대적 특징을 텍스트 부분 공간으로 투영하고 최적 수송을 통해 의미적 일관성을 강화하는 혁신적이고 효율적인 테스트 시간 방어 프레임워크입니다.