💻 computer science

Finetune Like You Pretrain: Boosting Zero-shot Adversarial Robustness in Vision-language Models

이 논문은 CLIP 의 사전 학습 과정을 모방하여 웹 기반 이미지 - 텍스트 쌍으로 대조 손실을 통해 적대적 미세 조정을 수행하고, 노이즈가 있는 웹 이미지의 특징 왜곡을 방지하기 위해 정규화 기법을 도입함으로써 다양한 도메인에서 제로샷 적대적 강건성과 정확도를 동시에 향상시키는 'AdvFLYP'라는 새로운 패러다임을 제안합니다.

원저자: Songlong Xing, Weijie Wang, Zhengyu Zhao, Jindong Gu, Philip Torr, Nicu Sebe

게시일 2026-04-15

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Songlong Xing, Weijie Wang, Zhengyu Zhao, Jindong Gu, Philip Torr, Nicu Sebe

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

"원래 가르치던 대로 다시 가르쳐라": AI 가 해킹에 강해지는 새로운 방법

이 논문은 최근 화제가 되는 **CLIP(클립)**이라는 인공지능 모델에 대한 이야기입니다. CLIP 은 이미지와 텍스트를 동시에 이해하는 매우 똑똑한 AI 입니다. 하지만 이 똑똑한 AI 도 약점이 있는데, 바로 **'적대적 공격 (Adversarial Attack)'**입니다.

1. 문제: 똑똑한 AI 가 왜 속아넘어갈까?

상상해 보세요. CLIP 이라는 AI 는 수억 장의 사진과 설명을 보며 배웠습니다. 그래서 "개 사진"을 보면 "개"라고 정확히 맞힙니다. 하지만 해커는 이 AI 를 속일 수 있습니다.

비유: 마치 사람의 눈에는 보이지 않는 아주 미세한 점 (노이즈) 을 개 사진에 찍어 넣으면, AI 는 그 사진을 보고 "개"가 아니라 "고양이"나 "토끼"라고 잘못 판단하게 됩니다.
기존의 해결책: 지금까지 연구자들은 이 문제를 해결하기 위해 AI 를 **다시 훈련 (파인튜닝)**시켰습니다. 하지만 이때 사용한 방법은 "시험지 풀이" 방식이었습니다.
- 기존 방식 (TeCoA 등): "이 사진이 개인데, 고의적으로 속임수를 써서 AI 가 '고양이'라고 오해하게 만들자. 그리고 AI 에게 '아니야, 이건 개야!'라고 다시 가르쳐라."
- 문제점: 이 방법은 AI 가 원래 배웠던 방식 (사진과 글의 연결) 을 무시하고, 단순히 '정답 맞추기'에 집중하게 만듭니다. 그 결과, AI 는 해킹에는 강해졌지만, 원래 가지고 있던 똑똑함 (새로운 상황에서의 추론 능력) 을 잃어버리게 됩니다. 마치 시험만 잘 보는 학생이 되어, 실생활에서는 쓸모가 없어지는 것과 같습니다.

2. 해결책: "원래 가르치던 대로 다시 가르쳐라" (AdvFLYP)

이 논문은 **"원래 가르치던 방식 (Pretrain) 을 그대로 따라 해라"**는 아주 단순하지만 강력한 아이디어를 제안합니다. 이를 AdvFLYP라고 부릅니다.

핵심 아이디어: CLIP 이 처음 태어날 때 어떻게 배웠나요?
- 원래 학습: 인터넷에서 무수히 많은 사진과 그 설명 글을 짝지어 보며, "이 사진은 이 글과 잘 어울린다"는 것을 배웠습니다. (비유: 사진과 설명을 매칭하는 게임)
- AdvFLYP 방식: 해커가 속임수를 쓴 사진 (적대적 이미지) 을 만들어서, AI 에게 **"이 속임수 사진도 원래 설명 글과 잘 어울리게 하라"**고 가르칩니다.
- 차이점: 기존 방식이 "정답 맞추기 (분류)"를 가르쳤다면, 이 방식은 **"연결하기 (매칭)"**를 가르칩니다. AI 가 원래 배운 본능을 해킹 방어에 활용하는 것입니다.

3. 추가 장치: "망가진 기억을 바로잡는 안경"

인터넷에서 가져온 사진과 글은 완벽하지 않고, 해커가 만든 속임수 사진은 AI 의 기억을 왜곡시킬 수 있습니다. 그래서 논문은 두 가지 '보정 장치'를 추가했습니다.

로짓 (Logit) 레벨 보정: AI 가 내린 판단의 '강도'를 원래 AI 와 비교해서 너무 튀지 않게 조절합니다. (해킹에 더 강하게 대응하게 함)
특징 (Feature) 레벨 보정: AI 가 사진을 보고 머릿속에 그리는 '상징적인 이미지'가 너무 뒤틀리지 않게 잡아줍니다. (원래의 똑똑함을 유지하게 함)

비유: 해커가 AI 의 머리를 흔들어 기억을 흐리게 했을 때, 이 보정 장치는 AI 가 **"아, 내가 원래 알고 있던 그 개 사진의 느낌은 이런 거였지"**라고 다시 기억하게 도와주는 안경 같은 역할을 합니다.

4. 결과: 왜 이 방법이 더 좋을까?

실험 결과, 이 새로운 방식 (AdvFLYP) 은 기존 방식들보다 훨씬 좋은 성과를 냈습니다.

다양한 상황에서도 강함: 14 가지 다른 종류의 데이터셋 (동물, 풍경, 자동차 등) 에서 해킹 공격을 받았을 때, 기존 방법들보다 훨씬 잘 견뎌냈습니다.
똑똑함 유지: 해킹에 강해졌다고 해서 AI 가 멍청해지지 않았습니다. 오히려 원래의 뛰어난 추론 능력을 유지하면서 해킹에도 강해졌습니다.
데이터의 힘: 정제된 시험지 (ImageNet) 대신, 인터넷의 거친 데이터 (웹 이미지) 를 사용해도 더 잘 작동했습니다. 이는 AI 가 **원래 배운 방식 (거친 인터넷 데이터 학습)**을 따르는 것이 중요하다는 것을 보여줍니다.

요약

이 논문은 **"AI 를 해킹으로부터 지키려면, AI 가 원래 배운 방식을 무시하지 말고 그 방식을 그대로 활용하라"**고 말합니다.

기존: AI 를 시험에 강하게 만들기 위해 시험 문제만 반복해서 풀게 함. (결과: 시험은 잘 보지만 실생활은 못 함)
새로운 방법 (AdvFLYP): AI 가 원래 배운 '사진과 글 연결' 게임을 해킹 상황에서도 그대로 하도록 함. (결과: 해킹에도 강하고, 원래 똑똑함도 유지)

이처럼 **"원래 가르치던 대로 다시 가르쳐라 (Finetune Like You Pretrain)"**는 단순한 원칙이, AI 를 더 안전하고 똑똑하게 만드는 열쇠가 되었습니다.

1. 문제 정의 (Problem)

시각 - 언어 모델 (VLM, 예: CLIP) 은 웹 규모의 이미지 - 텍스트 쌍으로 사전 학습되어 강력한 제로샷 (zero-shot) 추론 능력을 가지지만, 적대적 공격 (adversarial attacks) 에 매우 취약하다는 문제가 있습니다.

기존의 적대적 파인튜닝 (Adversarial Finetuning, AFT) 방법들은 다음과 같은 한계를 가집니다:

데이터 분포의 불일치: 사전 학습 데이터 (웹 이미지 - 텍스트) 와는 달리, 분류용 프록시 데이터셋 (예: ImageNet) 을 사용하여 적대적 예제를 생성합니다.
학습 목표의 불일치: CLIP 의 사전 학습 목표는 '이미지와 텍스트의 매칭 (Contrastive Loss)'이지만, 기존 AFT 는 '이미지 분류 (Cross-Entropy Loss)'를 목표로 합니다.
결과: 이러한 불일치로 인해 모델의 제로샷 성능이 저하되고, 도메인 간 (cross-domain) 적대적 강건성 (robustness) 전이 능력이 제한됩니다.

2. 제안 방법: AdvFLYP (Methodology)

저자들은 **"사전 학습할 때처럼 파인튜닝하라 (Finetune Like You Pretrain)"**는 아이디어를 바탕으로 AdvFLYP라는 새로운 패러다임을 제안합니다. 이는 CLIP 의 사전 학습 과정을 적대적 파인튜닝 단계에서도 그대로 따르는 것을 핵심으로 합니다.

핵심 구성 요소:

데이터 준비 (Data Preparation):
- 분류용 라벨이 있는 데이터셋 (ImageNet 등) 대신, 웹에서 수집된 **100 만 개의 이미지 - 텍스트 쌍 (LAION-400M 기반)**을 사용합니다. 이는 CLIP 의 원래 사전 학습 데이터 분포를 모방합니다.
학습 프레임워크 (Training Framework):
- 적대적 예제 생성: 배치 내의 이미지 - 텍스트 쌍에 대해 Contrastive Loss 를 최대화하도록 적대적 교란 (perturbation) 을 생성합니다. (기존 방법은 Cross-Entropy Loss 를 최대화하여 분류 라벨을 혼란스럽게 만듦)
- 파인튜닝: 생성된 적대적 이미지를 해당 텍스트와 매칭되도록 Contrastive Loss 를 최소화하며 비전 인코더를 업데이트합니다.
- 특징: 텍스트 인코더는 고정 (frozen) 하고, 비전 인코더만 업데이트합니다.
정규화 (Regularization):
- 웹 데이터의 노이즈와 Contrastive Loss 최대화로 인해 적대적 이미지의 특징 (embedding) 이 왜곡될 수 있으므로, 이를 보정하기 위해 두 가지 정규화 항을 도입합니다.
- Logit-Level Regularization: 원본 CLIP 모델이 출력한 로짓 (logit) 분포와 타겟 모델의 적대적 로짓 분포 간의 KL 발산을 최소화합니다. (강건성 향상)
- Feature-Level Regularization: 타겟 모델이 생성한 적대적 이미지 특징이 원본 CLIP 의 특징 및 깨끗한 (clean) 이미지 특징에서 너무 멀어지지 않도록 페널티를 부여합니다. (제로샷 성능 및 깨끗한 정확도 보존)

3. 주요 기여 (Key Contributions)

AdvFLYP 패러다임 제안: CLIP 의 사전 학습 패턴 (웹 기반 이미지 - 텍스트 쌍, Contrastive Loss) 을 적대적 파인튜닝에 재현하여, 기존 분류 중심의 AFT 관행을 도전합니다.
정규화 기법의 효과 입증:
- Logit-Level 정규화: 도메인 간 강건성 (robustness) 전이 능력을 향상시킵니다.
- Feature-Level 정규화: 적대적 교란으로 인한 특징 왜곡을 방지하여, 모델의 제로샷 능력과 깨끗한 이미지 정확도 (clean accuracy) 를 보존합니다.
광범위한 실험 검증: 14 개의 다양한 도메인 (일반 객체, 세밀한 분류, 장면 인식 등) 에 대한 하류 작업에서 기존 SOTA 방법 (TeCoA, PMG-AFT 등) 을 능가하는 성능을 입증했습니다.

4. 실험 결과 (Results)

적대적 강건성: 14 개의 하류 데이터셋과 3 가지 적대적 공격 (PGD, CW, AutoAttack) 에 대해 평균 강건 정확도가 38.39% (AdvFLYPfull 기준) 로, 기존 표준 방법인 TeCoA (33.00%) 보다 크게 향상되었습니다.
클린 정확도 (Clean Accuracy): 강건성을 높이면서도 제로샷 성능이 저하되지 않도록 하여, 평균 클린 정확도 **55.84%**를 달성했습니다. 이는 기존 방법들보다 우수하거나 동급 수준을 유지하며 강건성 - 정확도 트레이드오프를 효과적으로 해결했습니다.
강한 공격 조건: 공격 예산 ( $\epsilon$ ) 이 2/255 및 4/255 로 증가하는 조건에서도 AdvFLYP 는 기존 방법들보다 일관되게 우수한 성능을 보였습니다.
Ablation Study:
- Contrastive Loss 기반 학습이 강건성의 핵심임을 확인했습니다.
- Feature-Level 정규화가 클린 정확도 보존에 결정적인 역할을 함을 입증했습니다 (기존 연구인 PMG-AFT 와는 다른 결과).

5. 의의 및 결론 (Significance)

이 논문은 VLM 의 적대적 강건성을 강화하기 위해 단순히 분류 작업을 위한 파인튜닝을 수행하는 것이 아니라, 모델의 사전 학습 본질 (데이터 분포와 학습 목표) 을 존중하는 것이 더 효과적임을 증명했습니다.

패러다임 전환: "적대적 파인튜닝 = 분류 작업"이라는 기존 관념을 깨고, "적대적 파인튜닝 = 사전 학습 과정의 연장"이라는 새로운 접근법을 제시했습니다.
일반화 가능성: 제안된 방법은 특정 도메인에 국한되지 않고 다양한 도메인에서 높은 전이 능력을 보여주며, VLM 의 안전성과 신뢰성을 높이는 새로운 표준을 제시합니다.

요약하자면, AdvFLYP는 CLIP 의 사전 학습 방식을 적대적 환경에서도 유지함으로써, 강건성과 제로샷 성능이라는 두 마리 토끼를 모두 잡은 효율적이고 강력한 방법론입니다.