💻 computer science

Improving Adversarial Robustness of Zero-Shot CLIP with Confidence-Aware Weighting

본 논문은 신뢰도 기반 가중치 부여(Confidence-Aware Weighting, CAW)를 제안하는데, 이는 신뢰도 기반 손실을 통해 불확실한 샘플을 우선시하고 특징 정렬을 통해 의미론적 일관성을 보존함으로써 제로샷 CLIP 모델의 적대적 강건성을 향상시키며, 이를 통해 강건성과 메모리 효율성 측면 모두에서 최첨단 방식들을 능가하는 새로운 방법이다.

원저자: Nikoo Naghavian, Mostafa Tavassolipour

게시일 2026-07-28

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Nikoo Naghavian, Mostafa Tavassolipour

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

컴퓨터가 글을 읽는 동시에 이미지를 "볼" 수 있고, 인터넷 전체를 학습하여 골든 레트리버 사진이 "행복한 강아지"라는 단어와 일치한다는 것을 이해하는 세상을 상상해 보십시오. 이것은 유명한 CLIP과 같은 시각-언어 모델(Vision-Language Models)의 마법입니다. 이들은 온라인상의 모든 책을 읽고 모든 사진을 본 아주 똑똑한 학생과 같아서, 특정 종류의 동물을 본 적이 없더라도 사진 속에 무엇이 있는지 추측할 수 있습니다. 하지만 인간이 교묘한 착시 현상에 속을 수 있는 것처럼, 이 AI 모델들에게도 비밀스러운 약점이 있습니다. 만약 이미지에 인간의 눈에는 보이지 않는 미세하고 투명한 양의 "노이즈(noise)"를 추가한다면—마치 디지털 모래 몇 알갱이를 뿌리는 것처럼—컴퓨터는 갑자기 완전히 혼란에 빠져 고양이를 토스터기로 착각할 수 있습니다. 이것을 "적대적 공격(adversarial attack)"이라고 부르며, 이는 이러한 강력한 도구들이 실제 상황에서 쉽게 속을 수 있다는 점에서 큰 문제가 됩니다.

과학자들이 던지는 핵심 질문은 이것입니다: 모델이 이미 알고 있는 것을 잊어버리지 않으면서 어떻게 하면 이 모델들을 더 강하게 만들 수 있을까? 보통 컴퓨터에게 강인함을 가르치기 위해서는 훈련 과정에서 수천 개의 이러한 까다롭고 노이즈가 섞인 이미지들을 보여주어야 합니다. 하지만 여기에는 함정이 있습니다. 만약 모든 이미지를 똑같은 방식으로 다룬다면, 컴퓨터는 이미 이해하고 있는 쉬운 문제들을 공부하는 데 시간을 낭비하게 되고, 정작 도움이 가장 필요한 정말 까다로운 문제들은 놓칠 수도 있습니다. 이는 마치 선생님이 학생이 이미 완벽하게 풀어낸 수학 문제를 복습하는 데 수업 시간 전체를 쓰면서, 정작 학생을 시험에서 낙제하게 만드는 진짜 어려운 문제는 무시하는 것과 같습니다.

이 논문은 이 문제를 해결하기 위해 **신뢰도 기반 가중치 부여(Confidence-Aware Weighting, CAW)**라는 영리한 새로운 전략을 소개합니다. 연구진은 모든 까다로운 이미지가 다 똑같지는 않다는 점을 깨달았습니다. 어떤 이미지는 너무 혼란스러워서 모델이 거의 맞히지 못하는 반면, 어떤 이미지는 약간 흔들리기만 할 뿐입니다. 모든 혼란스러운 이미지에 동일한 양의 주의를 기울이는 대신, CAW는 가장 많이 고전하고 있는 학생에게 특별히 더 많은 관심을 기울이는 똑똑한 튜터처럼 행동합니다.

이 방법이 어떻게 작동하는지 간단한 비유를 통해 설명하겠습니다. AI 모델을 시험을 치르는 학생이라고 상상해 보십시오.

"신뢰도 인식(Confidence-Aware)" 부분: 학생이 문제를 틀리거나 확신이 없을 때, 선생님(CAW 시스템)은 "좋아, 이건 어려운 문제구나! 여기에 집중하자!"라고 말합니다. 모델이 가장 확신이 없는 이미지에 더 많은 가중치를 부여합니다. 만약 모델이 이미 어떤 이미지에 대해 꽤 확신하고 있다면, 선생님은 "너는 이미 잘 알고 있으니 다음으로 넘어가자"라고 말합니다. 이를 통해 모델은 이미 알고 있는 것을 다시 배우는 대신, 자신의 가장 큰 약점을 보완하는 데 에너지를 쓰게 됩니다.
"특징 정렬(Feature Alignment)" 부분: 두 번째 기술은 학생이 이전 수업에서 배운 것을 잊지 않도록 하는 것입니다. 모델이 까다롭고 노이즈가 섞인 이미지를 볼 때, CAW는 모델이 보는 "내부적인 이미지"가 이전에 보았던 "깨끗한 이미지"와 일치하는지 확인합니다. 이는 마치 학생에게 "이 사진이 흐릿하더라도, 이것은 여전히 토스터기가 아니라 강아지라는 것을 기억해라"라고 말하는 것과 같습니다. 이를 통해 모델이 혼란에 빠져 원래의 지식을 잃어버리는 것을 방지합니다.

연구진은 TinyImageNet을 포함하여 반려동물, 꽃, 의료 스캔 등 14개의 다양한 데이터셋을 활용한 방대한 컬렉션에서 이 아이디어를 테스트했습니다. 그들은 자신들의 새로운 방법론을 AutoAttack이라는 강력한 자동화된 테스트를 포함한 가장 강력한 "공격"들과 맞붙게 했습니다. 결과는 유망했습니다: CAW 방식은 단순히 공격에서 살아남았을 뿐만 아니라, 실제로 이전의 최고 기술들보다 더 나은 성능을 보였습니다. 예를 들어, 15개의 서로 다른 데이터셋 전체에 걸쳐 평균적으로, CAW는 차점자(runner-up)와 비교했을 때 공격 상황에서의 정확도를 약 2% 향상시키면서도 컴퓨터 메모리는 더 적게 사용했습니다.

정말 멋진 점은 모델이 공격을 막아내는 것뿐만 아니라, 일반적이고 깨끗한 사진을 보는 능력도 향려되었다는 것입니다. 연구진은 "어려운" 사례들에 집중함으로써 모델이 세상을 보는 더 안정적인 방식을 학습했다는 것을 발견했습니다. 모델이 이미지의 서로 다른 부분에 어떻게 "주의(attention)"를 기울이는지 살펴보았을 때, 훈련 전에는 모델이 노이즈에 쉽게 주의를 빼앗겨 배경이나 무작위 픽셀을 보고 있었던 것을 확인했습니다. CAW를 사용한 후, 모델은 이미지가 공격받고 있는 상황에서도 실제 객체에 집중하는 법을 배웠습니다.

요약하자면, 이 논문은 혼란스러운 사례들을 조금 더 선택적으로 공부함으로써, 우리는 더 똑똑하면서도 더 강인한 AI를 구축할 수 있다는 것을 시사합니다. 이는 시각-언어 모델이 항상 완벽하지 않고 때로는 우리를 속이려 드는 실제 세상에서 신뢰할 수 있게 만드는 데 있어 중요한 한 걸음입니다. 현재 이 방법은 모델의 이미지 부분에 초점을 맞추고 있으며 주로 공격자가 모델의 비밀을 알고 있는 화이트박스(white-box) 공격을 대상으로 테스트되었지만, 이는 새로운 것을 배우는 능력을 희생하지 않으면서도 AI의 회복 탄력성을 높이는 새로운 문을 열어줍니다.

기술 요약: 신뢰도 인지 가중치를 통한 제로샷 CLIP의 적대적 강건성 개선

문제 정의
비전-언어 모델(VLM), 특히 CLIP은 다양한 작업에서 인상적인 제로샷 일반화 능력을 보여준다. 그러나 이러한 모델들은 미세한 섭동(perturbation)이 예측의 급격한 변화를 일으키는 적대적 공격에 매우 취약하다. 적대적 훈련(Adversarial Training)은 강건성을 향상시키기 위한 표준적인 접근 방식이지만, 대규모 VLM에 적용되는 기존 방법들은 두 가지 주요 한계점에 직면해 있다:

비효효율적인 최적화: 현재의 접근 방식들은 훈련 과정에서 모든 적대적 예시를 난이도나 안정성에 관계없이 동일하게 취급한다. 이는 낮은 강건 신뢰도(불안정한 예측)를 가진 샘플이 높은 신뢰도를 가진 샘플보다 취약성에 더 크게 기여한다는 사실을 간과한다.
자원 및 성능 트레이드오프: PMG-AFT 및 TGA-ZSR과 같은 최첨단 방법들은 높은 메모리 사용량을 요구하거나, 깨끗한 정확도(clean accuracy) 또는 일반화 능력을 저해하지 않으면서 강력한 공격(예: AutoAttack) 하에서 강건한 정확도를 유지하는 데 어려움을 겪는다.

방법론: 신뢰도 인지 가중치 (Confidence-Aware Weighting, CAW)
저자들은 사전 학습된 CLIP 모델의 제로샷 강건성을 높이면서 일반화 능력을 보존하도록 설계된 적대적 미세 조정 프레임워크인 **신뢰도 인지 가중치(CAW)**를 제안한다. 이 방법은 세 가지 항으로 구성된 복합 손실 함수( $L_{total}$ )를 도입한다:

표준 대조 학습 손실 ( $L_{CE}$ ): 이미지와 텍스트 임베딩을 정렬하는 데 사용되는 기본 교차 엔트로피 손실이다.
신뢰도 인지 손실 ( $L_{CA}$ ): 이 구성 요소는 모든 샘플을 동일하게 취급하는 비효율성을 해결한다. 이는 적대적 입력에 대한 미세 조정된 모델의 예측 분포( $P_{adv}$ $P_{a d v}$ )와 깨끗한 입력에 대한 동결된 사전 학습 모델의 분포( $P_{clean}$ $P_{c l e an}$ ) 사이의 쿨백-라이블러(Kullback-Leibler, KL) 발산을 스케일링한다.
- 메커니즘: KL 발산은 $(1 - P_{adv, i, y_i})$ 에 의해 가중치가 부여된다. 여기서 $P_{adv, i, y_i}$ 는 적대적 샘플에 대한 실제 클래스의 예측 확률이다.
- 효과: 이 가중치는 모델이 불확실할 때(낮은 신뢰도) "어려운" 적대적 예시에 더 높은 중요성을 부여하여, 모델이 이러한 취약한 사례를 안정화하는 데 집중하도록 강제한다. 저자들은 $KL(P_{adv} \parallel P_{clean})$ 이 역방향보다 더 낫다고 주장하는데, 이는 적대적 분포에서의 잘못된 고확률 예측을 더 잘 처벌하기 때문이다.
특징 정렬 정규화 ( $L_{Reg}$ ): 과적합과 사전 학습된 지식의 망각을 방지하기 위한 이 항은 미세 조정된 인코더에 의해 처리된 적대적 입력의 이미지 특징과 동일한 입력을 처리하는 동결된 사전 학습 인코더 사이의 $\ell_2$ $ℓ_{2}$ 거리를 최소화한다.
- 차별점: 깨끗한 동결 표현을 적대적 미세 조정된 표현과 정렬하는 FARE와 달리, CAW는 미세 조정 과정 동안 특징 표현을 안정화하기 위해 양쪽 인코더 모두로부터 적대적 표현을 정렬한다.

전체 목적 함수는 다음과 같이 공식화된다:
$L_{total} = L_{CE} + \alpha \cdot L_{CA} + \beta \cdot L_{Reg}$

주요 기여

새로운 가중치 메커니즘: 본 논문은 제로샷 VLM에 특화된 신뢰도 인지 가중치 전략을 도입하여, 깨끗한 정확도를 희생하지 않고도 불안정한 저신뢰도 적대적 샘플에 집중함으로써 강건성을 개선한다.
이중 손실 구조: 신뢰도가 스케일링된 KL 발산과 특징 수준의 정규화 항의 결격은 강건한 특징을 학습하는 것과 사전 학습된 의미론적 지식을 유지하는 것 사이의 균형을 만든다.
효율성: 제안된 방법은 경쟁 베이스라인(PMG-AFT, TGA-ZSR)보다 적은 메모리를 사용하면서도 최첨단 성능을 달성한다.

실험 결과
저자들은 TinyImageNet 데이터셋에서 CAW를 평가하였으며, 일반 객체 인식, 세밀한 분류(fine-grained classification), 장면 인식, 도메인 특화 작업 및 의료 영상에 걸친 15개의 추가 데이터셋에서 제로샷 성능을 테스트하였다.

AutoAttack ( $\epsilon = 1/255$ ): CAW는 15개 데이터셋 전체에서 평균 강건 정확도(33.51%)가 가장 높았으며, PMG-AFT(31.55%)와 TGA-ZSR(31.63%)을 능가했다. 특히 CIFAR-10 및 Caltech-101과 같은 데이터셋에서 강점을 보였다.
PGD-100 및 CW 공격: 이러한 공격 하에서 CAW는 강건 정확도와 깨끗한 정확도 모두에서 PMG-AFT를 앞질렀다. 예를 들어, PGD-100 하에서 CAW는 평균 강건 정확도 34.91%를 달성하여 PMG-AFT의 33.20%를 상회했으며, 깨끗한 정확도 또한 개선했다(47.28% 대비 53.75%).
메모리 효율성: CAW는 약 15,986 MB의 메모리를 필요로 하여 PMG-AFT(18,449 MB)보다 낮고, TGA-ZSR(21,227 MB)보다는 현저히 낮았다.
분석:
- 신뢰도 분석: 산점도 분석 결과, 미세 조정 후 깨끗한 신뢰도와 강건한 신뢰도 사이의 상관관계가 증가하여 대각선 방향으로 이동하였으며, 이는 향상된 안정성을 나타낸다. 이 방법은 "깨끗할 때만 정답인(Clean Only)" 샘플(깨끗할 때는 맞지만 적대적일 때는 틀리는 경우)을 효과적으로 줄이면서도 과도하게 확신에 찬 오분류를 생성하지 않았다.
- 어텐션 맵: 시각화 결과, CAW는 미세 조정 전의 모델이 공격 하에서 무관한 배경 노이즈에 주의를 기울이는 것과 달리, 깨끗한 예시와 적대적 예시 모두에 대해 객체 관련 영역에 일관되고 의미 있는 어텐션을 유지하도록 돕는 것으로 나타났다.

의의 및 주장
본 논문은 CAW가 제로샷 VLM을 적대적 위협으로부터 보호하는 데 있어 중요한 진전임을 주장한다. 모델의 불확실성을 명시적으로 타겟팅함으로써, 이 방법은 더 전이 가능하고 강건한 특징을 학습한다. 저자들은 이 접근 방식이 낮은 메모리 점유율을 유지하면서도 강력한 공격(AutoAttack, PGD, CW) 하에서 강건성을 개선한다는 점을 강조하며, 이를 대규모 모델에 적용 가능한 실용적인 솔루션으로 제시한다.

한계점
저자들은 다음과 같은 몇 가지 한계를 인정한다:

이 방법은 현재 CLIP 아키텍처에 특화되어 있으며 다른 VLM에 대한 테스트는 이루어지지 않았다.
이미지 인코더의 섭동만을 다루며, VLM에서 중요한 역할을 하는 텍스트 인코더는 고려되지 않았다.
평가는 표준 화이트박스 공격에 국 {한되었으며, 블랙박스, 적응형 공격 및 더 큰 섭동 반경에 대한 탐구는 이루어지지 않았다.

유사한 논문