🤖 AI

Dual Adversarial Fine-tuning for Enhancing Robustness of Large Vision Language Model

본 논문은 구조적 변경이나 태스크별 재학습 없이도 적대적 공격에 대한 대규모 시각-언어 모델의 강건성과 교차 태스크 일반화 능력을 크게 향상시키기 위해, 시각적 및 의미적 감독 신호를 공동으로 최적화하는 이중 적대적 미세 조정 프레임워크를 제안한다.

원저자: Sibo Wang, Jie Zhang, Shiguang Shan, Xilin Chen, Wen Gao

게시일 2026-07-22

📖 6 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Sibo Wang, Jie Zhang, Shiguang Shan, Xilin Chen, Wen Gao

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

컴퓨터가 단순히 사진을 보는 것을 넘어, 마치 사진첩을 보는 친구처럼 그 안에 무엇이 있는지 실제로 "이해"하는 세상을 상상해 보세요. 이것이 바로 대규모 시각-언어 모델(Large Vision-Language Models, LVLMs)의 영역입니다. 이들은 일몰을 묘사하거나, 도표에 대해 질문에 답하거나, 단 한 장의 이미지로부터 이야기를 들려줄 수 있는 도구 뒤에 숨겨진 초스마트 AI 두뇌입니다. 이 거인들을 작동시키기 위해, 과학자들은 퍼즐 조각을 완벽한 위치에 맞추는 것처럼 이미지와 단어를 연결하도록 가르칩니다. 하지만 여기에는 교활한 문제가 있습니다. 이 AI 두뇌들은 놀라울 정도로 취약합니다. 마술사가 약간의 주의 분산만으로도 속을 수 있듯이, 이 모델들은 "적대적 공격(adversarial attacks)"에 의해 속을 수 있습니다. 이는 인간의 눈에는 정적인 노이즈처럼 보이지만, AI를 완전히 미치게 만들어 개를 토스터기로, 버스를 기린으로 보게 만드는 아주 미세하고 보이지 않는 이미지 수정입니다. 이는 우리가 이 모델들을 중요한 업무에 신뢰하기 시작함에 따라, 모델이 디지털 노이즈에 속지 않도록 보장해야 하기 때문에 매우 중요한 문제입니다.

이때, AI가 그렇게 쉽게 속지 않도록 막기로 결심한 새로운 연구팀이 등장했습니다. 그들은 기존의 모델을 "강하게 만드는" 시도들이 마치 복싱 선수를 특정 상대하고만 싸우도록 훈련시키는 것과 같다는 점을 깨달았습니다. 즉, 모델이 그 한 번의 싸움에는 잘 적응했지만, 다른 어떤 것도 처리할 수 없게 된다는 것입니다. 연구진은 **이중 적대적 미세 조정(Dual Adversarial Fine-Tuning, DAFT)**이라는 영리한 새로운 훈련 캠프를 제안했습니다. 단순히 AI에게 노이즈를 무시하도록 가르치는 대신, 그들은 두 가지 레슨을 동시에 가르쳤습니다. 첫째, 기억력을 날카롭게 유지하기 위해 이미지의 "깨끗한" 버전(진실)을 보여주었습니다. 둘째, 단순한 "고양이"나 "개" 같은 레이블 대신, 이미지에 대한 풍부하고 묘사적인 이야기(캡션)를 사용했습니다. 이것은 학생에게 단순히 "사과"라는 단어를 암기시키는 것이 아니라, 사과의 붉은색, 아삭함, 그리고 과일 바구니에 어떻게 어울리는지 등 사과의 전체적인 개념을 이해하도록 가르치는 것과 같습니다. 그래야 누군가 그림 위에 낙서를 하더라도 학생이 여전히 그것이 무엇인지 알 수 있기 때문입니다.

이 논문은 이 이중적인 접근 방식이 놀라운 효과를 낸다는 것을 발견했습니다. 그들이 새로운 방법을 기존의 방법들과 테스트했을 때, DAFT로 훈련된 모델들은 이미지가 적대적 노이즈의 공격을 받을 때도 침착하고 차분함을 유지했습니다. 작업이 무엇이든(이미지 분류, 문장 작성, 또는 까다로운 질문 답변), 새로운 방법은 평정심을 유지했습니다. 연구진은 AI의 "눈"을 새로 훈련된 버전으로 교체함으로써, 전체 시스템을 처음부터 다시 구축할 필요 없이 훨씬 더 속이기 어렵게 만들 수 있음을 보여주었습니다. 이는 마치 슈퍼히어로에게 나쁜 것은 걸러내고 좋은 것은 수정처럼 맑게 보여주는 새로운 고글을 씌워주는 것과 같습니다.

논문의 이야기

문제점: "한 가지 기술만 가진" AI
대규모 시각-언어 모델(LVLMs)은 놀랍습니다. 그들은 관람차 사진을 보고 그것이 "관람차"라고 말하거나, "가운데에 있는 놀이기구는 무엇인가요?"와 같은 질문에 답할 수 있습니다. 하지만 이 모델들은 비밀스러운 약점이 있습니다: 쉽게 속는다는 것입니다. 만약 이미지에 아주 미세하고 보이지 않는 정적(adversarial attack)을 추가하면, AI는 갑자기 관람차를 "버스"나 "기린"이라고 생각할 수 있습니다.

과학자들은 이를 해결하기 위해 이전에 노력해 왔습니다. 어떤 이들은 트릭이 섞인 노이즈가 있는 사진을 보여주면서 단순한 레이블(예: "고양이" 또는 "버스")을 사용하여 AI를 훈련시키려 했습니다. 하지만 이 논문은 이것이 마치 조용한 방에서 "앉아"라고 말할 때만 앉도록 개를 훈련시키는 것과 같다고 주장합니다. 만약 시끄러운 공원에서 "앉아"라고 말하면 개는 혼란에 빠집니다. 이러한 방법들은 단순한 작업에는 효과적이었지만, AI가 이야기를 쓰거나 복잡한 질문에 답하는 것과 같은 더 어려운 일을 해야 할 때는 실패했습니다. 다른 방법들은 레이블 없이 AI를 훈련시키려 했지만, 정말 까다로운 공격을 견뎌낼 만큼 강력해지지는 못했습니다.

해결책: 2단계 훈련 캠프
이 논문의 저자인 Sibo Wang과 그의 팀은 DAFT(Dual Adversarial Fine-Tuning)라고 불리는 새로운 AI 훈련 방식을 고안했습니다. 그들은 AI를 진정으로 강인하게 만들기 위해서는, 마치 두 명의 선생님과 함께 공부하는 학생처럼 두 종류의 지침이 동시에 필요하다는 것을 깨달았습니다.

"시각적" 선생님 (앵커): 이 훈련 부분은 동결된(frozen) 원래 AI의 "눈"(비전 인코더)을 사용합니다. 이것은 참조 가이드 역할을 합니다. AI가 노이즈가 섞인 까다로운 이미지를 볼 때, 이 선생님은 "헤이, 진짜 이미지가 어떻게 생겼는지 기억해! 원래의 특징들을 잊지 마!"라고 말합니다. 이는 AI가 혼란에 빠지거나 오버피팅(노이즈를 진실 대신 암기하는 것)되는 것을 막아줍니다.
"의미론적" 선생님 (스토리텔러): 이것이 핵심적인 혁신입니다. "버스"나 "고양이" 같은 단순한 레이블 대신, 이 선생님은 이미지를 상세하게 설명하는 전체 문장이나 캡션을 사용합니다. 예를 들어, 단순히 "버스"라고 하는 대신, "빗길을 달리는 파란색 버스"라고 말합니다. 그러면 AI는 노이즈가 섞인 이미지를 이 풍부한 묘사와 일치시키도록 훈련됩니다. 이는 AI가 단순히 카테고리를 맞추는 것이 아니라, 이미지의 의미와 맥락을 이해하도록 돕습니다.

마법은 이 두 선생님이 함께 작동할 때 일어납니다. "시각적" 선생님은 AI를 현실에 기반하게 만들고, "의미론적" 선생님은 이미지가 망가졌을 때도 그 깊은 의미를 이해하도록 가르칩니다.

결과: 더 강하고 더 똑똑하게
팀은 다양한 작업에 대해 새로운 방법을 테스트했습니다. 그들은 인기 있는 AI 모델인 LLaVA를 가져와서 그 "눈"을 새로 훈련된 강력한 버전으로 교체했습니다. 그런 다음, 보이지 않는 노이즈로 공격하여 어떤 일이 일어나는지 확인했습니다.

제로샷 분류 (Zero-Shot Classification): 본 적 없는 사진 속의 물체를 식별하라는 요청을 받았을 때, DAFT 모델은 노이즈를 무시하는 데 훨씬 뛰어났습니다. 단순한 레이블을 사용한 기존 방법들과 비교했을 때 평균적으로 정확도가 약 12% 향상되었습니다.
캡셔닝 및 질의응답 (Q&A): 이 부분이 새로운 방법이 진정으로 빛을 발한 곳입니다. 노이즈가 섞인 이미지에 대해 설명을 쓰거나 질문에 답하라는 요청을 받았을 때, 기존 모델들은 종종 엉뚱한 답변(예: 크레인을 기린이라고 부르는 것)을 내놓았습니다. 그러나 DAFT 모델은 계속해서 정답을 맞혔습니다. 예를 들어, 한 테스트에서 다른 모델들이 공격을 받은 상황에서 "관람차"를 제대로 식별하지 못했을 때, DAft 모델은 정확히 맞혔습니다.
트레이드오프 (Trade-off): 논문은 모델을 공격에 너무 강하게 만들면 깨끗한 사진을 보는 능력이 약간 떨어질 수 있다고 언급합니다. 그러나 DAFT는 깨끗한 사진에 대한 성능을 기존의 가장 좋은 방법들과 거의 비슷하게 유지하면서도, 공격에 대해서는 훨씬 더 강력한 모습을 보였습니다.

이 논문이 배제하는 것들
저자들은 무엇이 효과가 없는지에 대해 매우 명확하게 밝히고 있습니다. 그들은 단순히 카테고리 레이블(예: "고양이" 또는 "버스")만을 가이드로 사용하는 것은 오버피팅을 유발하기 때문에 충분하지 않다고 주장합니다. 또한, 텍스트 도움 없이 학습하는 비지도 학습 방식(unsupervised methods)만으로는 가장 발전된 공격을 견디기에 충분히 강하지 않다는 것을 보여줍니다. 그들의 실험은 최상의 결과를 얻기 위해서는 시각적 접지(visual grounding)와 풍부한 의미론적 이해의 조합이 반드시 필요하다는 것을 시사합니다.

얼마나 확실한가?
저자들은 많은 다양한 데이터셋(Calicut101, COCO, VQAv2 등)과 다양한 수준의 노이즈(특히 $\epsilon = 2/255$ 및 $\epsilon = 4/255$ 의 섭동 예산)에 걸쳐 광범ale한 실험을 수행했습니다. 그들은 자신들의 방법을 현재 최고의 방법들(TeCoA 및 FARE 등)과 비교했으며, DAFT가 일관되게 그들을 능가한다는 것을 발견했습니다. 그들은 단순히 시뮬레이션만 한 것이 아니라, 실제로 모델을 훈련시키고 실제 세계의 작업에서 테스트했습니다. 결과는 그들의 실험에서 측정된 사실로서 제시되었으며, 명확한 개선을 보여줍니다.

핵-심 요약
이 논문은 AI 시각 모델을 진정으로 안전하고 신뢰할 수 있게 만들기 위해서는, 단순히 노이즈를 무시하도록 가르치는 것이 아니라, 시각적 사실에 대한 확고한 파악을 유지하면서 이미지 뒤에 숨겨진 이야기를 이해하도록 가르쳐야 한다는 것을 시사합니다. 시각적 앵커와 풍부하고 묘사적인 캡션을 결합한 "이중" 접근 방식을 사용함으로써, 연구진은 속이기 훨씬 어려운 모델을 구축했으며, 이는 이 강력한 AI 도구들의 안전성을 높이는 데 있어 중요한 진전입니다.

기술 요약: 대규모 시각-언어 모델의 강건성 향상을 위한 이중 적대적 미세 조정 (Dual Adversarial Fine-tuning)

문제 정의

LLaVA 및 GPT-4V와 같은 대규모 시각-언어 모델(LVLM)은 추론 및 다중 모달 데이터 이해 측면에서 놀라운 능력을 보여주었습니다. 그러나 이들은 시각적 입력에 포함된 인지 불가능한 노이즈가 모델로 하여de로 잘못된 캡션 생성이나 시각적 질의응답(VQA) 오류와 같은 잘못된 출력을 유도하게 만드는 시각적 적대적 공격(visual adversarial attacks)에 본질적으로 취약합니다.

기존의 방어 전략은 LVLM에 적용될 때 두 가지 결정적인 한계에 직면합니다:

범주 정렬 감독(Category-Aligned Supervision)에서의 과적합 및 낮은 일반화 성능: TeCoA와 같은 방법은 고정된 텍스트 임베딩(예: ImageNet 클래스 레이블)을 감독 신호로 사용합니다. 이러한 방식은 사전 정의된 범주 내에서의 제로샷 분류에는 효과적이지만, 이미지 캡셔닝 및 VQA와 같은 복잡한 작업에 필요한 의미적 풍부함(semantic richness)이 부족합니다. 결과적으로, 확보된 강건성 이득이 미학습 데이터셋이나 다중 모달 작업으로 전이되지 못하는 경우가 많습니다.
비지도 미세 조정(Unsupervised Fine-Tuning)의 제한된 이득: FARE와 같은 비지도 방식은 레이블이 없는 상태에서 적대적 특징과 깨끗한 특징을 정렬함으로써 일반화 성능을 개선합니다. 그러나 이들은 주로 특징 간의 차이를 최소화하는 데 집중하며, LVLM의 이미지-텍스트 정렬 메커니즘을 구체적으로 겨냥하는 정교한 공격을 방어하는 데는 종종 실패합니다.

또한, 대규모 모델에 대해 처음부터 적대적 학습을 수행하는 것은 계산 비용 측면에서 매우 부담스럽습니다. 따라서 과제는 전체 모델을 재학습하거나 별도의 작업별 적응 없이도 다양한 다운스트림 작업 전반에 걸쳐 강건성을 향상시킬 수 있는 적대적 미세 조정 전략을 개발하는 것입니다.

방법론: 이중 적대적 미세 조정 (DAFT)

저자들은 시각적 및 의미적 감독 신호를 공동으로 최적화하도록 설계된 DAFT라는 이중 적대적 미세 조정 프레임워크를 제안합니다. 이 방법은 LVLM의 비전 인코더(구체적으로 CLIP의 비전 인코더)를 미세 조정하는 데 중점을 둡니다. 미세 조정이 완료된 이 강건한 인코더는 언어 모델을 수정하거나 시스템 전체를 재학습할 필요 없이, LLaVA와 같은 모델의 기존 인코더를 대체하여 적대적 탄력성을 상속받을 수 있습니다.

이 프레임워크는 두 개의 시너지 효과를 내는 브랜치로 구성됩니다:

1. 시각적 감독 브랜치 (Visual Supervision Branch)

이 브랜치는 사전 학습된 모델의 일반화 능력을 보존하고 특정 적대적 예시에 대한 과적합을 완화하는 것을 목표로 합니다.

메커니즘: 고정된 원본 비전 인코더( $F_{ori}$ )를 사용하여 깨끗한 이미지로부터 특징을 추출합니다.
목표: 타겟 모델( $F_\theta$ )이 적대적 예시( $x_a$ )에서 추출된 특징과 고정된 인코더가 추출한 깨끗한 이미지( $x$ )의 특징 사이의 $L_2$ 거리를 최소화하도록 학습됩니다.
손실 함수: $L_{vis} = ||F_{ori}(x) - F_\theta(x_a)||_2^2$ .
효과: 이를 통해 타겟 모델이 기초 모델의 강건하고 일반화 가능한 특징을 유지하도록 보장합니다.

2. 의미적 감독 브랜치 (Semantic Supervision Branch)

이 브랜치는 다중 모달 일관성을 겨냥한 공격을 방어하기 위해 필요한 풍부한 의미적 정렬의 필요성을 해결합니다.

메커니즘: 단순한 범주 레이블 대신, 이 브랜치는 **기술적 캡션(descriptive captions)**을 의미적 감독 신호로 사용합니다.
목표: 적대적 예시를 실제 정답 기술 캡션과 정렬하는 동시에, 동일 배치 내의 관련 없는 캡션들로부터는 멀어지도록 합니다.
손실 함수: 트리플릿 손실(triplet loss)이 사용됩니다. 여기서 적대적 특징은 앵커(anchor)가 되고, 정답 기술 캡션 임베딩은 양성 샘플( $P_o$ )이 되며, 배치 내에서 적대적 특징과 가장 유사한 캡션인 "가장 어려운" 음성 샘플( $N_e$ )을 사용하여 마진을 최대화합니다.
손실 함수: $L_{sem} = \max(\frac{F_\theta(x_a) \cdot T_\phi(N_e)}{||F_\theta(x_a)|| ||T_\phi(N_e)||} - \frac{F_\theta(x_a) \cdot T_\phi(P_o)}{||F_\theta(x_a)|| ||T_\phi(P_o)||} + \alpha, 0)$ .
효과: 이는 캡션의 풍부한 문맥 정보를 활용하여 공격 상황에서도 의미적 일관성을 유지하게 하며, 이는 VQA 및 캡셔닝 작업에 필수적입니다.

최적화

최종 목적 함수는 두 브랜치를 결합합니다: $L_{DAFT} = L_{sem} + \gamma L_{vis}$ . 학습 과정은 교차 min-max 최적화를 포함합니다:

공격 생성: 투영 경사 하강법(Projected Gradient Descent, PGD)을 사용하여 $L_{DAFT}$ 를 최대화함으로써 적대적 예시 $x_a$ 를 생성합니다.
파라미터 업데이트: 생성된 적대적 예시 $x_a$ 에 대해 $L_{DAFT}$ 를 최소화함으로써 비전 인코더 파라미터 $\theta$ 를 업데이트합니다.

주요 기여

이중 감독 프레임워크: LVLM의 교차 작업 강건성을 향상시키면서 과적합을 완화하기 위해 시각적 및 의미적 감독 신호를 공동으로 최적화하는 DAFT를 제안했습니다.
캡션 가이드 의미적 감독: 저자들이 아는 바에 따르면, 이는 적대적 학습을 위한 의미적 감독으로 범주 레이블 대신 기술적 캡션을 통합한 최초의 프레임워크입니다. 이 접근 방식은 더 풍부한 의미 정보를 활용함으로써 다중 모달 작업의 강건성을 크게 향상시킵니다.
플러그 앤 플레이(Plug-and-Play) 강건성: 이 방법은 기존 LVLM의 CLIP 비전 인코더를 단순히 교체하는 것만으로 별도의 작업별 재학습이나 아키텍처 수정 없이 교차 작업 강건성을 달 Ach성합니다.

실험 결과

저자들은 여러 데이터셋(예: Caltech101, COCO, VQAv2)에 대해 섭동 예산(perturbation budget) $\epsilon = 2/255$ 및 $\epsilon = 4/255$ 를 사용하여 제로샷 분류, 이미지 캡셔닝, VQA 작업에서 DAFT를 평가했습니다.

제로샷 분류: DAFT는 기존의 최첨단 방법들(TeCoA, PMG-AFT, FARE)보다 우수한 성능을 보였습니다. $\epsilon = 2/255$ 조건에서, 범주 레이블 기반 감독 방법보다 평균 강건 정확도를 약 12% 향상시켰고, 비지도 방식인 FARE보다 1.2% 높게 나타났으며, 깨끗한 정확도는 대등하게 유지했습니다.
이미지 캡셔닝 및 VQA: DAFT는 생성형 작업에서 탁월한 강건성을 입증했습니다. FARE(이전의 일반화 SOTA)와 비교했을 때, $\epsilon = 2/255$ 조건에서 DAFT는 평균 CIDEr 점수를 2.3, 평균 VQA 정확도를 1.1% 향상시켰습니다. 더 강력한 공격( $\epsilon = 4/255$ ) 하에서는 그 개선 폭이 더욱 두드러졌습니다.
절제 연구(Ablation Studies):
- 손실 구성 요소: 시각적 및 의미적 감독을 모두 사용할 때 최상의 결과를 얻었습니다. 의미적 감독만을 사용하면 심각한 과적합이 발생했고, 시각적 감독만을 사용하면 강건성을 극대화하는 데 실패했습니다.
- 감독 유형: 기술적 캡션을 범주 레이블로 대체했을 때 제로샷 분류 정확도가 12.4%, CIDEr 점수가 15.2 포인트 하락하여 캡션 기반 감독의 우수성을 입증했습니다.
- 음성 샘플링: "가장 어려운" 음성 샘플(적대적 특징과 가장 유사한 샘로)을 선택하는 것이 매우 중요했습니다. "가장 쉬운" 음성 샘플을 사용했을 때는 강건성이 거의 제로에 가까웠습니다.
- 하이퍼파라미터: 마진 $\alpha=0.2$ 와 균형 계수 $\gamma=0.5$ 에서 최적의 성능이 달성되었습니다.

의의 및 주장

본 논문은 기존의 LVLM 방어 연구가 특정 분류 범주에 과적합되거나 복잡한 다중 모달 정렬 메커니즘을 보호하지 못하는 결정적인 격차를 DAFT가 해결한다고 주장합니다. 공격 조건 하에서 시각적 및 의미적 정렬을 통합함으로써, DAFT는 전체 모델 재학습의 계산 비용 없이 다양한 다운스트림 작업(분류, 캡셔닝, VQA) 전반에 걸쳐 적대적 강건성을 향상시키는 확장 가능한 솔루션을 제공합니다. 저자들은 이 연구가 시각적 입력이 섭동을 겪더라도 일관된 성능을 보장함으로써, 보안 민감 애플리케이션에 LVLM을 배포하는 과정을 안전하게 만드는 단계라고 위치시킵니다.

저자들은 CLIP 기반 모델에 집중했다는 점, 방어의 화이트박스(white-box) 특성, 그리고 훈련을 위해 COCO 데이터셋에 의존했다는 점을 한계로 언급하며, 향-후 연구에서 비-CLIP 아키텍처, 블랙박스 방어, 더 큰 규모의 캡션 데이터셋을 탐구할 수 있음을 시사했습니다.