🤖 machine learning

When Modalities Fail to Tango: Conformal Backdoor Detection in Multimodal Contrastive Learning

기존의 CLIPScore 기반 방어 기법이 멀티모달 대조 학습 모델의 백도어 공격을 탐지하는 데 갖는 한계를 해결하기 위해, 본 논문은 정형 예측(conformal prediction)을 활용하여 증명 가능한 신뢰 구간을 설정하고 최소한의 오탐률로 고정밀 탐지를 달성하는 새로운 2단계 프레임워크인 CASCADE를 제안한다.

원저자: Yiming Chen, Kemou Li, Haiwei Wu, Jiantao Zhou

게시일 2026-08-06

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Yiming Chen, Kemou Li, Haiwei Wu, Jiantao Zhou

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 수백만 장의 사진과 그 설명을 보여주며 세상을 이해하는 법을 가르치고 있다고 상상해 보세요. 이것은 마치 아이에게 고양이 사진을 보여주며 "이것은 고양이야"라고 말하며 고양이를 인식하도록 가르치는 것과 비슷합니다. 인공지능의 세계에서 이 과정은 **멀티모달 대조 학습(Multimodal Contrastive Learning)**이라고 불립니다. 이는 컴퓨터가 이미지와 텍스트를 연결하여 동시에 '보고' '읽을 수' 있도록 훈련하는 강력한 방법이며, 이를 통해 나중에 특정 사진을 찾거나 사진에 대한 질문에 답하는 것과 같은 놀라운 일들을 할 수 있게 합니다.

하지만 아이가 나쁜 선생님에게 속을 수 있듯이, 이러한 AI 모델들도 **백도어 공격(backdoor attacks)**에 의해 방해받을 수 있습니다. 예를 들어, 교활한 악당이 사슴 사진 몇 장에 아주 작고 보이지 않는 스티커를 붙이고, 그 설명을 "이것은 고양이다"라고 바꿔치기했다고 상상해 보세요. 만약 로봇이 이 속임수가 섞인 예시로부터 학습한다면, 로봇은 그 스티커가 붙은 사진은 무엇이든 고양이라고 생각하기 시작할 것입니다. 실제로는 사슴임에도 말이죠. 이는 매우 위험합니다. 왜냐하면 로봇은 평소에는 정상적으로 작동하다가, 그 트리거(스티커)를 보는 순간 처참하게 실패하기 때문입니다.

과학자들의 큰 고민은 이것입니다: 우리는 어떻게 로봇이 학습하기 전에 이 속임수가 섞인 사진들을 찾아낼 수 있을까? 오랫동안 표준적인 검사 방법은 "사진이 설명과 일치하는가?"라고 묻는 것이었습니다. 만약 로봇이 사슴을 고양이처럼 본다면, 사진과 설명이 일치하지 않을 것이므로 시스템이 이를 포착할 것입니다. 하지만 이 논문은 기존의 방식이 마치 '색깔이 틀린 바늘만 찾으려 함으로써 건초더미에서 바늘을 찾는 것'과 같다고 주장합니다. 때때로 나쁜 사진들이 좋은 사진들과 너무나 흡사하여, 기존 방식은 혼란에 빠져 이를 놓치곤 합니다.

논문의 이야기: 모달리티가 춤을 추지 못할 때

Yiming Chen, Kemou Li, Haiwei Wu, 그리고 Jiantao Zhou라는 저자들은 이 혼란을 해결하기로 했습니다. 그들은 기존의 "불일치"를 확인하는 방식(CLIPScore라고 불림)에 두 가지 큰 문제가 있다는 것을 깨달았습니다. 첫째, "나쁜" 사진과 "좋은" 사진의 점수가 서로 너무 비슷하여 겹치는 경우가 많아 단순한 규칙으로는 구별이 불가능했습니다. 둘째, 고정된 규칙(예: "점수가 0.5 미만이면 나쁘다")을 사용하는 것은 너무 경직되어 있으며, 좋은 사진을 실수로 버리지 않는다는 통계적 보장을 제공하지 못했습니다.

이를 해결하기 위해 그들은 CASCADE라는 새로운 탐정 프레임워크를 발명했습니다. CASCADE를 공항의 2단계 보안 검색대로 생각해 보세요. 다만 폭탄을 찾는 대신, "독이 든(poisoned)" 이미지-캡션 쌍을 스캔합니다.

1단계: 거친 필터 (냄새 맡기 테스트)
첫 번째 단계에서 CASCADE는 빠르고 광범위한 필터 역할을 합니다. 이들은 영리한 트릭을 사용합니다: 이미지를 가져온 뒤, 별도의 AI(설명을 쓰도록 훈련된 AI)에게 그 이미지를 설명하게 합니다. 그런 다음, 이 생성된 설명과 데이터셋에 원래 제공된 캡션을 비교합니다.

좋은 쌍: 이미지가 진짜 사슴이고 캡션이 "사슴"이라고 되어 있다면, AI가 생성한 설명도 "사로"라고 할 것입니다. 이들은 완벽하게 일치합니다.
나쁜 쌍: 몰래 숨겨진 스티커가 붙은 사슴 이미지가 있고 캡션이 "고양이"라고 되어 있다면, AI가 생성한 설명은 여전히 (이미지를 보고 있으므로) "사슴"이라고 하겠지만, 캡션은 "고양이"라고 할 것입니다. 이들은 충돌합니다!

이 "충돌" 점수는 CASCADE가 데이터를 세 그룹으로 나누도록 돕습니다:

높은 신뢰도의 좋은 데이터: 사진과 캡션이 완벽하게 일치함.
높은 신뢰도의 나쁜 데이터: 사진과 캡션이 심하게 충돌함.
"아마도" 그룹: 점수가 겹치는 까다로운 중간 영역. 기존 방식들이 보통 실패하는 지점입니다.

2단계: 정밀 필터 (통계적 탱고)
여기서 논문은 정말 정교해집니다. "아마도" 그룹에 대해, 저자들은 **컨포멀 예측(Conformal Prediction)**이라는 통계 도구를 사용합니다. 당신에게 알려진 "나쁜 놈들"(1단계의 높은 신뢰도 나쁜 데이터 그룹)이 있다고 상상해 보세요. 당신은 "아마도" 그룹의 사람들이 그 나쁜 놈들처럼 행동하는지 알고 싶습니다.

단순히 추측하는 대신, 그들은 **비적합성 점수(nonconformity score, NCS)**를 계산합니다. 이 점수는 "아마도" 그룹의 사진-캡션 쌍이 알려진 나쁜 놈들과 얼마나 닮았는지를 측정합니다. 만약 한 쌍이 나쁜 놈들과 매우 유사하다면 낮은 점수를 받습니다(순응함). 반대로 다르면 높은 점수를 받습니다.

여기서 마법 같은 부분이 일어납니다. 저자들은 수학을 사용하여 이 점수들을 하나의 **보장(guarantee)**으로 바꿉니다. 그들은 "우리는 통계적으로 좋은 사진을 실수로 버리는 비율이 아주 작고 구체적인 수치 이하가 되지 않을 것임을 확신할 수 있다"라고 말할 수 있습니다. 이것은 보안 요원이 단순히 누가 수상한지 추측하는 것이 아니라, 무고한 사람을 막아서는 일이 일정 비율(예: 5%)을 넘지 않을 것이라는 수학적 증명을 가지고 있는 것과 같습니다.

연구 결과

연구팀은 약 330만 개의 이미지-캡션 쌍이 포함된 CC3M이라는 거대한 데이터셋을 통해 자신들의 새로운 시스템인 CASCADE를 테스트했습니다. 그들은 이를 9가지 유형의 백도어 공격(BadNets, Trojan 등)과 맞붙였습니다.

결과는 인상적이었습니다. 기존 방식들은 종종 실수를 하여(좋은 사진을 나쁘다고 표시하거나 나쁜 사진을 놓침) 문제를 일으켰지만, CASCADE는 훨씬 더 날카로웠습니다.

정확도: 시스템이 나쁜 사진을 100% 잡아내도록 강제했을 때, CASCADE는 평균적으로 약 **5.79%**의 확률로 실수(좋은 사진을 나쁘다고 표시)를 범했습니다. 이에 비해 다른 방법들은 29%에서 64% 사이의 실수율을 보였습니다.
신뢰성: 이 시스템은 평균 점수(AUROC) 0.9867을 기록했는데, 이는 완벽한 점수인 1.0에 매우 근접한 수치입니다. 즉, 이 시스템은 좋은 데이터와 나쁜 데이터를 거의 완벽하게 구별해 낼 수 있습니다.
스마트한 방어: 저자들은 또한 공격자가 나쁜 사진을 좋은 사진처럼 보이게 만들어(적응형 공격) CASCADE를 속일 수 있는지 테스트했습니다. 그럼에도 불구하고 CASCADE는 성능이 아주 약간 떨어졌을 뿐, 굳건히 자리를 지켰습니다.

이것이 중요한 이유

저자들은 빠른 "충돌" 체크와 엄격한 통계적 보장을 결합함으로써, 이전보다 훨씬 더 잘 훈련 데이터를 정화할 수 있음을 보여주었습니다. 그들은 단순히 새로운 기술을 만든 것이 아니라, 데이터가 얼마나 안전한지에 대한 증명을 제공하는 시스템을 구축했습니다.

결론적으로, CASCADE는 우리가 모든 나쁜 놈을 잡는 것과 좋은 놈을 보호하는 것 사이에서 하나를 선택할 필요가 없음을 시사합니다. 이 "거친 필터링에서 정밀한 필터링으로(coarse-to-fine)" 이어지는 2단계 접근법을 사용함으로써, 우리는 두 마리 토끼를 모두 잡을 수 있습니다: 즉, AI를 똑똑하고 안전하게 유지하면서도 매우 깨끗한 데이터셋을 가질 수 있습니다. 이 논문은 이 방법이 큰 진전이지만, 이미 훈련된 모델을 정화하는 것이 아니라 훈련 전에 독을 잡아내는 데 집중하고 있다는 점을 명시하며 마무리됩니다. 하지만 현재로서는, 이것은 로봇이 세상을 보고 읽는 법을 배우는 과정에서 사용할 수 있는 강력한 새로운 방패입니다.

기술 요약: 모달리티가 춤을 추지 못할 때: 멀티모달 대조 학습에서의 컨포멀 백도어 탐지

문제 정의
CLIP과 같은 멀티모달 대조 학습(Multimodal Contrastive Learning, MCL) 모델은 수많은 다운스트림 작업의 기반이 되지만, 백도어 공격에 취약하다. 이러한 공격에서 공격자는 훈련 이미지의 일부에 시각적 트리거를 주입하고, 원래의 캡션(설명)을 타겟 의미(예: "a deer"를 "a cat"으로 변경)로 교체한다. 이는 트리거가 삽입된 이미지가 타겟 클래스의 임베딩으로 매핑되도록 하는 가짜 상관관계(spurious correlations)를 유도한다.

기존의 탐지 기반 방어 기법은 주로 CLIPScore 지표에 의존하며, 오염된 쌍(poisoned pairs)이 정상 쌍(benign pairs)보다 이미지와 캡션 사이의 의미적 유사성이 낮을 것이라고 가정한다. 그러나 저자들은 이 접근 방식의 두 가지 결정적인 결함을 식별했다:

분포 중첩(Distribution Overlap): 정상 쌍과 오염된 쌍의 CLIPScore 분포는 상당 부분 중첩되어 있어, 유사도 점수만으로는 이들을 구분하기 어렵다.
통계적 보장의 부재: 고정 임계값(fixed-threshold) 탐지 방식은 중첩 영역에 있는 샘플에 대해 통계적 보장을 제공할 수 없으며, 이는 휴리스틱한 컷오프(cutoff) 하에서 신뢰할 수 없는 분류와 잠재적인 오분류를 초0로 이어진다.

방법론: CASCADE
이러한 한계를 해결하기 위해, 저자들은 새로운 Coarse-to-Fine 컨포멀 백도어 탐지(Conformal Backdoor Detection) 프레임워크인 CASCADE를 제안한다. 이 방법은 오염된 쌍을 탐지하기 위해 증명 가능한 신뢰 구간을 설정하는 **컨포멀 예측(Conformal Prediction, CP)**을 통합한다. 프레임워크는 두 단계로 작동한다:

1단계: 거친 수준의 탐지 (교차 모달리티 일관성)
- 시각 가이드 텍스트 임베딩: 시스템은 사전 훈련된 이미지 캡셔닝 모델(예: CLIPCap)을 고정된 매핑 모듈 $G$ 로 사용하여 이미지 임베딩을 텍스트 임베딩 공간으로 변환함으로써 "시각 가이드" 텍스트 임베딩( $\hat{t}_e$ )을 생성한다.
- 일관성 지표: 원래의 이미지-텍스트 유사도( $\kappa_{orig}$ )와 생성된 이미지-텍스트 유사도( $\kappa_{gen}$ ) 사이의 절대 차이를 측정하여 교차 모달리티 일관성( $\Delta\kappa$ )을 계산한다. 정상 쌍은 높은 일관성(작은 $\Delta\kappa$ )을 보이는 반면, 오염된 쌍은 상당한 의미적 불일치(큰 $\Delta\kappa$ )를 보인다.
- 분할: $\Delta\kappa$ $Δ κ$ 점수의 분포에 가우시안 혼합 모델(GMM)을 적합시킨다. 데이터셋은 세 가지 하위 집합으로 분할된다:
  - $D_b$ : 높은 신뢰도의 정상 쌍 (낮은 $\Delta\kappa$ ).
  - $D_p$ : 높은 신뢰도의 오염된 쌍 (상위 $q$ 개의 가장 높은 $\Delta\kappa$ ).
  - $D_u$ : 모호한 샘플을 포함하는 미확인 하위 집합.
2단계: 정밀한 수준의 탐지 (컨포멀 예측)
- 참조 집합 구축: 높은 신뢰도의 오염된 하위 집합 $D_p$ 는 오염된 분포를 나타내는 참조 집합( $T_{ref}$ ) 역할을 한다.
- 비정형성 점수 (Nonconformity Score, NCS): 각 샘플의 $D_u$ 에 대해, 샘플의 텍스트 임베딩과 참조 집합 사이의 평균 코사인 유사도를 기반으로 텍ual NCS를 계산한다. 오염된 캡션은 타겟 특정 패턴을 공유하므로 참조 집합과 밀접하게 정렬되어 낮은 NCS(높은 순응도)를 나타낸다. 정상 캡션은 참조 집합에서 벗어나므로 높은 NCS를 나타낸다.
- 통계적 결정: NCS는 **컨포멀 p-값(conformal p-value)**으로 변환된다. 테스트 쌍이 오염되었고(참조 집합과 교환 가능함)라는 귀무 가설 하에서, 낮은 NCS는 높은 p-값을 생성하고, 높은 NCS는 낮은 p-값을 생성한다. 결정 규칙은 다음과 같다: 만약 $p(x,t) \le \epsilon$ 이면, 해당 샘플은 **정상(benign)**으로 분류된다. 반대로 그렇지 않으면 **오염(poisoned)**으로 분류된다. 즉, 낮은 NCS(오염된 분포에 대한 높은 순응도)를 가진 샘플은 높은 p-값을 받아 오염된 것으로 유지되며, 높은 NCS(낮은 순응도)를 가진 샘플은 낮은 p-값을 받아 정상으로서 거부된다.

주요 기여

CASCADE 프레임워크: 모호한 쌍을 정제하기 위해 컨포멀 예측을 사용하여 고신뢰도 샘플을 분리함으로써, 고정 임계값의 한계를 극복하는 2단계 탐지 파이프라인을 제공한다.
새로운 지표: (이미지-텍스트 불일치를 활용하는) 교차 모달리티 일관성과 (오염된 캡션의 구조적 클러스터링을 활용하는) 텍스트 비정형성 점수를 도입하여 분리성을 높였다.
통계적 보장: CP의 통합은 오염된 샘플을 정상으로 잘못 분류할 확률이 사용자가 정의한 수준 내에서 제어되도록 하여, 거짓 양성률(false positive rate)에 대한 엄격한 통계적 경계를 제공한다.

실험 결과
CC3M 데이터셋에 대해 9가지 다양한 백도어 공격(예: BadNets, BadCLIP, mmPoison) 및 다양한 적응형 공격을 대상으로 광범위한 실험이 수행되었다.

탐지 성능: CASCADE는 평균 **FPR@100%TPR 5.79%**와 평균 AUROC 0.9867을 달성하여, CLIPScore, SafeCLIP, DAO와 같은 최첨단 베이스라인을 크게 상회하였다.
다운스트림 유용성: 훈련 데이터를 필터링하는 데 사용되었을 때, 식별된 정상 하위 집합으로 훈련된 모델은 높은 클린 정확도(ImageNet-1K에서 59.69%인 클린 베이스라인에 근접한 58.17%)를 유지하면서 공격 성공률(ASR)을 약 80%에서 **0.12%**로 감소시켰다.
강건성: 이 방법은 공격자가 의미적 일관성을 최대화하도록 트리거를 최적화하는 **방어 인지형 적응형 공격(defense-aware adaptive attacks)**에 대해서도 효과적임을 입증했다. CASCADE의 AUROC는 약간 감소(약 0.94)했을 뿐이며, 이는 1단계의 회피 시도에 대한 강건성을 보여준다.
일반화: 이 방법은 서로 다른 타겟 클래스, 다양한 타겟 설정, 다양한 CLIP 변체(ResNet, ViT) 및 다양한 사전 훈련 데이터셋(Flickr-PASCAL, Visual Genome, MSCOCO) 전반에 걸쳐 일반화되었다.

의의 및 주장
본 논문은 CASCADE가 휴리스틱한 유사도 임계값을 넘어 통계적으로 원칙적인 탐지 프레임워크로 이동함으로써 MCL 모델을 보호하는 데 있어 중요한 진전을 이루었다고 주장한다. 오염된 데이터의 구조적 특성(교차 모달 불일치 및 텍스트 공간 클러스터링)을 활용하고 컨포멀 예측을 통해 불확실성을 정량화함으로써, CASCADE는 전통적인 방법들이 실패하는 모호한 영역에서도 거짓 양성을 제어하는 신뢰할 수 있는 방어를 제공한다. 저자들은 CASCADE가 탐지에 집중하고 있으며, 사후 정화(예: 모델 언러닝)는 향후 연구 과제로 남겨두고 있음을 강조한다. 이 방법은 대규모 멀티모달 사전 훈련에서 오염된 데이터를 식별하기 위한 강건하고 효율적이며 일반화 가능한 솔루션으로 제시된다.

논문의 이야기: 모달리티가 춤을 추지 못할 때

연구 결과

이것이 중요한 이유

유사한 논문