💻 computer science

Grad-ECLIP: Gradient-based Visual and Textual Explanations for CLIP

이 논문은 희소한 셀프 어텐션 맵 대신 토큰 특징에 대한 채널 및 공간 가중치를 활용하여 CLIP을 위한 고품질의 시각적 및 텍스트 설명을 생성함으로써, 모델의 매칭 메커니즘을 밝히고 미세 조정 과정에서 개선된 세밀한 정렬을 가능하게 하는 그래디언트 기반 방법인 Grad-ECLIP을 제안한다.

원저자: Chenyang Zhao, Kun Wang, Janet H. Hsiao, Antoni B. Chan

게시일 2026-08-19

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Chenyang Zhao, Kun Wang, Janet H. Hsiao, Antoni B. Chan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

현대 인공지능의 세계에는 시각-언어 모델(vision-language models)이라 불리는 일련의 시스템이 존재합니다. 이들은 방대한 양의 이미지와 그 이미지를 설명하는 텍텍스트를 학습하여, 강아지 사진이 '강아지'라는 단어와 어떻게 연관되는지를 이해하도록 훈련된 디지털 지성체입니다. 이들은 거대한 데이터베이스에서 특정 이미지를 찾아내거나 눈에 보이는 것에 대해 질문에 답할 수 있는 강력한 도구가 되었습니다. 그러나 이러한 시스템을 둘러싼 중요한 미스터리가 하나 있습니다. 바로 이들이 정답을 만들어내기는 하지만, 정작 어떤 이미지의 어느 부분이나 문장의 어떤 특정 단어가 그 결정을 이끌어내는지 아무도 진정으로 알지 못한다는 점입니다. 이는 마치 뛰어난 학생이 복잡한 수학 문제를 완벽하게 풀어내고 있음에도, 그 학생이 어떤 단계를 거쳐 그곳에 도달했는지는 볼 수 없는 것과 같습니다. 이러한 통찰력이 없다면, 시스템이 세상을 진정으로 이해하고 있는 것인지 아니면 단순히 숨겨진 패턴에 기반해 추측하고 있는 것인지 알기 어렵습니다.

연구자들은 오랫동안 이 모델들이 무엇에 집중하고 있는지 들여다보기 위해 노력해 왔습니다. 어떤 방법들은 중요한 정보를 강조하도록 설계된 내부 '어텐션(attention)' 메커니즘을 살펴보지만, 이 특정 모델들에서 그러한 강조점은 종종 희소하고 혼란스러워 실제 대상이 아닌 무작위의 지점들을 가리키곤 합니다. 다른 접근 방식들은 이미지의 일부를 제거했을 때 답변이 얼마나 변하는지를 측정하려 하지만, 이러한 방법들은 속도가 느리거나 노이즈가 많고 불분명한 결과를 낳기도 합니다. 핵심적인 과제는 주어진 이미지와 문장에 대해 정확히 어떤 픽셀과 어떤 단어가 모델의 최종 결정에 가장 중요한지를 명확하게 보여주는 방법을 찾는 것이었습니다.

한 연구팀은 이 문제를 해결하기 위해 Grad-ECLIP이라는 새로운 방법을 도입했습니다. 모델의 내부 어텐션 맵에 의존하는 대신(이는 전체 그림을 보여주는 데 자주 실패합니다), 그들의 방식은 미세한 변화에 대해 최종 결과가 얼마나 민감하게 반응하는지를 측정함으로써 이미지의 모든 부분과 텍로의 모든 단어에 대한 중요도를 계산합니다. 모델의 결정을 섬세한 균형이라고 상상해 보십시오. 이 방법은 입력값의 각 부분을 부드럽게 건드려 보며 어떤 부분이 결과에 가장 큰 변화를 일으키는지 확인합니다. 만약 특정 픽셀 패치나 단어 하나를 제거했을 때 모델의 확신도가 크게 떨어진다면, 그 부분은 매우 중요한 것으로 표시됩니다. 이렇게 함으로써 연구자들은 이미지의 가장 관련 있는 영역 위로 빛나는 히트맵을 생성하고, 문장에서 가장 결정적인 단어들을 강조할 수 있습니다.

기존 기술들과 비교했을 때, 이 새로운 방법은 훨씬 더 정확하다는 것이 증명되었습니다. 시각적 테스트에서 기존 방법들은 종종 배경 소음이나 관련 없는 물체를 강조하곤 했지만, Grad-ECLIP은 일관되게 올바른 대상을 포착했습니다. 예를 들어, 프리스비를 가지고 노는 강아지 이미지를 "a dog is playing with frisbee"라는 문장과 매칭할 때, 이 방법은 배경은 무시하고 강아지와 프리스비를 정확하게 강조했습니다. 또한 'playing'이라는 단어가 강아지의 다리 동작에 해당하며, 'frisbee'가 공중에 떠 있는 물체와 일치한다는 것을 성공적으로 식별해 냈습니다. 정량적 테스트에서도 연구자들이 생성된 맵을 바탕으로 픽셀을 체계적으로 삭제하거나 추가했을 때, 이 새로운 방법은 다른 어떤 기술보다 모델의 성능을 더 급격하게 변화시켰으며, 이는 이 방법이 실제로 가장 중요한 정보를 식별하고 있음을 입증했습니다.

단순히 모델이 어떻게 작동하는지 보여주는 것을 넘어, 연구자들은 이 도구를 사용하여 모델이 실제로 어떻게 생각하는지를 밝혀냈습니다. 그들은 시스템이 복잡한 구절을 개별 개념으로 분해한 다음 이를 결합하는 놀라운 능력을 갖추고 있다는 것을 발견했습니다. 만약 말(horse)의 사진을 보여주고 "young horse(어린 말)"에 대해 묻는다면, 모델은 말을 주목하면서도 더 어린 개체에 대한 주의력을 강화할 것입니다. 그러나 사진 속 말이 갈색인데 "white horse(흰 말)"에 대해 묻는다면, 모델은 색상을 거의 무시하고 말 자체에 집중할 것입니다. 이는 모델이 일치하지 않는 형용사를 결정적인 요소라기보다는 부차적인 세부 사항으로 취급한다는 것을 시사합니다. 이는 모델이 '왼쪽'이나 '오로른쪽' 같은 추상적인 비교보다는 구체적인 시각적 개념을 우선시하는 경향이 있음을 드러냈습니다.

또한 이 연구는 모델이 추상적인 단어보다 눈에 보이고 만질 수 있는 것들을 설명하는 구체적인 단어에 훨씬 더 높은 중요성을 부여한다는 것을 발견했습니다. 이러한 선호는 단순히 구체적인 단어들이 훈련 데이터에 더 자주 등장하기 때문이 아닙니다. 연구자들은 단어 빈도를 확인했으나 직접적인 연관성을 찾지 못했습니다. 대신, 모델은 구체적인 시각적 세부 사항이 이미지를 텍스트와 매칭하는 데 더 신뢰할 수 있다는 것을 학습한 것으로 보입니다. 이러한 통찰은 이 시스템들이 자신이 이전에 본 적 없는 새로운 것들을 인식할 때, 이미 마스터한 견고한 시각적 구성 요소들에 의존함으로써 왜 제로샷 학습(zero-shot learning)에 능숙한지를 설명해 줍니다.

궁극적으로, 이 연구는 복잡한 인공지능의 추론 과정에 대한 명확한 창을 제공합니다. 모델이 어디를 보고 무엇을 가치 있게 여기는지 보여줌으로써, 연구자들은 이러한 시스템을 블랙박스로 취급하는 단계를 넘어섰습니다. 이 새로운 방법은 과학자들이 어떤 특징이 결론을 이끌어냈는지 정확히 알 수 있게 함으로써, 모델의 결정에 더 자신 있게 신뢰를 가질 수 있도록 해줍니다. 또한 이는 공간적 관계와 같은 모델의 현재 한계를 부각하며, 향-후 개선을 위한 로드맵을 제시합니다. 이 도구와 함께, 더 신뢰할 수 있고 이해 가능한 인공지능을 구축하기 위한 길은 훨씬 더 명확해졌습니다.

Grad-ECLIP 기술 요약: CLIP을 위한 그래디언트 기반 시각 및 텍스트 설명

문제 정의
대조적 언어-이미지 사전 학습(Contrastive Language-Image Pre-training, CLIP)은 다운스트림 애플리케이션에서 상당한 성공을 거두었으나, 그 이미지-텍스트 매칭 메커니즘의 해석 가능성은 여전히 미개척 영역으로 남아 있습니다. 트랜스포머 기반 모델을 위한 기존 설명 방법들은 주로 셀프 어텐션 맵(self-attention maps)에 의존하는데, 이는 CLIP에서 매우 희소(sparse)하게 나타나 신뢰도가 낮고 시각화가 혼란스러운 경향이 있습니다. CLIPSurgery, MaskCLIP과 같은 유사도 맵(similarity-map) 방식의 다른 접근법들은 순전파(forward processing) 과정에만 의존하며, 실제 최종 예측에 사용되지 않은 특징들을 강조할 수 있다는 문제가 있습니다. 또한 Grad-CAM과 같은 그래디언트 기반 방식은 최종 패치 토큰이 매칭 점수 계산에 관여하지 않기 때문에 CLIP의 비전 트랜스포머(ViT) 레이어에 직접 적용할 때 어려움을 겪습니다. 따라서 이미지와 텍스트 입력 모두에 대해 고충실도(high-fidelity)의 결과 특화형 시각 및 텍스트 설명을 생성할 수 있도록 인코더 아키텍처를 효과적으로 분해하는 방법이 필요합니다.

방법론: Grad-ECLIP
저자들은 CLIP의 이중 인코더 아키텍처에 맞춤 설계된 그래디언트 기반 설명 방법인 Grad-ECLIP을 제안합니다. 이 방법은 일련의 근사 과정을 통해 최종 이미지-텍스트 유사도 점분과 중간 공간 특징 사이의 관계를 도출합니다.

분해 및 근사: 이 방법은 최종 이미지 특징 임베딩( $F_I$ )을 각 트랜스포머 레이어의 특징들의 집합으로 근사합니다. 나아가 매칭 점수를 어텐션 레이어 출력( $o_{cls}$ ) 내 채널 특징들의 가중 합으로 근사합니다.
그래디언트 기반 채널 가중치: 특징 채널의 중요도를 결정하기 위해, 어텐션 레이어 출력( $o_{cls}$ )에 대한 이미지-텍스트 매칭 점수의 그래디언트를 계산합니다. 이 그래디언트는 채널 가중치( $w_c$ ) 역할을 합니다.
완화된 공간 가중치(Loosened Spatial Weights): 표준 소프트맥스 어텐션 맵은 공간적 중요성을 표현하기에 너무 희소하다는 점을 인식하여, 저자들은 "완화된" 어텐션 맵을 제안합니다. 엄격한 소프트맥스 출력을 사용하는 대신, 쿼리( $q_{cls}$ )와 키( $k_i^T$ ) 사이의 유사도 점수에 0-1 정규화를 적용하여 공간 가중치( $\lambda_i$ )를 생성합니다. 이를 통해 단일 활성화 토큰뿐만 아니라 더 넓은 범위의 영역을 반영할 수 있습니다.
히트 맵 생성: 최종 설명 맵은 채널 중요도( $w_c$ )와 완화된 공간 중요도( $\lambda_i$ )에 의해 가중치가 부여된 어텐션 레이어의 밸류 특징( $v_i$ )을 집계하여 생성됩니다. 점수에 긍정적인 영향을 주는 특징에 집중하기 위해 ReLU 함수가 적용됩니다.
적용 가능성: 동일한 프레임워크가 텍스트 인코더( [eos] 토큰 사용)에도 적용되어, 문장 내 특정 단어가 이미지와 관련하여 갖는 중요도를 강조하는 텍스트 설명을 생성합니다. 이 방법은 ViT 기반 및 CNN 기반(어텐션 풀링을 사용하는 ResNet) CLIP 아키텍처 모두에 적용 가능합니다.

주요 기여

새로운 설명 프레임워크: 본 논문은 CLIP 모델의 이미지 영역과 텍스트 단어 모두에 대해 고품질의 결과 특화형 히트 맵을 생성하는 그래디언트 기반 접근 방식인 Grad-ECLIP을 소개합니다.
최신 기술 대비 우수성: 종합적인 정성적 및 정량적 평가를 통해, Grad-ECLIP이 충실도(faithfulness) 측면에서 기존의 트랜스포머 해석 방법(예: Rollot, GAME) 및 CLIP 특화 방법(예: CLIPSurgery, MaskCLIP, M2IB)보다 뛰어남을 입증했습니다.
일반화 능력: 이 방법은 다양한 데이터셋(ImageNet, MS COCO, Conceptual Captions, 의료 X-ray)과 다양한 도메인(스케치, 적대적 예제)에서 검증되었습니다. 또한 ViT 분류기 및 BLIP을 포함한 다른 트랜스포머 기반 모델과 CNN 기반 CLIP 변형에도 적용 가능함이 입증되었습니다.
CLIP 메커니즘에 대한 통찰: 저자들은 Grad-ECLIP을 사용하여 CLIP의 내부 작동 방식을 분석하였으며, 다음과 같은 사실을 밝혀냈습니다:
- 개념 분해 및 가산성(Addibility): CLIP은 구절을 단일한 단위로 취급하기보다 개별 단어로 분해하고 그 기여도를 더함으로써 구절을 처리합니다.
- 속성 식별: CLIP은 색상이나 모양과 같은 구체적인 속성을 식별하는 데 강한 능력을 보이지만, 비교적 속성(크기, 위치)이나 추상적 개념에는 어려움을 겪습니다.
- 구체성 편향(Concreteness Bias): 단어 빈도를 통제하더라도, 단어의 구체성과 CLIP의 매칭 과정에서의 중요도 사이에는 유의미한 양의 상관관계가 존재합니다.

실험 결과

정량적 평가: Grad-E밀한 Grad-ECLIP은 ImageNet 분류 및 MS COCO 검색 작업 모두에서 가장 높은 삽입-삭제(IMD) 점수를 달성하였으며, 이는 강조된 영역이 모델의 예측에 가장 결정적임을 나타냅니다. 삭제 및 삽입 지표에서 베이스라인을 크게 앞질렀습니다 ( $p < .001$ ).
지역화(Localization): 포인트 게임(Point Game) 및 세그멘테이션 테스트에서 Grad-ECLIP은 경쟁 방법들보다 더 높은 정밀도로 객체 영역을 정확히 식별하며 우수한 지역화 성능을 보여주었습니다.
사용자 연구: 34명의 참가자를 대상으로 한 사용자 연구 결과, Grad-ECLIP 설명을 제공했을 때 사용자가 CLIP의 매칭 점수를 예측하는 능력(정확도가 67.6%에서 80.0%로 증가)이 유의미하게 향 향상되었으며, 이는 방법의 신뢰성과 해석 가능성을 입증합니다.
효율성: 이 방법은 계산 효율성이 뛰어나 처리 시간이 Grad-CAM 및 원시 어텐션(raw attention)과 유사한 수준이며, RISE와 같은 섭동 기반(perturbation-based) 방법보다 훨씬 빠릅니다.

의의 및 주장
본 논문은 Grad-ECLIP이 CLIP의 "블랙박스" 특성을 이해하기 위한 강력한 도구를 제공한다고 주장합니다. CLIP이 구체적인 시각적 개념에 크게 의존하고 구절을 가산적으로 분해한다는 점을 밝힘으로써, 이 방법은 개발자와 연구자들에게 모델의 강점과 한계에 대한 통찰을 제공합니다. 저자들은 이러한 발견이 시각-언어 모델(VLM) 및 그 다운스트림 애플리케이션의 개선을 가이드할 수 있다고 제안합니다. 또한, Grad-ECLIP을 사용하여 영역-구절 쌍(region-phrase pairs)을 생성하고 이를 통해 CLIP을 미세 조정하여 세밀한 이해도를 높이는 실질적인 응용 사례를 보여주었으며, 이는 제로샷 영역 분류 및 오픈 보캐블러리 탐지에서 효과적임을 입증했습니다. 이 연구는 더욱 투명하고 해석 가능한 멀티모달 AI 시스템을 향한 단계로 자리매김하고 있습니다.

유사한 논문