💻 computer science

Sparse Attention for Dense Open-Vocabulary Prediction in CLIP

본 논문은 CLIP의 최종 시각적 셀프 어텐션 레이어에 있는 표준 소프트맥스를 희소 $\alpha$ -entmax 변환으로 교체하여 무관한 토큰으로부터 발생하는 노이즈를 제거함으로써, 시맨틱 세그멘테이션 및 미세 입자 수준의 오픈 보캐블러리 검색과 같은 조밀한 오픈 보캐블러리 예측 작업에서 성능을 유의미하게 향상시킬 것을 제안한다.

원저자: Fatimah Zohra, Chen Zhao, Shuming Liu, Bernard Ghanem

게시일 2026-07-09

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Fatimah Zohra, Chen Zhao, Shuming Liu, Bernard Ghanem

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

개요: "지나치게 열정적인" AI

매우 똑똑한 AI 비서(이름은 CLIP)가 있다고 상상해 보세요. 이 비서는 수백만 권의 책을 읽었고 수백만 장의 사진을 보았습니다. 이 비서는 이미지의 전반적인 "분위기"를 이해하는 데 매우 뛰어납니다. 만약 당신이 말의 사진을 보여준다면, 이 비서는 "아, 이것은 말이다!"라고 알아차릴 것입니다.

하지만 이 논문은 한 가지 구체적인 문제를 지적합니다. CLIP은 너무 친절하다는 점입니다.

AI가 특정 세부 사항(예: "말의 발굽은 정확히 어디에 있는가?")을 찾으려고 할 때, AI는 이미지의 모든 부분에 동시에 주의를 기울이려고 합니다. 이는 마치 시험을 치르는 학생이 특정 질문에 집중하는 대신, 교과서에 있는 모든 단어를 동시에 읽으려고 노력하는 것과 같습니다. 그 결과는 어떨까요? 중요한 세부 사항들이 배경 소음(하늘, 풀, 또는 기수 등)이라는 바다에 휩쓸려 버립니다.

문제점: "Softmax"라는 인원 통제

AI의 두뇌 속에는 Softmax라는 메커니즘이 있습니다. Softmax를 이미지의 모든 부분에 "주의력 포인트"(예: 100달러의 예산)를 배분하도록 강요하는 엄격한 선생님이라고 생각해 보세요.

문제: 이미지의 한 부분이 그저 흐릿한 파란 하늘일지라도, 선생님은 "너는 적어도 1센트의 주의력은 주어야 해"라고 말합니다.
결가: AI의 집중력은 "확산"됩니다. AI는 돈을 너무 얇게 넓게 펼쳐버린 나머지, 말의 발굽에 제대로 집중할 여력이 없어집니다. 신호가 노이즈 속에 사라져 버리는 것입니다.

해결책: "Entmax" 필터

저자들은 그 엄격한 선생님(Softmax)을 $\alpha$ -entmax(또는 그냥 Entmax)라는 새로운 선생님으로 교체할 것을 제안합니다.

Entmax를 스마트한 경호원이나 노이즈 캔슬링 헤드폰이라고 생각하세요.

Entmax는 AI에게 모든 것에 주의를 기울이라고 강요하는 대신, 집중해야 할 목록을 살펴봅니다.
그리고 이렇게 말합니다. "좋아, 이 파란 하늘 조각은 점수가 매우 낮네. 중요하지 않아. 주의력 0."
이를 통해 중요도가 낮은 항목들의 "꼬리" 부분을 완전히 잘라냅니다.
그런 다음, 배경에 낭비되었던 모든 주의력 포인트를 실제로 중요한 것들(말)에게 다시 배분합니다.

마법 같은 점: 이 과정은 자동으로 일어납니다. AI를 새로 학습시키거나 새로운 레슨을 가르칠 필요가 없습니다. 우리는 단지 AI가 생각을 마치는 마지막 단계에서 주의를 기울이는 규칙(rulebook)을 바꾸기만 하면 됩니다.

비유: "북적이는 방" vs "조용한 도서관"

기존 방식 (Softmax): 북적이는 방 안에서 친구의 말을 들으려고 노력하는 상황을 상장해 보세요. 모두가 떠들고 있고 방 안이 너무 시끄러워서 친구의 목소리를 명확하게 들을 수 없습니다. 당신은 모든 사람의 말에 귀를 기울이려다 보니 결국 아무것도 제대로 듣지 못하게 됩니다.
새로운 방식 (Entmax): 이제, 당신의 친구가 아닌 사람들을 즉시 침묵시키는 필터가 있다고 상상해 보세요. 갑자기 방이 조용해지고 친구의 목소리가 아주 선명하게 들립니다. 당신은 친구를 바꾼 것이 아니라, 단지 배경 소음을 제거했을 뿐입니다.

무엇을 발견했나요?

연구진은 이 기술을 두 가지 주요 작업에 테스트했습니다:

픽셀 단위 채색 (Segmentation): 사진 속에서 물체가 정확히 어디에 있는지 색칠하는 작업.
세밀한 탐색 (Fine-Grained Searching): 아주 작은 디테일을 바탕으로 특정 물체를 찾는 작업 (예: "갈색 말" vs "빨간색 말").

결과:

AI가 혼란스러워할 때 가장 효과적입니다: 만약 AI가 이미 주의력을 사방팔방으로 흩뿌리고 있었다면(마치 지저한 방처럼), Entmax는 이를 아름답게 정리하여 AI가 물체를 훨씬 더 잘 찾도록 만들었습니다.
AI가 이미 집중하고 있다면 도움이 되지 않습니다: 만약 AI가 이미 올바른 지점을 보고 있었다면, 이를 더 "희소하게(sparse)" 만드는 것은 큰 도움이 되지 않았습니다.
클수록 좋습니다: 이미지가 더 상세할수록(고해 resolution), "노이즈"도 더 많아집니다. Entmax는 잘라내야 할 노이즈가 더 많은 고해상도 이미지에서 가장 빛을 발합니다.

"자기 상관(Self-Correlation)"이라는 반전

논문은 또한 영리한 트릭을 시도했습니다. AI에게 "이 조각이 다른 모든 것과 비교했을 때 어떻게 보이는가?"라고 묻는 대신(이것이 노이즈를 유발합니다), "이 조각이 자기 자신 및 주변 이웃들과 비교했을 때 어떻게 보이는가?"라고 물었습니다.

이 "자기 집중적"인 관점을 새로운 "Entmax" 필터와 결합했을 때, 결과는 더욱 좋아졌습니다. 이는 마치 AI에게 이렇게 말하는 것과 같습니다. "전체 군중을 보지 말고, 너의 그룹만 봐. 그리고 나머지는 무시해."

요약

이 논문은 **적은 것이 더 많은 것(less is more)**임을 보여줍니다. AI가 이미지의 무관한 배경 소음을 무시하고 가장 중요한 부분에만 집중하도록 강제함으로써, AI를 새로 학습시키거나 뇌에 새로운 부품을 추가하지 않고도, 특정 물체를 찾거나 정밀한 윤곽을 그리는 것과 같은 세밀한 작업을 훨씬 더 잘 수행하게 만들 수 있습니다. 그들은 단지 "볼륨 조절 노브"를 돌려 정적(static)을 줄였을 뿐입니다.

기술 요약: CLIP의 조밀한 개방형 어휘 예측을 위한 희소 어텐션 (Sparse Attention)

문제 정의

대조 학습 기반의 언어-이미지 사전 학습(Contrastive Language–Image Pre-training, CLIP)과 그 대규모 변형 모델들(예: EVA-CLIP, SigLIP)은 전역적인 이미지 수준의 의미론적 파악에는 탁월합니다. 그러나 세만틱 세그멘테이션(semantic segmentation)이나 미세한 영역 검색(fine-grained region retrieval)과 같은 조밀한 예측(dense prediction) 작업에 적용될 때는 공간적 국소화(spatial localization) 능력이 떨어지는 문제를 겪습니다. 핵심 문제는 시각 인코더의 마지막 레이어에서 사용되는 조밀한 소프트맥스 기반 셀프 어텐션(dense softmax-based self-attention) 메커로리즘에 있습니다.

소프트맥스는 모든 토큰 쌍에 대해 엄격히 양수인 확률 질량을 할당하며, 여기에는 의미론적으로 무관한 배경 토큰도 포함됩니다. 이는 사전 학습 과정에서 광범위한 컨텍스트를 수집하는 데는 효과적이지만, 이러한 "조밀한" 분포는 저채도(low-salience) 토큰들로 어텐션을 분산시켜, 픽셀 단위 또는 영역 단위 작업에 필요한 미세하고 공간적으로 국소화된 단서들을 가리는 노이즈를 생성합니다. 어텐션의 소스(예: 쿼리-키($QK $)에서 자기 상관 관계인$ Q-Q $또는$ V-V$로 전환)를 수정하는 기존의 학습 불필요(training-free) 방식들은 국소화 성능을 개선하지만, 모든 토큰에 전역적으로 질량을 퍼뜨리는 **소프트맥스 정규화 함수(softmax normalizer)**의 근본적인 역할은 해결하지 못합니다.

방법론

저자들은 고정된(frozen) CLIP 인코더의 마지막 시각적 셀프 어텐션 레이어에 있는 행 단위 소프트맥스 정규화 함수를 $\alpha$ -entmax 변환으로 교체하는 학습 불필요, 추론 시 대체(training-free, inference-time substitution) 방식을 제안합니다.

$\alpha$ -entmax 변환

샤논 엔트로피(Shannon-entropy) 정규화 목적 함수의 해인 소프트맥스와 달리, $\alpha$ -entmax는 Tsallis $\alpha$ -엔트로피 정규화( $\alpha \in (1, 2]$ )로부터 유도되었습니다.

메커니즘: 이 방식은 어텐션 점수에 데이터 의존적 임계값 $\tau$ 를 적용합니다. 이 임계값보다 낮은 점수는 정확히 0으로 매핑되며, 남은 점수들은 합이 1이 되도록 재정규화됩니다.
효과: 이는 암시적인 디노이저(denoiser) 역할을 하여, 맥락상 무관한 의존성(즉, 낮은 관련성을 가진 "롱 테일" 배경 토큰들)을 제거하고, 가장 관련성이 높은 토큰들로 확률 질량을 재분배합니다.
파라미터: 이 방법은 학습 가능한 파라미터를 도입하지 않으며, 모델의 아키텍처와 사전 학습된 가중치를 그대로 유지합니다. 또한 $\alpha \to 1$ 일 때 소프트맥스로 부드럽게 일반화됩니다.

실험 설정

본 연구는 두 가지 주요 작업에 대해 이 대체 방식을 평가합니다:

조밀한 세만틱 세그멘테이션 (Dense Semantic Segmentation): Pascal VOC, Pascal Context, ADE20K에 대한 픽셀 수준 예측.
미세한 개방형 어휘 탐지 (Fine-Grained Open-Vocabulary Detection, FG-OVD): 속성 식별(색상, 재질, 패턴)에 초점을 맞춘 영역 수준 인식.

저자들은 다양한 어텐션 점수 소스를 테스트합니다:

표준 ( $QK^\top$ ): 네이티브 쿼리-키 어텐션.
자기 상관 관계 ( $SS^\top$ ): 쿼리-키 곱을 $Q, K, V$ 투영의 자기 곱(예: $Q-Q, K-K, V-V$ 및 이들의 조합)으로 교체.

실험은 고정된 CLIP ViT-B/16 및 ViT-L/14 백본을 대상으로 수행됩니다.

주요 기여

학습 불필요 희소화 (Training-Free Sparsification): 본 논문은 모델의 아키텍처나 가중치를 수정하지 않고, 고정된 CLIP 인코더의 마지막 레이어에서 소프트맥스를 entmax로 교체하는 것을 경험적으로 평가함으로써, 어텐션 밀도를 단일 변수로 격리하여 분석했습니다.
어텐션 희소성 분석: 저자들은 핵심적인 발견을 제시합니다: 희소화로부터 얻는 성능 향상은 베이스라인 어텐션의 확산성(diffuseness)에 비례합니다.
- 베이스라인 어텐션이 이미 타겟 클래스에 집중되어 있다면, entmax는 큰 이득을 주지 못하거나 유용한 질량을 버림으로써 성능을 저하시킬 수 있습니다.
- 베이스라인 어텐션이 확산되어 있다면(즉, 비클래스 토큰으로 질량이 퍼져 있다면), entmax는 무관한 꼬리 부분을 제거함으로써 성능을 크게 향상시킵니다.
해상도 및 백본 스케일링: 연구는 입력 해상도가 높고 더 큰 백본(예: ViT-L/14)을 사용할수록 희소화의 이점이 증가함을 보여줍니다. 이는 토큰 수가 많아짐에 따라 entmax가 제거할 수 있는 "노이즈 꼬리"가 더 넓어지기 때문입니다.

결과

평가는 서로 다른 어텐션 분포에 따른 뚜렷한 동작을 보여줍니다:

자기 상관 관계 + Entmax: 자기 상관 관계 어텐션(예: $Q-Q, K-K, V-V$ $Q - Q, K - K, V - V$ )과 $\alpha$ $α$ -entmax의 결 조합은 일관되고 유의미한 이득을 창출합니다.
- ADE20K (ViT-B/16, $Q-Q$ )에서 mIoU는 5.69에서 12.90으로 향상되었습니다.
- FG-OVD (ViT-B/16, $Q-Q$ )에서 mHME는 9.96에서 17.50으로 향상되었습니다.
- 이 이득은 데이터셋과 모델 규모 전반에 걸쳐 단조 증가합니다.
표준 $QK$ 어텐션: entmax가 표준 $QK $어텐션을 개선하기는 하지만, 절대적인 점수는 자기 상관 방식보다 낮게 유지됩니다. 이는 표준$ QK$ 어텐션이 본질적으로 전역적으로 확산되어 있기 때문입니다. entmax는 이미 노이즈가 섞인 분포의 꼬리를 줄일 수는 있지만, 근본적인 그룹화 연산 자체가 국소화에는 최적화되어 있지 않습니다.
Value-Only ( $V-V$ ) 이상 현상: 더 작은 ViT-B/16 백본의 경우, $V-V$ 분포가 이미 관련 토큰에 질량을 잘 집중시키고 있습니다. 여기서 entmax를 적용하면 유용한 질량을 버리게 되어 성능이 저하됩니다 (예: VOC에서 -2.8 mIoU). 그러나 더 확산된 형태인 ViT-L/14에서는 $V-V$ 가 entmax의 혜택을 받는데, 이는 "확산성에 비례하는 이득" 가설을 뒷받침합니다.
해상도 스케일링: 해상도가 높아질수록 (224 $\to$ 448), 자기 상관 분포에서 소프트맥스와 entmax 사이의 격차는 단조롭게 벌어집니다. 이는 토큰 수의 증가가 entmax가 제거할 수 있는 노이즈 꼬리를 확장시키기 때문입니다.

의의 및 주장

본 논문은 어텐션 희소성(attention sparsity)이 CLIP의 조밀한 예측 한계를 해결하는 데 있어 중요하지만 크게 간과되어 온 요소라고 주장합니다.

디노이징 vs. 희소화: 저자들은 이 이득이 단순히 분포를 희소하게 만드는 것에서 오는 것이 아니라, **컨텐츠 인지적 노이즈 제거(content-aware noise removal)**에서 온다는 점을 강조합니다. 동일한 희소도를 가진 무작위 마스크는 유사한 이득을 주지 못하며, entmax의 특정 데이터 의존적 임계값이 무관한 토큰을 식별하고 제거하는 데 결정적인 역할을 합니다.
변수의 분리: 아키텍처를 고정한 채 정규화 함수만 변경함으로써, 본 연구는 점수의 소스(예: $QK$ vs $VV$)와 정규화 함수(softmax vs entmax)의 효과를 분리했습니다. 이는 자기 상관 관계가 국소화를 개선하지만, 소프트맥스 정규화 함수는 여전히 질량을 전역적으로 퍼뜨리며, 국소화된 특징의 잠재력을 완전히 실현하기 위해서는 entmax가 필요하다는 점을 명확히 합니다.
제한된 범위: 저자들은 이 작업을 새로운 SOTA(State-of-the-Art) 훈련 파이프라인을 제안하는 것이 아니라, 체계적인 분석으로 규정합니다. 이 방법은 엄격하게 추론 시 적용되는 학습 불필요 방식이며, 새로운 학습 패러다임을 제안하기보다는 왜 그리고 어디에서 어텐션 희소화가 도움이 되는지를 설명하기 위해 설계되었습니다.