💻 computer science

Fine-grained CLIP fine-tuning with self-annotated region alignment

이 논문은 추가적인 영역 주석(region annotation) 없이도 모델의 기존 전역적 시각-의미론적 능력을 보존하면서, 런타임 영역-구절 정렬(run-time region-phrase alignment) 기법을 통해 오직 이미지-텍스트 쌍만을 사용하여 CLIP의 세밀한 밀집 특징 표현을 향상시키는 미세 조정 방법인 SFF-CLIP을 제안한다.

원저자: Chenyang Zhao, Wei Lin, Antoni B. Chan, Janet H. Hsiao

게시일 2026-07-16

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Chenyang Zhao, Wei Lin, Antoni B. Chan, Janet H. Hsiao

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 수백만 장의 사진과 그 캡션을 보여주며 세상을 이해하도록 가르치고 있다고 상상해 보세요. 이것이 바로 컴퓨터가 보는 것과 읽는 것을 연결하는 법을 배우는 인공지능의 한 분야인 **시각-언어 모델(Vision-Language Models)**의 세계입니다. 이 분야의 슈퍼스타는 CLIP이라 불리는 모델입니다. CLIP을 도서관의 모든 책을 읽고 모든 사진을 본 매우 똑똑한 학생이라고 생각해보세요. CLIP은 전체 이미지를 보고 "네, 저것은 개입니다"라고 말하거나, 사진을 "공원에서 놀고 있는 개"라는 문장과 매칭하는 데 매우 뛰어납니다. 이는 사진의 주요 피사체를 인식하는 것과 같은 큰 그림을 보는 데 탁월합니다.

하지만 함정이 있습니다. CLIP은 전체 이미지를 하나의 문장과 매칭하도록 훈련되었기 때문에, 때때로 세부 사항에 대해서는 다소 모호해질 수 있습니다. 만약 당신이 북적이는 놀이터 사진에서 "빨간 공"이 정확히 어디에 있는지 지목하라고 하거나, 나란히 서 있는 "갈색 개"와 "검은 개"를 구분하라고 한다면, CLIP은 어려움을 겪을 수 있습니다. CLIP은 전체 장면은 보지만 특정 지점은 놓치곤 합니다. 이는 자율주행 자동차가 보행자를 포착하거나 의료 소프트웨어가 아주 작은 종양을 찾아내는 것과 같은 많은 현실 세계의 작업들이 레이저처럼 정밀하고 미세한 주의력이 필요하기 때문에 발생하는 문제입니다. 과학자들의 큰 질문은 이것입니다: 어떻게 하면 이 매우 똑똑한 로봇이 전체적인 그림을 보는 법을 잊지 않으면서도, 아주 작은 세부 사항에 집중하도록 가르칠 수 있을까?

여기에 우리 로봇 학생을 위한 영리한 학습 해킹법인 SFF-CLIP이라는 새로운 방법이 등장했습니다. SFF-CLIP은 모든 사진 속의 모든 물체에 박스를 그리도록 인간 교사 팀을 고용하는 대신(이는 느리고 비용이 많이 들며 로봇이 배울 수 있는 범위를 제한합니다), 로봇이 스스로를 가르치도록 가르칩니다. 이는 "자기 주석(self-annotation)" 기술을 사용합니다. 로봇이 "교통 신호를 기다리는 검은 차 안에 있는 개"와 같은 문장을 읽고 있다고 상상해 보세요. 인간이 "여기가 개이고, 여기가 차다"라고 말해줄 필요 없이, 로봇은 특수한 스포트라이트 도구(히트맵이라고 불리는)를 사용하여 "좋아, '개'라는 단어는 아마 이미지의 이 부분을 밝힐 것이고, '교통 신호'는 저 부분을 밝힐 거야"라고 파악합니다. 그런 다음 로봇은 그 특정하게 빛나는 지점들을 단어들과 매칭하는 연습을 합니다.

이 논문은 이 자기 학습 방법이 놀라울 정도로 잘 작동한다는 것을 밝혀냈습니다. 이 "스포트라이트" 기술을 사용함으로써, 로봇은 이전보다 훨씬 더 잘 특정 물체와 영역을 식별하는 법을 배우며, 심지어 비싼 사전 제작 라벨에 의존했던 다른 방법들을 능가했습니다. 하지만 가장 멋진 부분은 이것입니다. 로봇이 세부 사항을 포착하는 데 더 능숙해지는 동안에도, 전체 장면을 인식하는 법을 잊지 않는다는 것입니다. 로봇은 전체적인 그림을 이해하는 원래의 초능력을 온전히 유지합니다. 연구진은 로봇이 한 번도 본 적 없는 이미지에서 물체를 찾는 것과 같은 다양한 작업들을 통해 이를 입증했으며, 새로운 방법이 기존의 방식들보다 일관되게 우수한 성능을 보였습니다. 또한 연구진은 로봇이 혼란을 겪거나 원래의 기술을 잊어버리는지 확인했는데, 그렇지 않았습니다.

요약하자면, SFF-CLIP은 강력한 AI의 시각을 업그레이드하여, 인간이 먼저 지도를 그려주는 방대한 팀을 고용하지 않고도 나무와 숲을 모두 볼 수 있게 만드는 방법입니다. 이는 AI가 자신의 내부 도구를 사용하여 세부 사항을 찾도록 함으로써, 시간과 자원을 절약하면서도 AI를 더 똑똑하고 다재다능하게 만들 수 있음을 시사합니다. 결과는 측정되고 테스트되었으며, 모델이 이미지의 미세한 세부 사항을 이해하는 능력이 명확하게 향상되었음을 보여줍니다. 이는 날카로운 집중력으로 세상을 보아야 하는 AI를 향한 유망한 진전입니다.

기술 요약: SFF-CLIP (Self-annotated Fine-grained Fine-tuning for CLIP)

문제 정의

대조적 언어-이미지 사전 학습(Contrastive Language-Image Pre-training, CLIP)은 분류 및 검색과 같은 이미지 수준의 태스크를 위한 기초적인 시각-언어 모델(VLM)로서 입지를 구축했습니다. 그러나 CLIP은 세밀한 밀집 특징 표현(fine-grained dense feature representation) 측면에서 상당한 한계를 보입니다. 이는 사전 학습이 전체 이미지(via [cls] 토큰)를 텍스트 설명과 매칭하는 데 집중되어 있기 때문에, 모델이 밀집된 시각적 특징으로부터 의미 있는 영역 수준의 표현을 추출하는 데 어려움을 겪기 때문입니다. 이러한 결함은 개방형 어휘 객체 탐지(open-vocabulary object detection) 및 시맨틱 세그멘테이션(semantic segmentation)과 같이 영역 인식이 필요한 다운스트림 태스크의 성능을 저해합니다.

세밀한 정렬을 위해 CLIP을 미세 조정하려는 기존의 시도들은 다음과 같은 결정적인 단점을 가집니다:

외부 주석에 대한 의존성: 많은 방법(예: RegionCLIP, FineCLIP)은 사전에 정의된 카테고리, 외부 검출기가 생성한 영역 제안(region proposals), 또는 수동으로 주석을 달은 영역 설명이 필요합니다. 이는 의미적 다양성을 제한하며, 데이터 준비를 위한 막대한 계산 및 노동 비용을 발생시킵니다.
전역 능력의 상실: 영역 지식에 과도하게 집중하는 방법들은 종-종 CLIP 본연의 전역적 시각-의미론적 일관성을 희생시켜, 이미지-텍스트 검색과 같은 이미지 수준 태스크에서의 성능 저하를 초래합니다.
비효율성: 증류(distillation)나 모자이킹(mosaicking)을 사용하는 접근 방식은 전처리를 위해 잘 훈련된 검출기를 필요로 하거나 텍스트 인코더를 충분히 활용하지 못하는 경우가 많습니다.

방법론: SFF-CLIP

저자들은 **오직 이미지-텍스트 쌍(image-text pairs)**만을 입력으로 사용하여 외부 영역 주석이나 검출기 없이도 세밀한 표현을 향상시키는 프레임워크인 SFF-CLIP(Self-annotated Fine-grained Fine-tuning for CLIP)을 제안합니다. 이 방법은 세 가지 핵심 구성 요소를 통해 영역 수준의 정렬과 전역 대조 학습을 통합합니다.

1. 런타임 자기 주석 체계 (Run-Time Self-Annotation Scheme)

오프라인 준비 과정 대신, SFF-CLIP은 훈련 중에 동적으로 영역-구절(region-phrase) 쌍을 생성합니다:

구절 추출 (Phrase Extraction): 입력된 캡션은 자연어 처리 툴킷(NLTK)을 사용하여 객체 개념(예: "black car"와 같은 "형용사 + 명사" 패턴)을 추출하도록 파싱됩니다.
텍스트 특화 히트맵 (Text-Specific Heat Maps): 추출된 각 구절에 대해, 모델은 ViT 기반 VLM을 위해 적응된 그래디언트 기반 시각적 설명 방법인 Grad-ECLIP을 사용하여 공간적 중요도 히트맵을 생성합니다. 이 히트맵은 이미지의 어떤 공간 영역이 특정 구절과 가장 관련이 있는지를 식별합니다.
영역 특징 집계 (Region Feature Aggregation): ViT 인코더에서 추출된 밀집 특징 맵( $F_d$ )은 히트맵에 의해 가중치가 부여되어 각 구절에 대한 특정 영역 임베딩( $F_r$ )을 생성합니다.

2. 세밀한 매칭 손실 (Fine-Grained Matching Loss)

모델은 생성된 영역 임베딩( $F_r$ )을 그에 대응하는 구절 텍스트 임베딩( $F_p$ )과 정렬합니다.

가중치 적용 손실 (Weighted Loss): 구절의 히트맵에서 최대 응답 값으로 정의되는 구절 매칭 가중치( $w_t$ )가 손실 함수에 적용됩니다. 이는 이미지와 시각적으로 일치하지 않는 구절(예: 자동차 사진 속의 "dinner"와 같은 추상적인 명사)의 가중치를 낮추어, 정렬되지 않은 쌍으로부터 발생하는 노이즈를 줄입니다.
목표 (Objective): 손실 함수는 매칭된 영역-구절 쌍 사이의 거리를 최소화하는 동시에, 매칭되지 않은 쌍은 분리합니다.

3. 모멘텀을 이용한 전역 대조 학습 (Global Contrastive Learning with Momentum)

원래 CLIP의 전역 표현 능력을 보존하기 위해, 훈련 목적 함수에는 전체 이미지-텍스트 쌍에 대한 가중 대조 손실이 포함됩니다.

모멘텀 모델 (Momentum Model): 원래의 CLIP에서 초기화되고 낮은 모멘텀 비율( $\alpha = 0.005$ )로 업데이트되는 모멘텀 모델( $\hat{M}$ )이 이미지 및 텍스트 임베딩을 추출합니다.
가중 샘플링 (Weighted Sampling): 모멘텀 모델로부터 얻은 유사도 점수는 대조 손실을 계산하는 데 사용되며, 이를 통해 모델이 잘 매칭된 이미지-텍스트 쌍에 집중하고 전역적 일관성을 유지하도록 합니다.

최종 손실은 세밀한 매칭 손실과 가중 전역 대조 손실의 합입니다.

주요 기여

자기 주석 정렬 전략: 입력 이미지-텍스트 쌍으로부터 직접 영역 지식을 생성하는 새로운 런타임 체계를 통해, 사전에 정의된 카테고리, 외부 검출기, 또는 수동 영역 주석의 필요성을 제거했습니다.
전역 능력의 보존: 이전의 미세 조정 방법들이 흔히 잃어버렸던 균형인, 영역 인식을 높이면서도 CLIP의 전역적 시각-의미론적 일관성을 성공적으로 유지했습니다.
효율성 및 유연성: 영역 제안 및 설명 생성에 드는 자원 집약적인 준비 과정을 제거하여, 이 방법이 모든 이미지-텍스트 데이터셋에 확장 가능하고 적용 가능하게 만들었습니다.
최첨단 성능 (State-of-the-Art Performance): 밀집 예측 태스크와 이미지 수준 태스크 모두에서 기존 방법들보다 유의미한 성능 향상을 입증했습니다.

실험 결과

저자들은 MS COCO, ADE20K, Flickr30K 데이터셋을 사용하여 ViT-B/16 및 ViT-L/14 아키텍처에 대해 SFF-CLIP을 평가했습니다.

제로샷 영역 분류 (Zero-Shot Region Classification): SFF-CLIP은 ADE20K 및 COCO panoptic 데이터셋에서 베이스라인(CLIP, CLIP-g) 및 기타 미세 조정 방법들(RegionCLIP, CLIPSelf, FineCLIP, DenseVLM, CLIM)에 비해 우수한 Top-1 및 Top-5 평균 정확도를 달성했습니다. 특히, 광범위한 영역 주석을 요구하는 방법들보다 뛰어난 성능을 보였습니다.
개방형 어휘 객체 탐지 (OVD): OV-COCO 벤치마크에서 SFF-CLIP은 **새로운 카테고리(novel categories)**에 대해 평균 정밀도(AP)를 크게 향상시켰습니다 (ViT-L/14 베이스라인 대비 +9.1%). 이는 미처 보지 못한 개념에 대한 향상된 일반화 능력을 입증합니다.
개방형 어휘 시맨틱 세그멘테이션 (Open-Vocabulary Semantic Segmentation): ADE20K, Pascal VOC, Pascal Context에서 SFF-CLIP은 비교된 모든 방법 중 가장 높은 평균 IoU(mIoU)와 픽셀 정확도(pACC)를 달성했습니다.
이미지 수준 표현 (Image-Level Representation): 다른 세밀한 방법들이 이미지-텍스트 검색 성능을 저하시킨 것과 달리, SFF-CLIP은 Flickr30K 데이터셋에서 CLIP-g 베이스라인과 대등한 수준으로 Recall@K를 유지하거나 약간 향상시켰습니다.
절제 연구 (Ablation Studies):
- 구절 매칭 가중치( $w_t$ )를 제거했을 때 성능이 크게 하락하여, 매칭되지 않는 구절을 필터링하는 것의 필요성을 확인했습니다.
- 모멘텀 모델을 사용하는 것이 전역 검색 성능을 유지하는 데 결정적이었습니다.
- 훈련 데이터가 100K에서 3M 샘플로 증가함에 따라 유망한 확장성을 보여주었습니다.

의의 및 주장

본 논문은 SFF-CLIP이 시각적 설명(XAI) 기술을 통한 자기 주석을 활용함으로써, 영역 주석의 "데이터 병목 현상"과 사전 정의된 리스트의 "카테고리 병목 현상"을 우회하여 시각-언어 모델의 세밀한 밀집 표현을 개선하는 유연하고 효과적인 솔루션을 제공한다고 주장합니다.

저자들은 이 접근 방식이 CLIP의 근간이 되는 전역 이미지-텍스트 매칭 능력을 해치지 않으면서도, 정밀한 공간 이해가 필요한 시나리오에서 강력한 ViT 기반 CLIP 인코더를 효과적으로 활용할 수 있게 한다고 강조합니다. 이는 표준 사전 학습에 사용되는 풍부하고 쉽게 접근 가능한 이미지-텍스트 쌍만을 활용하면서도, 정밀한 밀집 예측 태스크(탐지 및 세그멘테이션)를 위한 광범위한 적용을 가능하게 합니다.