CLIP-driven Zero-shot Learning with Ambiguous Labels

이 논문은 실제 환경에서 발생하는 라벨의 불확실성을 해결하기 위해 CLIP 기반의 특징 추출, 의미적 마이닝, 그리고 점진적으로 정제되는 부분 라벨 손실 함수를 통합한 새로운 제로샷 학습 프레임워크인 CLIP-PZSL 을 제안하고 그 유효성을 실험을 통해 입증합니다.

핵심

이 논문은 인공지능 (AI) 이 새로운 사물을 배울 때 겪는 '혼란스러운 이름표' 문제를 해결하는 새로운 방법을 소개합니다.

기존의 AI 학습 방식은 마치 **"정확한 이름표가 붙은 교재"**로 공부하는 것과 비슷합니다. 하지만 현실 세계에서는 데이터에 오타가 있거나, **"이건 개일 수도 있고, 늑대일 수도 있어"**라고 여러 개의 이름표가 동시에 붙어있는 경우가 많습니다. 이렇게 이름표가 애매모호할 때 AI 는 헷갈려서 엉뚱한 것을 배우게 됩니다.

이 논문은 이런 '애매한 이름표 (Ambiguous Labels)' 상황에서도 AI 가 새로운 사물을 잘 알아볼 수 있도록 도와주는 **'CLIP-PZSL'**이라는 새로운 시스템을 제안합니다.

핵심 내용을 세 가지 비유로 설명해 드릴게요.

---

1. 문제 상황: "누가 진짜 주인일까?" (혼란스러운 교실)

상상해 보세요. 교실에 강아지, 늑대, 여우 사진이 걸려 있는데, 선생님 (데이터) 이 **"이건 강아지일 수도 있고, 늑대일 수도 있어"**라고 여러 개의 이름표를 동시에 붙여줬다고 칩시다.

• 기존 AI: "아, 강아지라고 적혀 있으니 강아지겠지!"라고 무조건 믿고 배웁니다. 하지만 나중에 진짜 늑대가 나오면 "이건 강아지가 아니야!"라고 틀리게 답합니다.
• 이 논문의 목표: 여러 개의 이름표 중에서 **"진짜 정답은 무엇일까?"**를 스스로 찾아내고, 그 정답을 바탕으로 새로운 사물 (예: 본 적 없는 동물) 도 알아보는 능력을 기르는 것입니다.

2. 해결책 1: "명품 감별사" (CLIP 과 의미 채굴 블록)

이 시스템은 CLIP이라는 거대한 AI 모델을 사용합니다. CLIP 은 수억 장의 사진과 글귀를 함께 공부해서, "사진 속의 개"와 "개라는 글자"가 얼마나 닮았는지 아주 잘 아는 명품 감별사 같은 역할을 합니다.

하지만 이름표가 여러 개 붙어있으면 감별사도 헷갈립니다. 그래서 이 논문은 **'의미 채굴 블록 (Semantic Mining Block)'**이라는 새로운 장비를 추가했습니다.

• 비유: 이 장치는 마치 **"수사관"**과 같습니다.
  • 사진 (인스턴스) 과 여러 개의 이름표 (후보) 를 동시에 봅니다.
  • "이 사진과 '강아지'라는 이름표는 닮았지만, '늑대'라는 이름표와는 너무 멀어. 아, 그럼 '강아지'가 진짜일 확률이 높겠구나!"라고 유사도를 계산합니다.
  • 이렇게 가짜 이름표 (노이즈) 를 걸러내고, 진짜 정답에 가까운 이름표만 선별해냅니다.

3. 해결책 2: "점진적인 정답 찾기" (부분 제로샷 손실 함수)

가장 중요한 점은 이 시스템이 한 번에 정답을 맞히는 게 아니라, 공부할수록 정답을 찾아간다는 것입니다.

• 비유: 스무고개 게임을 생각해보세요.
  1. 처음엔 "강아지일 수도 있고, 늑대일 수도 있어"라고 막연하게 시작합니다.
  2. AI 가 사진을 보고 "아, 이건 강아지랑 더 비슷하네!"라고 추측을 합니다.
  3. 이 추측을 바탕으로 이름표의 점수를 조정합니다. (강아지 점수 UP, 늑대 점수 DOWN)
  4. 이렇게 점수 (가중치) 를 조정하며 공부할수록, AI 는 점점 더 정확한 정답에 가까워집니다.
  5. 결국에는 "아, 이 사진의 진짜 이름은 강아지구나!"라고 확신하게 되고, 이 과정에서 이름표와 사진의 의미 (임베딩) 가 완벽하게 맞춰집니다.

이 과정을 통해 AI 는 훈련 데이터에 섞인 '오류'나 '애매함'을 스스로 교정하며, **본 적 없는 새로운 사물 (예: 본 적 없는 새 종)**도 "이건 저런 특징을 가진 새야"라고 추론해낼 수 있게 됩니다.

---

요약: 왜 이 연구가 중요한가요?

1. 현실적인 문제 해결: 현실에서는 완벽한 데이터가 없습니다. 이 연구는 ** imperfect(불완전한) 데이터**에서도 AI 가 잘 작동하도록 만듭니다.
2. 새로운 것까지 알아봄: 단순히 훈련된 것만 아는 게 아니라, 아직 본 적 없는 새로운 사물도 이름표가 애매해도 알아볼 수 있게 합니다.
3. 스스로 교정하는 능력: 처음엔 헷갈려도, 공부할수록 **"아, 내가 착각했구나"**라고 스스로 깨달아 정답을 찾아내는 똑똑한 시스템을 만들었습니다.

결론적으로, 이 논문은 **"애매한 이름표가 붙은 세상에서도 AI 가 스스로 정답을 찾아내어 새로운 사물을 알아보는 방법"**을 제시한 획기적인 연구입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 기존 제로샷 학습 (ZSL) 의 한계: 기존 ZSL 방법론들은 학습 데이터의 클래스 라벨이 정확하다고 가정합니다. 그러나 실제 세계에서는 크라우드소싱이나 온라인 쿼리 등을 통해 라벨을 수집할 때 노이즈가 섞이거나, 하나의 인스턴스에 여러 개의 후보 라벨이 존재하는 모호한 라벨 (Ambiguous Labels) 문제가 빈번하게 발생합니다.
• 기존 부분 라벨 학습 (PLL) 의 제약: 모호한 라벨을 처리하기 위한 부분 라벨 학습 (Partial Label Learning, PLL) 은 존재하지만, 이는 주로 '본래 학습된 클래스 (Seen Classes)'만 예측하는 데 국한되어 있어, 학습되지 않은 '새로운 클래스 (Unseen Classes)'를 인식하는 ZSL 과의 결합이 어렵습니다.
• 핵심 과제: 모호하고 노이즈가 포함된 라벨 환경에서 학습된 클래스의 의미 정보를 추출하고, 이를 효과적으로 새로운 클래스로 전이하여 일반화 성능을 높이는 것이 주요 도전 과제입니다.

2. 제안 방법론 (Methodology: CLIP-PZSL)

저자들은 CLIP-PZSL이라는 새로운 프레임워크를 제안하여, CLIP(Contrastive Language-Image Pre-training) 의 강력한 제로샷 성능과 부분 라벨 학습의 유연성을 결합했습니다.

2.1. 전체 아키텍처

1. 특징 추출 (Feature Extraction):
   • CLIP 의 이미지 인코더와 텍스트 인코더를 사용하여 인스턴스 (이미지) 와 라벨 (텍스트 프롬프트) 의 특징을 추출합니다.
   • 라벨은 "A photo of a {class}." 형태의 프롬프트로 인코딩됩니다.
2. 의미 마이닝 블록 (Semantic Mining Block):
   • 목적: 인스턴스 특징과 라벨 특징을 융합하여 각 라벨의 판별력 있는 임베딩을 추출하고, 노이즈가 있는 라벨을 탐지합니다.
   • 구조: Transformer 아키텍처를 기반으로 하며, 자기 주의 (Self-attention), K-means 교차 주의 (K-means cross-attention), **다층 퍼셉트론 (MLP)**으로 구성됩니다.
   • 작동 원리: K-means 교차 주의 메커니즘을 통해 인스턴스 특징에서 핵심 정보를 풀링 (Pooling) 하고, 이를 라벨 임베딩과 매칭하여 노이즈 라벨을 식별하고 라벨 임베딩을 업데이트합니다.
3. 인스턴스 - 라벨 정렬 및 부분 제로샷 손실 (Instance-Label Alignment & Partial Zero-shot Loss):
   • 노이즈 라벨 식별: 인스턴스 임베딩과 텍스트 임베딩 간의 코사인 유사도를 계산하여 후보 라벨 중 정답일 확률이 높은 라벨을 점진적으로 식별합니다.
   • 부분 제로샷 손실 함수 (Partial Zero-shot Loss):
     • 교차 엔트로피 손실 ($L_{ce}$): 후보 라벨에 가중치를 부여하여 노이즈 라벨의 영향을 줄이고 분류기 학습을 유도합니다.
     • 평균 제곱 오차 손실 ($L_{dist}$): 인스턴스 임베딩과 라벨 임베딩을 동일한 차원에 정렬하여 의미적 불일치 (Semantic Mismatch) 를 최소화합니다.
   • 반복적 개선: 학습이 진행됨에 따라 정답 라벨이 점진적으로 식별되고, 정제된 라벨과 임베딩이 다시 모델의 정렬 능력을 향상시키는 선순환 구조를 가집니다.

3. 주요 기여 (Key Contributions)

1. 최초의 CLIP 기반 모호 라벨 ZSL: 학습 데이터 내의 모호한 라벨을 효과적으로 처리하여 unseen 클래스를 예측하는 최초의 ZSL 연구입니다.
2. 새로운 의미 마이닝 블록: 클러스터링 관점에서 설계된 새로운 블록을 통해 핵심 정보를 추출하고 라벨 임베딩과 정렬하여 노이즈 라벨 탐지 능력을 강화했습니다.
3. 강건한 부분 제로샷 손실 함수: 노이즈 라벨의 영향을 완화하면서도 인스턴스와 라벨 임베딩을 정렬하여 의미적 불일치를 최소화하는 새로운 손실 함수를 제안했습니다.

4. 실험 결과 (Results)

• 데이터셋: CIFAR-10, CIFAR-100, Food-101, CUB, Flowers-102, AWA2 등 6 개의 공개 ZSL 벤치마크를 사용했습니다.
• 노이즈 조건: $q=0.1, 0.3, 0.5$로 노이즈 라벨 포함 확률을 조절하여 실험했습니다.
• 성능 비교:
  • CLIP 기반 방법 대비: CLIP-PZSL 은 모든 데이터셋에서 CLIP, CALIP 등 기존 CLIP 기반 방법보다 **Seen 클래스 정확도 (S.Acc)**와 Unseen 클래스 정확도 (U.Acc) 모두에서 유의미한 개선을 보였습니다.
  • 전통적 ZSL 방법 대비: AWA2 와 CUB 데이터셋에서 기존 방법들 (ABP, SDGZSL 등) 은 모호한 라벨로 인해 성능이 급격히 저하되었으나, CLIP-PZSL 은 이러한 환경에서도 압도적인 성능을 유지했습니다.
• Ablation Study: 의미 마이닝 블록과 부분 제로샷 손실 함수 (교차 엔트로피 및 MSE) 를 제거했을 때 성능이 하락하여, 각 구성 요소가 노이즈 제거와 의미 정렬에 필수적임을 입증했습니다.

5. 의의 및 결론 (Significance)

이 논문은 실제 응용 환경에서 불가피하게 발생하는 라벨의 불확실성과 노이즈를 해결하는 ZSL 의 새로운 패러다임을 제시했습니다. CLIP 의 강력한 사전 학습 지식을 활용하면서도, 모호한 라벨을 점진적으로 정제하고 의미 공간을 정렬하는 메커니즘을 통해 모델의 일반화 능력을 극대화했습니다. 이는 데이터 라벨링 비용이 높거나 노이즈가 많은 실제 시나리오에서 ZSL 기술을 적용할 수 있는 중요한 토대를 마련했다는 점에서 의의가 큽니다.