WARM-CAT: Warm-Started Test-Time Comprehensive Knowledge Accumulation for Compositional Zero-Shot Learning

이 논문은 테스트 시에 라벨 공간의 분포 변화로 인한 성능 저하를 해결하기 위해, 훈련 데이터를 기반으로 시각 및 텍스트 프로토타입을 사전 준비하고 적응형 가중치와 동적 우선순위 큐를 활용하여 미시적 조합을 학습하는 'WARM-CAT' 프레임워크를 제안하고, 새로운 벤치마크인 C-Fashion 데이터셋을 통해 최첨단 성능을 입증합니다.

핵심

🐱 1. 문제 상황: "아직 본 적 없는 옷"을 입은 고양이

상상해 보세요. 인공지능이 옷을 입은 고양이를 구분하는 일을 한다고 칩시다.

• 학습 단계: 인공지능은 훈련을 통해 **"흰색 고양이 (White Cat)"**와 **"검은색 개 (Black Dog)"**는 이미 알고 있습니다.
• 시험 단계: 그런데 시험장에 **"회색 고양이 (Grey Cat)"**나 "흰색 개 (White Dog)" 같은 새로운 조합이 나타납니다.

기존의 인공지능은 훈련 때 본 데이터만 기억하고, 시험 때는 그걸 그대로 사용합니다. 문제는 시험장에 나온 새로운 조합 (회색 고양이) 에 대한 데이터가 훈련 때 없었기 때문에, 인공지능이 혼란을 겪고 틀린 답을 낸다는 것입니다. 마치 "흰색 고양이"만 본 사람이 "회색 고양이"를 보면 "아마도 검은색 고양이겠지?"라고 잘못 추측하는 것과 비슷합니다.

🚀 2. 해결책: WARM-CAT (지식 축적 고양이)

이 논문은 인공지능이 시험을 치르는 **실시간 (Test-Time)**에, 시험지 (테스트 데이터) 를 보며 스스로 배우고 수정하는 방법을 제안합니다. 이를 WARM-CAT라고 부릅니다.

📚 비유 1: "지식 쌓기 도서관" (Priority Queue)

기존 방법은 도서관에 책 (데이터) 이 없으면 그냥 추측만 했습니다. 하지만 WARM-CAT 는 시험을 치르면서 높은 확신으로 맞춘 문제들을 따로 모아두는 **'우선순위 도서관 (Priority Queue)'**을 만듭니다.

• 핵심: 시험을 치르면서 "아, 이거 '흰색 고양이'구나!"라고 확신 있게 맞춘 사진들을 도서관에 쌓아둡니다.
• 효과: 다음에 비슷한 문제가 나오면, 이미 쌓아둔 지식을 참고해서 훨씬 정확하게 답할 수 있습니다.

🔥 비유 2: "따뜻하게 시작하기" (Warm-Start)

만약 도서관이 처음부터 비어있다면, 인공지능은 시험 초반에 엉뚱한 것을 먼저 쌓아올릴 수 있습니다. (예: '흰색 고양이'를 '검은색 개'로 잘못 인식하고 쌓아올리는 것).

• WARM-CAT 의 전략: 시험을 시작하기 전에, 이미 알고 있는 '흰색 고양이', '검은색 개' 같은 기존 지식으로 도서관을 미리 채워둡니다.
• 미지의 영역: 아직 본 적 없는 '회색 고양이' 같은 경우는, '흰색 고양이'와 '회색'이라는 단어 사이의 관계를 학습해서 가상의 이미지를 만들어 도서관에 미리 넣어둡니다.
• 결과: 시험을 시작하자마자 편향되지 않고, 균형 잡힌 상태에서 시작할 수 있습니다.

⚖️ 비유 3: "적당한 수정" (Adaptive Update Weight)

시험지를 보며 지식을 쌓을 때, 모든 것을 무작정 바꾸면 안 됩니다.

• 비유: 이미 잘 알고 있는 '흰색 고양이'에 대해 새로운 사진이 왔을 때, "아, 이건 확실히 흰색 고양이야"라고 생각하면 작은 수정만 합니다. 하지만 "이건 뭔가 이상한데?"라고 느껴지는 새로운 조합이 오면 더 적극적으로 지식을 업데이트합니다.
• 효과: 이미 아는 것을 망가뜨리지 않으면서, 새로운 것을 빠르게 받아들입니다.

🤝 비유 4: "눈과 귀의 대화" (Multimodal Collaboration)

인공지능은 **눈 (이미지)**과 귀 (텍스트) 두 가지 감각을 사용합니다.

• 문제: 눈으로 본 것과 귀로 들은 말이 서로 다를 수 있습니다. (예: 텍스트는 '흰색'인데 이미지는 '회색'처럼 보임).
• 해결: WARM-CAT 는 이 두 감각이 서로 협력하도록 만듭니다. 텍스트로 정의된 개념과 이미지로 본 특징을 계속 맞춰나가며 (정렬), 더 정확한 판단을 내립니다.

---

🌟 3. 새로운 도전: 패션 데이터 (C-Fashion)

이 연구팀은 인공지능이 옷을 잘 구분하도록 돕기 위해 **새로운 데이터셋 (C-Fashion)**을 만들었습니다.

• 이유: 기존 데이터들은 옷의 색상, 재질, 스타일 등을 조합하는 데 부족하거나 오류가 많았습니다.
• 결과: 새로운 데이터셋과 정제된 기존 데이터를 통해, WARM-CAT 가 다른 어떤 방법보다도 옷을 더 잘 구분하고, 드물게 나오는 옷 (꼬리 부분) 까지 잘 인식한다는 것을 증명했습니다.

💡 요약

WARM-CAT는 인공지능이 시험을 치르는 동안 스스로 배우고 성장할 수 있게 해주는 혁신적인 방법입니다.

1. 미리 준비 (Warm-Start): 시험 전에 기존 지식을 미리 정리해 둡니다.
2. 실시간 학습 (Accumulation): 시험을 치르며 잘 맞춘 것들을 모아 지식을 쌓습니다.
3. 균형 잡힌 수정 (Adaptive): 이미 아는 것은 건드리지 않고, 모르는 것만 적극적으로 배웁니다.
4. 눈과 귀의 협력: 이미지와 텍스트 정보를 서로 맞춰가며 정확도를 높입니다.

이처럼 WARM-CAT 는 인공지능이 새로운 상황에서도 유연하게 적응하여, 인간처럼 더 똑똑하게 행동할 수 있도록 돕는 기술입니다.

기술 요약

1. 문제 정의 (Problem Definition)

구성적 제로샷 학습 (Compositional Zero-Shot Learning, CZSL) 은 학습 시 본 적이 없는 속성 (attribute) 과 객체 (object) 의 새로운 조합을 인식하는 것을 목표로 합니다. 예를 들어, 'wilted sunflower (시든 해바라기)'와 같이 훈련 데이터에 없던 조합을 'wilted'와 'sunflower'라는 기존 지식을 재조합하여 추론해야 합니다.

기존 CZSL 방법론들은 훈련 시 학습된 모델 파라미터와 클래스 프로토타입을 고정 (frozen) 시켜 두는 경향이 있습니다. 이로 인해 테스트 시 레이블 공간의 분포 변화 (Label Space Shift) 에 취약합니다.

• 핵심 문제: 훈련 중에는 보지 못한 새로운 조합 (Unseen Compositions) 이 테스트 시에 등장하면, 모델은 학습된 분포와 실제 테스트 분포 간의 불일치로 인해 성능이 급격히 저하됩니다.
• 기존 한계: 대부분의 기존 방법은 테스트 데이터를 활용하여 모델을 적응 (Adaptation) 시키지 못하거나, 텍스트 모달리티 (Textual Modality) 에만 의존하여 시각적 정보의 누락을 겪습니다.

2. 제안 방법론: WARM-CAT

저자들은 WARM-CAT (Warm-Started Test-Time Comprehensive Knowledge Accumulation) 을 제안하여, 테스트 시 레이블 분포의 변화를 극복하기 위해 레이블이 없는 테스트 데이터 (Unsupervised Test Data) 를 활용하여 멀티모달 지식을 축적하는 새로운 프레임워크를 개발했습니다.

주요 구성 요소 및 메커니즘:

1. 멀티모달 프로토타입 업데이트 (Multimodal Prototype Update):

   • 텍스트 프로토타입: CLIP 의 텍스트 인코더로 생성된 고정된 텍스트 임베딩을 기반으로 합니다.
   • 시각 프로토타입: 테스트 시에 수집된 고신뢰도 이미지들을 동적으로 저장하여 시각적 특징을 평균화함으로써 생성합니다.
   • 지식 축적 모듈 (KAM, Knowledge Accumulation Module): 학습된 베이스 모델의 파라미터를 직접 수정하는 대신, 별도의 학습 가능한 모듈을 통해 프로토타입을 점진적으로 조정합니다. 이는 기존 지식의 망각 (Catastrophic Forgetting) 을 방지합니다.

2. 적응형 업데이트 가중치 (Adaptive Update Weight, AUW):

   • 모든 테스트 이미지를 동일하게 처리하는 것이 아니라, 입력 이미지와 기존 프로토타입 간의 유사도 (Cosine Similarity) 를 기반으로 업데이트 강도를 조절합니다.
   • 이미 알려진 조합 (Seen) 에 가까우면 업데이트를 억제하고, 새로운 조합 (Unseen) 일 가능성이 높으면 더 강하게 업데이트하여 분포 변화에 유연하게 대응합니다.

3. 동적 우선순위 큐 (Dynamic Priority Queue) 와 Warm-Start 전략:

   • 우선순위 큐: 각 클래스별로 예측 엔트로피가 낮은 (신뢰도가 높은) 이미지들을 저장하여 시각적 프로토타입을 구성합니다.
   • Warm-Start (핵심 기여): 큐가 비어있는 상태에서는 모델이 테스트 초기에 이미 저장된 (Seen) 조합으로 편향될 수 있습니다. 이를 해결하기 위해:
     • Seen 조합: 훈련 데이터의 이미지를 사용하여 큐를 초기화합니다.
     • Unseen 조합: 훈련 시 학습된 'Seen'과 'Unseen' 텍스트 프로토타입 간의 매핑 관계를 시각 프로토타입에 적용하여 가상 시각 프로토타입 (Virtual Visual Prototypes) 을 생성하고 큐에 주입합니다. 이를 통해 모델이 테스트 초기부터 unseen 조합에 대한 시각적 단서를 갖게 되어 편향을 줄입니다.

4. 멀티모달 협업 표현 학습 (Multimodal Collaborative Representation Learning):

   • 텍스트와 시각 프로토타입 간의 의미적 일관성을 유지하기 위해 대비 학습 (Contrastive Learning) 을 통해 두 모달리티를 정렬합니다.
   • 손실 함수: 예측 엔트로피 최소화 ($L_{PE}$) 와 멀티모달 정렬 손실 ($L_{MCRL}$) 을 결합하여 테스트 시 무감독 학습 신호로 활용합니다.

3. 주요 기여 (Key Contributions)

1. WARM-CAT 프레임워크: 테스트 시 레이블이 없는 데이터를 활용하여 멀티모달 지식을 축적하고 프로토타입을 업데이트함으로써 레이블 분포 변화를 해결한 최초의 CZSL 접근법입니다.
2. Warm-Start 전략: 우선순위 큐를 훈련 이미지와 텍스트 - 시각 매핑을 통해 초기화하여, 모델이 테스트 초기에 기존 조합에 편향되는 문제를 해결했습니다.
3. 새로운 벤치마크 및 데이터 정제:
   • C-Fashion: 패션 도메인의 구성적 추론을 위한 새로운 벤치마크 데이터셋을 구축했습니다.
   • MIT-States:* 기존 MIT-States 데이터셋의 노이즈 (약 70% 라벨 오류) 를 정제하여 신뢰할 수 있는 평가 기준을 마련했습니다.
4. 새로운 평가 지표: 장꼬리 (Long-tailed) 분포 하에서의 CZSL 성능을 평가하기 위한 새로운 메트릭을 도입하고 기존 방법론에 대한 체계적인 분석을 수행했습니다.

4. 실험 결과 (Results)

저자들은 UT-Zappos, C-Fashion, C-GQA, MIT-States* 등 4 개의 벤치마크 데이터셋에서 Closed-world 및 Open-world 설정으로 실험을 수행했습니다.

• 성능 향상: WARM-CAT 은 모든 데이터셋에서 기존 State-of-the-Art (SOTA) 방법들 (CLIP, CoOp, Troika, ClusPro, TOMCAT 등) 을 능가하는 성능을 기록했습니다.
  • 예: UT-Zappos 에서 AUC 52.9%, HM 64.3% 를 기록하여 이전 SOTA 대비 상당한 개선을 보였습니다.
• 장꼬리 분포 (Long-tailed Distribution) 강건성:
  • 기존 방법들은 빈도가 높은 클래스 (Head) 에 치중하여 드문 클래스 (Tail) 에서 성능이 떨어지는 경향이 있었습니다.
  • WARM-CAT 은 Warm-Start 전략을 통해 드문 클래스에 대한 시각적 프로토타입을 초기부터 제공함으로써, Head, Body, Tail 모든 그룹에서 균형 잡힌 성능을 보였으며 전체 정확도와 클래스 간 편차를 모두 개선했습니다.
• 적응성 분석: 테스트 샘플 순서에 따른 민감도가 낮아 안정적이며, 테스트가 진행됨에 따라 누적 정확도가 지속적으로 상승하는 것을 확인했습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 CZSL 분야에서 테스트 시 적응 (Test-Time Adaptation) 의 중요성을 부각시켰습니다. 특히, 단순히 모델을 미세 조정하는 것을 넘어, 시각적 정보와 텍스트 정보를 통합적으로 축적하고, 초기화 전략 (Warm-Start) 을 통해 unseen 데이터에 대한 편향을 제거하는 체계적인 접근법을 제시했습니다.

• 실용성: 실제 배포 환경에서 레이블이 없는 사용자 상호작용 데이터를 통해 시스템이 지속적으로 학습하고 분포 변화에 적응할 수 있는 가능성을 입증했습니다.
• 데이터 기여: 패션 도메인 전용 데이터셋 (C-Fashion) 과 정제된 MIT-States*를 공개함으로써 향후 CZSL 연구의 신뢰성 있는 평가 기준을 마련했습니다.

결론적으로 WARM-CAT 은 구성적 제로샷 학습의 핵심 과제인 "보지 못한 조합의 인식"과 "테스트 시 분포 변화"를 동시에 해결하는 강력한 프레임워크로, 멀티모달 학습과 온디맨드 적응 기술의 발전에 중요한 기여를 했습니다.