Local-Global Prompt Learning via Sparse Optimal Transport

이 논문은 전역 및 지역 프롬프트 간의 중복을 방지하고 CLIP 의 본질적 기하학적 구조를 보존하기 위해 희소 최적 수송을 도입한 SOT-GLP 를 제안하여, 소수 샷 분류 정확도와 분포 외 (OOD) 탐지 성능을 동시에 향상시킨다는 점을 설명합니다.

핵심

🎨 비유: "명화 감상을 위한 두 명의 전문가"

Imagine you are trying to teach a student (the AI) to recognize different types of birds (e.g., a sparrow vs. a hawk) using only a few photos.

기존의 방법들은 학생에게 **"이 새는 전체적으로 어떻게 생겼나요?"**라고만 물었습니다. 하지만 이 방법은 두 명의 전문가를 고용해서 문제를 해결합니다.

1. 두 명의 전문가 (글로벌 & 로컬 브랜치)

• 1 번 전문가 (글로벌 브랜치): "전체적인 분위기 파악자"

  • 이 사람은 그림을 한눈에 훑어보고 "아, 이건 새야, 날개가 있고 부리가 있구나"라고 전체적인 느낌을 잡습니다.
  • 역할: 큰 틀에서 틀리지 않도록 기본기를 다집니다. (기존 CLIP 모델의 방식)

• 2 번 전문가 (로컬 브랜치): "디테일 탐정"

  • 이 사람은 그림의 특정 부분만 유심히 봅니다. "저 새는 부리가 뾰족하고, 깃털 무늬가 가로줄무늬야"라고 아주 작은 특징을 포착합니다.
  • 문제점: 기존 방법들은 이 탐정들이 각자 마음대로 중요한 부분을 찾아다녔습니다. 그래서 1 번 탐정은 "부리"를 보고, 2 번 탐정도 "부리"를 보고, 3 번 탐정도 "부리"를 보는 식으로 중복이 생겼습니다. (비효율적)

2. SOT-GLP 의 혁신: "공정한 자원 배분 시스템"

이 논문이 제안한 SOT-GLP는 이 탐정들에게 아주 똑똑한 지시장을 줍니다.

• 한 번에 중요한 부분만 골라내기 (희소성, Sparse):

  • 그림 전체를 다 보는 게 아니라, "가장 중요한 부분 10 개"만 골라냅니다. (예: 부리, 눈, 날개 끝 등)
  • 배경의 나뭇잎이나 하늘 같은 잡동사니는 아예 무시합니다.

• 공정한 분배 (최적 수송, Optimal Transport):

  • 여기서 핵심입니다! "부리"라는 중요한 부분을 모든 탐정이 다 차지하게 하지 않습니다.
  • **"1 번 탐정은 부리를 보고, 2 번 탐정은 눈, 3 번 탐정은 날개"**라고 공정하게 나누어 줍니다.
  • 이렇게 하면 각 탐정 (프롬프트) 이 서로 다른 특징을 전문적으로 학습하게 되어, 새를 구별하는 능력이 훨씬 정교해집니다.

---

🚀 이 방법이 가져온 놀라운 결과

이 방법은 두 가지 큰 성과를 냈습니다.

1. 적은 데이터로도 천재가 되다 (Few-shot Classification)

• 16 장의 사진만 보여줘도, 기존 AI 들보다 훨씬 정확하게 새, 꽃, 자동차 등을 구분했습니다.
• 마치 디테일 탐정들이 각자의 전문 분야를 맡아 협력하니까, 전체적인 실력이 급상승한 것입니다.

2. 가짜를 구별하는 능력 (Out-of-Distribution Detection)

• AI 가 훈련받지 않은 이상한 그림 (예: 고양이 사진에 새를 섞은 것) 을 보면, "이건 내가 아는 게 아니야!"라고 경고를 잘 해냅니다.
• 재미있는 발견: 만약 2 번 전문가 (로컬 브랜치) 가 "과도하게 학습"하지 않고, 원래 가진 감각을 유지하게 하면, 가짜를 구별하는 능력은 더 좋아집니다.
  • 비유: "너는 이 새의 부리 모양을 너무 자세히 외우지 말고, 일반적인 새의 특징을 기억해. 그래야 이상한 새가 왔을 때 바로 알아챌 수 있어."라고 가르친 것입니다.

---

💡 한 줄 요약

이 논문은 **"AI 가 사물을 볼 때, 전체적인 느낌도 중요하지만, 중요한 부분들을 서로 다른 전문가들이 공정하게 나누어 살펴보면 훨씬 똑똑해진다"**는 것을 증명했습니다.

또한, **"너무 세세하게 외우지 말고 본능을 살리면, 낯선 상황을 더 잘 감지할 수 있다"**는 새로운 통찰도 주었습니다. 이는 AI 가 더 안전하고 똑똑하게 발전하는 데 큰 도움이 될 것입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

비전 - 언어 모델 (VLM, 예: CLIP) 의 퓨샷 (Few-shot) 적응은 일반적으로 전역 이미지 임베딩 (Global Image Embedding) 과 일치하는 텍스트 프롬프트 학습에 의존합니다. 그러나 기존 방법론에는 다음과 같은 한계가 존재합니다.

• 세부 정보의 손실: 단일 전역 임베딩을 사용하는 것은 모든 공간 영역을 평균화하여 물체의 부분, 질감, 공간적 배치와 같은 **미세한 국소적 특징 (Fine-grained local features)**을 무시합니다. 이는 유사한 카테고리 구분이나 분포 외 (OOD) 샘플 탐지에 치명적입니다.
• 프롬프트 중첩 및 중복: 국소적 특징을 활용하려는 기존 시도들 (예: GalLoP) 은 각 프롬프트마다 독립적으로 패치를 선택합니다. 이로 인해 여러 프롬프트가 동일한 영역에 주의를 기울여 중복적인 특징 사용과 **프롬프트 간 경쟁 (Prompt Overlap)**이 발생하며, 각 프롬프트가 고유한 시각적 증거에 특화되는 것을 방해합니다.

2. 제안 방법론: SOT-GLP (Methodology)

저자들은 **SOT-GLP (Sparse Optimal Transport Guided Local-Global Prompt Learning)**를 제안합니다. 이는 전역 정렬을 유지하면서 미세한 공간 구조를 명시적으로 모델링하는 듀얼-브랜치 아키텍처입니다.

핵심 구성 요소

1. 듀얼 프롬프트 브랜치 (Dual Prompt Branches):

   • 전역 프롬프트 (Global Prompts): 모든 클래스에 공유되는 학습 가능한 텍스트 토큰 시퀀스를 사용하여, CLIP 의 표준 전역 이미지 - 텍스트 정렬을 유지하고 카테고리 수준의 일반화 능력을 보장합니다.
   • 국소 프롬프트 (Local Prompts): 각 클래스에 특화된 프롬프트로, 질감이나 부분 구성과 같은 클래스별 차별적 속성을 포착합니다.

2. 국소성 인식 특징 추출 (Locality-Aware Feature Extraction):

   • 기존 CLIP 의 Q-K (Query-Key) 어텐션 대신 V-V (Value-Value) 어텐션을 병렬 스트림으로 도입합니다.
   • V-V 어텐션은 패치 간 상관관계를 직접 강화하여 배경 간섭을 줄이고, 질감 및 세부 부분을 포착하는 국소적 판별력을 높입니다.

3. 주요성 유도 희소화 (Saliency-Guided Sparsification):

   • 모든 패치를 정렬하는 대신, 클래스별 국소 프롬프트와의 유사도를 기반으로 Top-K 개의 주요 (Salient) 패치만 선택합니다.
   • 이를 통해 배경 잡음을 제거하고 정렬 문제의 조건을 개선합니다.

4. 균형 잡힌 희소 최적 수송 (Balanced Sparse Optimal Transport):

   • 선택된 희소 패치 집합을 클래스별 국소 프롬프트에 할당할 때, **엔트로피 정규화 최적 수송 (Entropic Optimal Transport, OT)**을 사용합니다.
   • 균형 잡은 마진 (Balanced Marginals) 제약: 각 프롬프트가 할당받는 질량 (Mass) 을 균등하게 유지하도록 강제합니다. 이는 "프롬프트 붕괴 (Prompt Collapse, 모든 프롬프트가 같은 패치에 집중)"를 방지하고, 각 프롬프트가 서로 다른 시각적 부분에 특화되도록 **소프트 파티션 (Soft Partition)**을 생성합니다.

5. 학습 및 추론:

   • 전역 손실 (Global Loss) 과 국소 손실 (Local Loss) 을 결합하여 학습합니다.
   • 추론 시 전역 점수와 국소 점수를 가중 합산하여 최종 분류 확률을 도출합니다.

3. 주요 기여 (Key Contributions)

1. 공유 희소 패치 지지 및 균형 OT 할당: 여러 클래스별 프롬프트가 공유된 주요 패치 집합에서 중복 없이 명확하게 시각적 증거를 분할하도록 하는 새로운 프레임워크를 제안했습니다.
2. 정확도 - 강건성 트레이드오프 (Accuracy-Robustness Trade-off) 발견:
   • 학습 가능한 국소 투영 (Local Projection) 을 사용하면 퓨샷 분류 정확도가 향상되지만, 사전 학습된 CLIP 특징 공간의 기하학적 구조가 변경되어 OOD 탐지 성능이 저하됩니다.
   • 반면, 투영을 제거한 (Projection-free) 변형은 CLIP 의 원본 매니폴드 기하학을 보존하여 SOTA 수준의 OOD 탐지 성능을 달성하면서도 분류 정확도 손실을 최소화함을 증명했습니다.
3. V-V 어텐션의 재해석: V-V 어텐션을 국소 특징 스트림으로 전용하여 프롬프트 정렬을 유도하는 첫 번째 시도 중 하나입니다.

4. 실험 결과 (Experimental Results)

11 개의 표준 벤치마크 (ImageNet, Caltech101, Flowers102 등) 와 OOD 탐지 평가에서 다음과 같은 결과를 달성했습니다.

• 퓨샷 분류 (Few-shot Classification):
  • 16-shot ViT-B/16 설정에서 **평균 정확도 85.1%**를 기록하여 기존 프롬프트 학습 방법 (CoOp, MaPLe, GalLoP 등) 을 모두 능가했습니다.
  • 특히 질감 (DTD), 세부 꽃 (Flowers102), 행동 인식 (UCF101) 과 같이 국소적 특징이 중요한 데이터셋에서 큰 개선을 보였습니다.
• OOD 탐지 (Out-of-Distribution Detection):
  • SOT-GLP (Full): 93.2 AUC, 28.1 FPR95.
  • SOT-GLP (w/o Proj, 투영 제거): 94.2 AUC, 23.8 FPR95로, 모든 기존 프롬프트 학습 방법 및 완전 적응 모델을 능가하는 SOTA 성능을 달성했습니다. 이는 분류 정확도 (75.4%) 를 거의 유지하면서 OOD 강건성을 극대화한 사례입니다.
• 정성적 분석:
  • 시각화 결과, OT 제약이 서로 다른 프롬프트가 물체의 머리, 꼬리, 눈 등 서로 다른 영역에 특화되도록 하여 중복을 방지하고 객체의 주요 부분을 포괄적으로 커버함을 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 VLM 의 퓨샷 적응 분야에서 전역적 의미론과 국소적 세부 사항의 균형을 잡는 새로운 패러다임을 제시합니다.

• 방법론적 혁신: 독립적인 패치 선택 대신 **최적 수송 (Optimal Transport)**을 통해 프롬프트 간 할당을 명시적으로 제어함으로써, 특징 공간의 중복과 붕괴 문제를 해결했습니다.
• 실용적 가치: 사용자는 배포 목적에 따라 **학습 가능한 투영 (고정밀 분류용)**과 투영 제거 (높은 OOD 강건성용) 사이에서 선택할 수 있는 유연한 프레임워크를 제공합니다.
• 미래 방향: CLIP 의 사전 학습 특징이 특정 도메인 (예: 매우 정밀한 항공기 모델 구분) 에서 부족할 수 있는 한계를 인정하고, 향후 도메인 적응형 패치 선택이나 학습된 Top-K 가중치 도입 등을 통해 개선할 수 있음을 시사합니다.

요약하자면, SOT-GLP는 희소 최적 수송을 통해 국소적 특징을 효율적으로 할당함으로써 분류 정확도를 높이고, 동시에 투영 계층의 유무 조절을 통해 OOD 탐지 성능을 극대화할 수 있는 강력한 Few-shot 학습 프레임워크입니다.