기술 요약: 시각-언어 모델을 위한 U자형 다중 입도 학습 (UPrompt)

1. 문제 정의

프롬프트 학습을 통해 적응된 시각-언어 모델(VLMs)은 근본적인 **입도 딜레마(granularity dilemma)**에 직면해 있습니다. 기존 방식들은 일반적으로 단일한 고정 입도에서 최적화를 수행하며, 이로 인해 다음과 같은 내재적 트레이드오프가 발생합니다:

• 글로벌 프롬프트(Global Prompts): CoOp과 같은 전략은 광범위한 문맥을 포착하지만 미세한 의미론적 인식이 부족하여, 상세한 추론에 필요한 국소적 특징(예: FGVCAircraft 데이터셋에서 성능 저하)을 인코딩하는 데 실패합니다.
• 로컬 프롬프트(Local Prompts): 정교하게 구조화된 프롬프트는 국소적 세부 사항을 보존하지만, 충분한 글로벌 문맥을 통합하거나 모델의 교차 영역 구성 관계를 파악하는 데 어려움을 겪습니다.

이러한 한계는 교차 모달 검색, 퓨샷 분류, base-to-novel 일반화와 같은 다양한 작업에서 적응 성능과 일반화 능력을 제한합니다. U-Net과 같은 계층적 아키텍처는 밀집 예측 작업(공간적 픽셀 그리드 상에서 동작)에서 다단계 표현을 성공적으로 통합해 왔으나, 이러한 원리를 프롬프트 학습으로 전이하는 것은 매우 까다롭습니다. 프롬프트 학습은 추상적인 임베딩 공간에서 동작하며, 텍_스트 프롬프트는 고유한 기하학적 구조를 결여하고 있기 때문에 유의미한 다중 입도 표현 구축과 양방향 정보 흐름을 만드는 것이 큰 과제입니다.

2. 방법론: UPrompt

저자들은 U-Net에서 영감을 얻은 U자형 다중 입도 프롬프트 학습 프레임워크인 UPrompt를 제안합니다. 이 프레임워크는 양방향 정보 흐름 메커니즘에 의해 연결된 시각 및 텍스트 모달리티 양측 모두에서 병렬적인 다중 입도 표현을 구축합니다.

2.1 U자형 다중 입도 구축

이 프레임워크는 CLIP 인코더를 가장 거친 수준부터 가장 미세한 수준까지 이어지는 다중 입도 버전($k \in [1, K]$)으로 확장합니다.

• 시각 모달리티(Visual Modality): 임베딩 공간에서의 점진적 공간 풀링(progressive spatial pooling)을 통해 중첩된 패치 계층을 구축합니다. 가장 미세한 패치 토큰($E^{(K)}_{patch}$)에서 시작하여, 거친 표현들이 재귀적으로 도출됩니다 ($E^{(k)}_{patch} = Pool^{(k)}(E^{(k+1)}_{patch})$). 학습 가능한 프롬프트는 비전 인코더에 입력되기 전 이러한 풀링된 임베딩과 결합됩니다.
• 텍스트 모달리티(Textual Modality): 점진적 풍부화(progressive enrichment)를 통해 의미론적 계층을 구축합니다. 핵심 의미가 추출되고($T^{(1)}_{embed}$), 이후 단계들은 입도별 상세 기술을 반복적으로 추가함으로써 생성됩니다 ($T^{(k)}_{embed} = T^{(k-1)}_{embed} \oplus \Phi^{(k)}_{refine}(t)$). 이는 LLM을 사용하여 추상적 개념에서 상세한 설명에 이르는 계층적 텍스트 기술을 생성함으로써 구현됩니다.

2.2 양방향 연결 메커니즘

계층 간 일관성과 상호 보완적 학습을 보장하기 위해, UPrompt는 U-Net의 스킵 연결(skip connections)과 유사한 두 가지 핵심 메커니즘을 도입합니다:

1. 거친-to-미세 단계적 강화 (Coarse-to-Fine Cascaded Enhancement, CE):

   • 목표: 미세한 임베딩이 글로벌 가이드를 결여할 때 발생하는 문맥 결핍 문제를 해결합니다.
   • 메커니즘: 교차 입도 어텐션(cross-granularity attention)을 사용하여 거친 입도의 문맥 정보를 미세한 임베딩에 주입합니다. 강화된 임베딩 $\hat{X}^{(k)}$는 더 거친 단계의 강화된 표현인 $\hat{X}^{(k-1)}$에 어텐션을 수행함으로써 계산됩니다.
   • 효과: 미세한 특징이 글로벌 표현으로부터 문맥적으로 관련 있는 정보를 추출할 수 있게 하여 국소 모델링을 개선합니다.

2. 미세-to-거친 단계적 감독 (Fine-to-Coarse Hierarchical Supervision, HS):

   • 목표: 거친 입도에서의 최적화 불일치 및 의미론적 표류(semantic drift) 문제를 해결합니다.
   • 메커니즘: 최적의 교차 모달 대응성을 가진 가장 미세한 단계의 특징을 "교사 신호(teacher signals)"로 사용하여 지식 증류(knowledge distillation)를 통해 거친 단계들을 감독합니다. 거친 단계의 유사도 분포와 분리된 미세 단계의 분포 사이의 KL 발산(KL divergence)을 최소화합니다.
   • 효과: 스케일 간의 의미론적 일관성을 보장하여, 거친 표현이 표류하는 것을 방지하면서도 상호 보완적인 특성을 유지하도록 합니다.

2.3 전체 목적 함수

학훈련 목적 함수는 모든 $K$ 단계의 입도에 대한 대조 정렬 손실(contrastive alignment loss)과 계층적 감독 손실($L_{guide}$)을 결합합니다. 추론 시에는 성능과 효율성의 균형을 맞추기 위해 입도 수준을 유연하게 선택할 수 있으며, 최적의 정확도를 위해 기본적으로 가장 미세한 단계를 사용합니다.

3. 주요 기여

• UPrompt 프레임워크: U-Net에서 유래한 구조적 계층을 시각-언어 적응에 도입하여, 병렬 다중 입도 경로를 통해 단일 스케일의 한계를 극복하는 프레임워크를 제시합니다.
• 양방향 정보 흐름: 글로벌 문맥을 국소적 세부 사항에 주입하는 거친-to-미세 단계적 강화와 미세 단계의 정렬로 거친 입도를 규제하는 미세-to-거친 단계적 감독을 도입하여 의미론적 일관성과 상호 보완적 학습을 실현했습니다.
• 포괄적 검증: 교차 모달 검색, 퓨샷 분류, base-to-novel 일반화, OOD(Out-of-distribution) 시나리오를 포함한 17개 벤치마크에서 우수한 성능을 입증했습니다.

4. 실험 결과

광범에한 실험을 통해 UPrompt의 효과를 검증했습니다:

• 교차 모달 검색 (Cross-Modal Retrieval):
  • MSCOCO에서 UPrompt는 MAMET 및 VPKE보다 각각 4.1 및 7.3 rSum만큼 높은 성능을 보였습니다.
  • Flickr30K에서 571.1의 rSum을 달성하여 DoPL, MAMET, VPKE와 같은 최신 파인튜닝 방식들을 능가했습니다.
• Base-to-Novel 일반화:
  • 11개 데이터셋에 대해 **82.12%**의 조화 평균(Harmic Mean, HM)을 달성하여 CoCoA-Mix보다 5.09% 앞섰으며, TAP 및 SurPL-G를 능가했습니다.
  • FGVCAircraft(+0.79% HM)와 같이 도전적인 데이터셋에서도 주목할 만한 이득을 보였습니다.
• 퓨샷 분류 (Few-Shot Classification):
  • 16-shot 기준 11개 데이터셋에서 평균 정확도 **85.13%**를 달성하여 GalLoP, ProVP-Ref, MMA를 앞질렀습니다.
• 효율성 및 적응성:
  • 적응형 추론 (Adaptive Inference): 계단식 조기 종료(cascaded early-exit) 전략을 사용하여, 미세한 입도의 정확도를 유지하면서도 계산 비용을 **48%**로 줄여 2.1배의 속도 향상을 달实现了.
  • 비용 대비 성능: 중간 입도 구성(UPrompt-M)은 PSRC와 대등한 정확도를 구현하면서도 FLOPs는 1/3 수준에 불고했습니다.
• 강건성 (Robustness):
  • 강력한 OOD 일반화 성능을 보여주었으며(ImageNet 변형 모델에서 평균 61.22%), GalLoP 및 HiCroPL과 같은 방법들보다 우수했습니다.
  • 텍스트 계층 생성에 사용된 다양한 LLM(Qwen3, Llama3)에 걸쳐 성능이 안정적으로 유지되었습니다.

5. 의의 및 주장

본 논문은 U-Net의 계층적 표현 학습 원리를 프롬프트 기반 VLM에 연결함으로써 시각-언어 적응을 위한 원칙적인 솔루션을 제공한다고 주장합니다.

• 트레이드오프 해결: 양방향 정보 흐름을 통해 글로벌 이해와 국소적 정밀도를 모두 달성하는 통합 프레임워크를 구축함으로써 단일 입도 접근 방식의 한계를 성공적으로 해결했습니다.
• 의미론적 일관성: 계층적 구조를 통해 표현 스케일 간의 의미론적 일관성을 유지하며, 독립적인 다중 입도 모듈에서 흔히 발생하는 성능 저하를 방지합니다.
• 유연성: 계층적 설계는 성능-효율성 간의 유연한 트레이드오프를 가능하게 하여, 정확도 손실을 최소화하면서 자원 제약에 맞춰 모델을 적응시킬 수 있습니다.

저자들은 현재의 계층적 깊이가 제한적이라는 점을 인정하며, 향-후 연구에서는 더 풍부한 의미 구조를 모델링하기 위해 더 깊은 다중 입도 아키텍처를 탐구할 것이라고 밝혔습니다.