Noise-aware few-shot learning through bi-directional multi-view prompt alignment

이 논문은 노이즈가 있는 레이블 환경에서 견고한 퓨샷 학습을 가능하게 하기 위해, 지역 인식 정렬과 양방향 프롬프트 설계, 최적 수송 기반의 선택적 정제 전략을 결합한 NA-MVP 프레임워크를 제안하고 그 유효성을 입증합니다.

핵심

이 논문은 **"소음 (Noise)"이 섞인 데이터로 AI 를 가르칠 때, 어떻게 하면 AI 가 혼란스럽지 않고 똑똑하게 학습할 수 있을까?**에 대한 해결책을 제시합니다.

기존의 AI 학습 방식은 마치 **"눈이 먼 상태에서 한 번에 전체 그림을 외우게 하는 것"**과 비슷했습니다. 하지만 데이터에 잘못된 라벨 (오류) 이 섞여 있으면, AI 는 그 오류까지 그대로 배우게 되어 엉뚱한 결론을 내리게 됩니다.

이 논문이 제안한 NA-MVP라는 새로운 방법은 다음과 같은 세 가지 핵심 아이디어로 작동합니다.

---

1. "한 가지 시선"이 아닌 "여러 개의 눈"으로 보기 (다중 뷰 프롬프트)

📖 비유: 그림을 설명할 때
기존 방법은 "고양이 사진"을 보여줄 때 AI 에게 **"이건 고양이야"**라고 단 한 번만 말해주고 학습시켰습니다. 만약 이 설명이 틀렸다면 (예: 실제로는 강아지인데 고양이로 잘못 표시됨), AI 는 그 잘못된 정보를 믿고 학습합니다.

NA-MVP 의 방법:
이제 AI 에게 **"이건 고양이일 수도 있고, 강아지일 수도 있어. 자세히 살펴보자"**라고 **여러 가지 관점 (다중 뷰)**에서 접근하게 합니다.

• 깨끗한 시선 (Clean View): "고양이라면 이런 특징 (수염, 귀 모양) 이 있어야 해"라고 가르칩니다.
• 소음 감지 시선 (Noise View): "혹시 이건 강아지나 다른 동물일 수도 있으니 의심해 봐"라고 경고합니다.

이렇게 **두 가지 시선 (양방향)**을 동시에 사용함으로써, AI 는 "아, 이 부분은 고양이 특징과 잘 맞지만 저 부분은 이상하네?"라고 스스로 판단할 수 있게 됩니다.

2. "전체"가 아닌 "일부"만 맞추기 (불균형 최적 수송)

📖 비유: 퍼즐 맞추기
기존 방법은 퍼즐 조각 (이미지의 작은 부분) 을 맞추려 할 때, **"모든 조각이 무조건 맞춰져야 한다"**는 원칙을 고수했습니다. 하지만 이미지에 잡초나 배경 같은 '소음'이 섞여 있으면, 그 잡초까지 고양이 특징에 억지로 맞추려다 퍼즐이 망가집니다.

NA-MVP 의 방법:
이 방법은 **"중요한 조각만 골라서 맞추고, 잡초 같은 건 무시해도 돼"**라고 허용합니다.

• **불균형 최적 수송 (Unbalanced Optimal Transport)**이라는 기술을 써서, 이미지 속 '고양이 귀'나 '수염' 같은 신뢰할 수 있는 부분만 프롬프트 (지시문) 와 딱 맞게 연결합니다.
• 반면, '배경의 나무'나 '오염된 부분'처럼 신뢰할 수 없는 부분은 연결 강도를 낮추거나 아예 무시합니다.

이렇게 하면 AI 는 중요한 특징에 집중하고, 노이즈 (오류) 에는 덜 민감해집니다.

3. "무조건 고치기"가 아닌 "필요한 것만 고치기" (선택적 라벨 수정)

📖 비유: 시험지 채점
기존의 오류 수정 방법은 "점수가 낮은 학생은 모두 틀렸다고 가정하고, 점수를 다 바꿔준다"는 식이었습니다. 하지만 점수가 낮아도 정답인 학생 (어려운 문제) 까지 실수로 틀린 것으로 바꿔버리는 과도한 수정이 일어납니다.

NA-MVP 의 방법:
이 방법은 "정말 의심스러운 경우에만" 라벨을 고칩니다.

1. 먼저 AI 가 "이건 고양이일 확률이 90% 이상이야"라고 확신하면, 그대로 두지 않고 (신뢰할 수 있는 데이터).
2. "이건 고양이일 확률이 30% 밖에 안 되는데, 강아지라고 적혀 있네?"라고 의심스러운 데이터만 골라냅니다.
3. 의심스러운 데이터에 대해서만, AI 가 가장 잘 맞는 답을 찾아 라벨을 수정해 줍니다.

이렇게 필요한 곳만 선택적으로 수정하기 때문에, 정답인 데이터를 실수로 망가뜨리는 실수를 방지합니다.

---

💡 요약: 왜 이 방법이 특별한가요?

기존 방법들이 "전체 그림을 한 번에 외우려다" 오류에 넘어갔다면, NA-MVP 는 다음과 같이 접근합니다:

1. 여러 각도에서 보기: 한 가지 설명만 믿지 않고, "고양이일 수도 있고 아닐 수도 있다"는 관점을 동시에 가집니다.
2. 중요한 부분만 집중하기: 이미지의 모든 부분을 다 맞추려 하지 않고, 진짜 특징 (귀, 눈 등) 만 골라냅니다.
3. 신중하게 고치기: 무조건 다 고치는 게 아니라, 정말 틀린 것만 골라냅니다.

결국 이 방법은 데이터에 오류가 많고, 학습할 예시도 적은 (Few-shot) 상황에서도 AI 가 "어떤 정보는 믿고, 어떤 정보는 의심해야 할지" 스스로 판단하게 만들어, 훨씬 더 똑똑하고 튼튼한 AI 를 만들어냅니다.

기술 요약

1. 문제 정의 (Problem)

비전 - 언어 모델 (VLM, 예: CLIP) 은 프롬프트 튜닝 (Prompt Tuning) 을 통해 소수 샷 (Few-shot) 학습에서 뛰어난 성능을 보이지만, 노이즈가 포함된 레이블 (Noisy Labels) 에 매우 취약합니다.

• 기존 접근법의 한계:
  1. 단일 뷰 의존성 (Single-view reliance): 대부분의 기존 방법은 긍정 (Positive) 과 부정 (Negative) 프롬프트 한 쌍만 사용하여 전역적인 이미지 - 프롬프트 정렬을 수행합니다. 이는 세밀한 시각적 패턴과 다양한 의미적 단서를 포착하지 못해 노이즈의 영향을 줄이기 어렵습니다.
  2. 경직된 부정 레이블 (Rigid Negative Supervision): 명시적인 부정 클래스를 할당하는 방식은 고정된 반대 클래스에 의존하여, 노이즈 환경에서 부정확하거나 정보력이 부족한 경직된 감독 신호를 생성합니다.
  3. 거친 노이즈 제거 (Coarse Denoising): 고정된 임계값이나 전역적인 의사 레이블링 (Pseudo-labeling) 에 의존하여, 오히려 깨끗한 데이터를 삭제하거나 노이즈가 포함된 데이터를 유지하는 오류를 범합니다.

이러한 문제들은 소수 샷 환경에서 레이블 노이즈가 기울기 업데이트에 불균형적으로 큰 영향을 미쳐 모델 성능을 급격히 저하시킵니다.

2. 방법론 (Methodology: NA-MVP)

저자들은 노이즈 인식 (Noise-Aware) 을 위한 양방향 다중 뷰 프롬프트 정렬 (Bi-directional Multi-View Prompt Alignment) 프레임워크인 NA-MVP 를 제안합니다. 핵심 아이디어는 전역 정렬에서 영역 인식 (Region-aware) 세밀 정렬로 패러다임을 전환하여, 깨끗한 신호와 노이즈 신호를 명시적으로 구분하는 것입니다.

주요 구성 요소:

1. 양방향 다중 뷰 프롬프트 (Bi-directional Multi-View Prompts):

   • 각 클래스당 클린 지향 (Clean-oriented) 프롬프트와 노이즈 인식 (Noise-aware) 프롬프트 집합을 학습합니다.
   • 클린 프롬프트는 클래스 관련 의미론을 포착하고, 노이즈 인식 프롬프트는 오해의 소지가 있는 신호를 식별하고 억제하는 적응형 필터 역할을 합니다.
   • 명시적인 부정 레이블 대신, 학습되지 않은 클래스를 암시적 부정 (Implicit Negative) 으로 활용하여 유연성을 확보합니다.

2. 불균형 최적 수송 (Unbalanced Optimal Transport, UOT) 을 이용한 정렬:

   • 로컬 이미지 패치와 다중 뷰 프롬프트 간의 정렬에 UOT 를 적용합니다.
   • 기존 최적 수송 (OT) 의 엄격한 질량 보존 제약 조건을 완화하여, 불완전한 정렬 (Partial Alignment) 을 허용합니다.
   • 이를 통해 모델은 신뢰할 수 있는 시각적 영역 (Clean regions) 에 집중하고, 노이즈가 포함된 불신뢰 영역을 억제할 수 있습니다.

3. 정렬 신호 기반 선택적 레이블 정제 (Alignment-Guided Selective Refinement):

   • 클린 프롬프트와 노이즈 인식 프롬프트 간의 정렬 정도를 기반으로 적응형 임계값 ($\phi_{i,k}$) 을 도출합니다.
   • 이 임계값을 사용하여 노이즈가 의심되는 샘플만 식별하고, 전통적인 OT (Classical OT) 를 통해 해당 샘플의 레이블만 보정합니다.
   • 깨끗한 샘플은 변경하지 않고 유지함으로써, 전역적 의사 레이블링에서 발생하는 과교정 (Over-correction) 문제를 방지합니다.

4. 이미지 - 텍스트 양방향 프롬프트 손실 (ITBP Loss):

   • 이미지 특징이 클린 프롬프트에는 가깝게, 노이즈 프롬프트 및 관련 없는 부정 클래스에는 멀어지도록 유도하는 보조 손실 함수를 도입하여 학습을 안정화합니다.

3. 주요 기여 (Key Contributions)

• 새로운 개념적 관점: 소수 샷 노이즈 학습의 강건성을 전역 정렬이 아닌, 샘플 의존적이고 세밀한 의미론적 정렬 (Sample-dependent, fine-grained semantic alignment) 로 재정의했습니다.
• 노이즈 인식 정렬을 위한 양방향 다중 뷰 프롬프트: 클린과 노이즈 지향 프롬프트를 결합하고 UOT 와 연계하여, 노이즈 영역을 다운가중치하고 일관된 의미 신호를 강화하는 메커니즘을 제안했습니다.
• 선택적 레이블 정제 메커니즘: 정렬 신호를 활용하여 오분류된 샘플만 식별하고 OT 를 통해 정제하는 전략을 개발하여, 기존 방법들의 과교정 문제를 해결했습니다.
• 실험적 검증: 합성 및 실제 노이즈 데이터셋 (Caltech101, DTD, Flowers102, OxfordPets, UCF101, Food101N) 에서 SOTA 기법들을 일관되게 능가하는 성능을 입증했습니다.

4. 실험 결과 (Results)

• 성능: 합성 노이즈 (대칭/비대칭) 와 실제 노이즈 (Food101N) 환경에서 CoOp, GCE, JoAPR, NLPrompt 등 기존 최첨단 기법들보다 모든 데이터셋과 노이즈 비율에서 일관되게 높은 정확도를 기록했습니다.
• 고노이즈 환경 강건성: 노이즈 비율이 50% 이상으로 높아지는 극단적인 상황에서도 성능 저하가 적어, NA-MVP 의 강건성을 입증했습니다.
• Ablation Study:
  • 단일 프롬프트 대비 양방향 다중 뷰 프롬프트가 성능을 크게 향상시킵니다.
  • UOT 는 KL 발산이나 기존 OT 보다 노이즈가 있는 지역 정렬에 더 효과적입니다.
  • 선택적 정제 전략 ($\phi_{i,k}$ 사용) 은 전역 정제보다 낮은 노이즈 환경에서도 오분류된 레이블을 수정하지 않고 정확한 성능을 유지합니다.
• 시각화: 학습된 프롬프트와 수송 계획 (Transport Plan) 을 시각화한 결과, 클린 프롬프트와 노이즈 프롬프트가 서로 다른 객체 속성에 주의를 기울임이 확인되었습니다.

5. 의의 및 결론 (Significance)

NA-MVP 는 노이즈가 있는 소수 샷 학습 분야에서 강건성 (Robustness) 을 달성하기 위한 새로운 패러다임을 제시합니다.

• 기존의 "전역적 정렬"이나 "경직된 부정 레이블"에 의존하던 접근을 넘어, 데이터의 미세한 영역별 특성과 샘플 의존적 정렬을 통해 노이즈를 효과적으로 분리하고 보정합니다.
• 특히 UOT와 선택적 레이블 정제의 결합은, 노이즈가 포함된 데이터셋에서도 신뢰할 수 있는 학습을 가능하게 하여, 실제 세계의 불완전한 레이블 환경에서 VLM 을 배포하는 데 중요한 기여를 합니다.

이 연구는 프롬프트 학습이 노이즈에 민감하다는 기존 인식을 깨고, 구조화된 정렬 신호를 통해 노이즈를 관리할 수 있음을 보여주었습니다.