Large Multimodal Models as General In-Context Classifiers

이 논문은 대규모 멀티모달 모델 (LMM) 이 제로샷 성능은 CLIP 기반 모델보다 낮을지라도 소수의 컨텍스트 예시를 활용하면 분류 성능을 크게 향상시킬 수 있음을 입증하고, 개방형 세계 설정에서 컨텍스트 정보의 불완전성을 해결하기 위해 제안된 훈련 없는 CIRCLE 방법을 통해 LMM 이 범용 분류기로서의 잠재력을 보여준다고 주장합니다.

핵심

이 논문은 **"거대 멀티모달 모델 (LMM)"**이라는 최신 AI 기술이 이미지 분류 (무엇이 사진인지 맞추기) 작업에서 어떻게 더 똑똑해질 수 있는지를 보여주는 연구입니다.

쉽게 말해, **"AI 가 사진을 보고 '이건 고양이예요'라고 맞출 때, 왜 혼자서 고민하는 것보다 다른 예시들을 보여주고 함께 고민하게 하면 훨씬 잘 맞출까?"**를 연구한 내용입니다.

이 내용을 일상적인 비유로 설명해 드릴게요.

---

1. 문제 상황: "혼자서 시험 보는 AI" vs "비교하는 AI"

과거에는 CLIP이라는 AI 가 이미지 분류의 왕이었습니다.

• CLIP 의 방식: "이 사진이 '고양이'와 더 닮았을까, '개'와 더 닮았을까?"라고 사전 학습된 지식만으로 바로 답을 냅니다. (혼자서 시험을 보는 것)
• LMM 의 방식: 최근 등장한 LMM(예: Qwen, LLaVA 등) 은 ChatGPT 처럼 대화도 하고 그림도 그릴 수 있는 매우 똑똑한 AI 입니다. 하지만 분류만 시키면 CLIP 보다 성적이 나빴습니다. 마치 "수학은 천재인데, 객관식 시험만 보면 실수를 많이 하는 학생" 같았습니다.

연구자의 의문: "LMM 이 진짜로 덜 똑똑한 걸까? 아니면 시험을 보는 방법이 잘못된 걸까?"

2. 해결책 1: "친구에게 힌트 받기" (Closed-World)

연구자들은 LMM 에게 **"이전 시험지 몇 장을 보여주고 답을 맞춰봐"**라고 했습니다. 이를 **맥락 학습 (In-Context Learning)**이라고 합니다.

• 비유: 시험장에서 친구가 "아까 문제 1 번은 '고양이'였어"라고 귀띔해 주면, LMM 은 그 힌트를 바탕으로 훨씬 정확하게 답을 맞춥니다.
• 결과: LMM 은 CLIP 보다 **적은 힌트 (예시)**로도 훨씬 빠르게 실력을 끌어올렸습니다. 마치 "기본 지식은 CLIP 이 많지만, 힌트를 받으면 LMM 이 더 빠르게 적응한다"는 것을 발견한 것입니다.

3. 해결책 2: "혼란스러운 상황에서의 'CIRCLE' 방법" (Open-World)

하지만 진짜 어려운 건 정답이 정해져 있지 않은 상황입니다.

• 상황: "이 사진에 뭐가 있을까?"라고 물었을 때, 정답지 (고양이, 개, 새...) 가 없는 경우입니다.
• 문제: LMM 에게 아무 사진이나 보여주고 "이게 뭐야?"라고 물으면, AI 는 헷갈려서 엉뚱한 답을 말하거나 (할루시네이션), 너무 추상적인 답을 줍니다. (예: "이건 동물이에요" vs "이건 스핑크스 고양이예요")

여기서 연구자들은 CIRCLE이라는 새로운 방법을 고안했습니다.

🔄 CIRCLE: "스스로를 교정하는 거울"

이 방법은 AI 가 스스로의 답을 수정해 나가는 과정입니다.

1. 1 단계 (가짜 답): AI 가 보여준 예시 사진들에 대해 일단 대충 이름을 붙여줍니다. (예: "이건 개인 것 같아", "이건 고양이인 것 같아")
2. 2 단계 (거울 보기): 이제 "이 '개'라고 한 사진은, 다른 '개' 사진들과 비교했을 때 정말 개 맞나?"라고 다시 물어봅니다.
3. 3 단계 (수정): AI 는 다른 예시들을 보며 "아, 내가 방금 '개'라고 한 건 사실 '여우'였네"라고 스스로 깨닫고 이름을 고칩니다.
4. 반복: 이 과정을 여러 번 반복하면, AI 가 붙인 이름들이 점점 더 정확해집니다.

• 비유: 마치 스스로를 가르치는 선생님이 됩니다.
  • 처음엔 "이건 사과야"라고 말하다가, 옆에 있는 다른 과일들을 보며 "아, 이건 배였네"라고 고칩니다.
  • 이 과정을 반복하면, AI 는 스스로 만든 **정답지 (맥락)**를 만들어내고, 그 정답지를 바탕으로 새로운 사진을 아주 정확하게 분류합니다.

4. 결론: 왜 이 연구가 중요한가?

• 기존 생각: "이미지 분류는 CLIP 같은 전용 AI 가 최고야. 대화하는 AI(LMM) 는 너무 느리고 틀려."
• 이 논문의 발견: "아니야! LMM 은 **적절한 힌트 (CIRCLE 방법)**만 주면, CLIP 보다 훨씬 더 똑똑하고 유연하게 분류할 수 있어."

한 줄 요약:

"AI 에게 정답을 알려주지 않아도, **스스로 예시들을 비교하고 수정해 나가는 방법 (CIRCLE)**을 가르쳐주면, 거대 AI 가 이미지 분류의 새로운 왕이 될 수 있다!"

이 연구는 앞으로 AI 가 특정 작업에 맞춰서 따로 훈련 (학습) 시키지 않아도, 유연하게 다양한 일을 처리할 수 있는 '만능 도구'가 될 수 있음을 보여줍니다.

기술 요약

1. 문제 정의 (Problem)

최근 이미지 분류 작업에서는 CLIP과 같은 대비적 (Contrastive) 비전 - 언어 모델 (VLM) 이 제로샷 (Zero-shot) 성능이 뛰어나기 때문에 표준으로 자리 잡았습니다. 반면, 대규모 멀티모달 모델 (LMM, 예: GPT-4V, LLaVA 등) 은 복잡한 생성 작업에는 강점이 있지만, 분류 작업에서는 VLM 보다 성능이 낮다고 알려져 왔습니다.

이 연구는 다음과 같은 근본적인 질문을 제기합니다:

• LMM 은 분류 작업에서 본질적으로 VLM 보다 열등한가?
• 아니면 LMM 이 단순히 작업에 적절하게 조건부 (Conditioning) 처리되지 않았기 때문인가?

기존 연구들은 LMM 을 제로샷 설정이나 단순한 Few-shot 설정에서 평가했으나, LMM 의 핵심 강점인 인-컨텍스트 학습 (In-Context Learning, ICL) 의 잠재력을 충분히 활용하지 못했습니다. 특히 오픈 월드 (Open-World) 환경 (미리 정의된 클래스가 없는 상황) 에서 LMM 의 성능을 극대화할 수 있는 방법이 부재했습니다.

2. 방법론 (Methodology)

이 논문은 ICL을 통해 LMM 의 분류 능력을 재평가하고, 오픈 월드 환경에서 이를 개선하기 위한 새로운 방법을 제안합니다.

A. 폐쇄형 월드 분류 (Closed-World Classification) 분석

• 비교 대상: 대비적 VLM (Tip-Adapter 등) vs. 생성형 LMM (Vanilla ICL).
• 실험 설정: 미리 정의된 클래스 목록이 주어지는 상황에서, 몇 개의 예시 (Context) 를 LMM 에 입력하여 성능을 측정했습니다.
• 발견: 제로샷 상태에서는 VLM 이 우세하지만, 적은 수의 인-컨텍스트 예시 (예: 16-shot) 를 제공하면 LMM 의 성능이 급격히 향상되어 VLM 을 능가하거나 맞먹는 수준에 도달합니다. 이는 LMM 이 컨텍스트를 통해 분류 태스크에 더 잘 적응할 수 있음을 보여줍니다.

B. 오픈 월드 분류 (Open-World Classification) 및 CIRCLE 제안

오픈 월드 환경 (클래스 레이블이 없음) 에서는 기존 ICL 이 실패하는 문제가 있었습니다. 레이블이 없는 컨텍스트 이미지를 단순히 넣으면 모델이 혼란을 겪거나 잘못된 가짜 레이블 (Pseudo-label) 을 생성하기 때문입니다.

이를 해결하기 위해 CIRCLE (CIRCLE Iteratively Refines Contextual Learning Examples) 을 제안했습니다.

• 핵심 아이디어: 레이블이 없는 컨텍스트 이미지들을 스스로 학습하여 레이블을 정제하는 반복적 자기 정제 (Iterative Self-Refinement) 메커니즘입니다.
• 작동 원리:
  1. 초기 가짜 레이블 생성: LMM 이 레이블이 없는 컨텍스트 이미지들에 대해 초기 가짜 레이블을 생성합니다.
  2. 반복적 정제 (Leave-one-out): 각 이미지 $i$에 대해, 나머지 모든 이미지 $j (\neq i)$ 와 그 이미지들의 현재 가짜 레이블을 컨텍스트로 사용하여 이미지 $i$의 레이블을 다시 예측합니다.
  3. 수렴: 이 과정을 여러 번 반복하면, 이미지 간의 상호 의존성 (Inter-sample dependencies) 을 고려하여 일관되고 정확한 가짜 레이블 세트를 구성하게 됩니다.
  4. 최종 분류: 이렇게 정제된 컨텍스트를 사용하여 최종 테스트 이미지를 분류합니다.
• 특징: 추가적인 학습 (Training) 이나 인간 주석 (Annotation) 이 필요 없는 Training-free 방법론입니다.

3. 주요 기여 (Key Contributions)

1. LMM 의 ICL 성능 체계적 분석: 폐쇄형 월드 분류에서 LMM 이 ICL 을 통해 VLM 을 능가할 수 있음을 최초로 체계적으로 증명했습니다.
2. CIRCLE 알고리즘 제안: 레이블이 없는 이미지만으로 오픈 월드 분류를 수행할 수 있는 새로운 ICL 전략을 제시했습니다. 이는 컨텍스트 내의 상호 의존성을 활용하여 가짜 레이블을 반복적으로 정제합니다.
3. 범용 분류기로서의 LMM 입증: 오픈 월드 설정에서 CIRCLE 을 적용한 LMM 은 기존 VLM 기반 방법론 (CaSED 등) 과 단순 ICL 을 모두 압도하는 성능을 보여주었습니다.

4. 실험 결과 (Results)

• 폐쇄형 월드 (Closed-World):

  • 16-shot 설정에서 Qwen2-VL 7B 와 같은 강력한 LMM 은 CLIP ViT-L/14(최강의 VLM) 와 동등하거나 더 나은 정확도를 달성했습니다.
  • LMM 은 VLM 에 비해 컨텍스트 샘플 수 증가에 따른 성능 향상 (Sample Efficiency) 이 훨씬 컸습니다 (최대 +50% 이상 향상).

• 오픈 월드 (Open-World):

  • 기존 ICL 의 한계: 무작위 컨텍스트나 단순 가짜 레이블 (Pseudo ICL) 을 사용하면 오히려 제로샷 성능보다 떨어지는 경우가 많았습니다.
  • CIRCLE 의 성과: CIRCLE 을 적용한 LMM 은 모든 데이터셋 (Prototypical, Fine-grained 등) 에서 Llama Inclusion (LI), Semantic Similarity (SS), Concept Similarity (mCS) 등 모든 평가 지표에서 VLM 기반 방법론 (CaSED) 과 기존 ICL 을 압도했습니다.
  • 예시: Qwen2.5-VL 7B 의 경우, CIRCLE 을 사용하면 Prototypical 데이터셋에서 LI 점수가 82.9(Zero-shot) 에서 94.9 로 크게 향상되었습니다.

• 스트리밍 (Streaming) 환경:

  • 테스트 데이터 스트림에서 CIRCLE 을 적용해도 일관된 성능 향상을 보여주어, 실제 온라인 적용 가능성도 입증되었습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 패러다임 전환: LMM 은 단순한 생성 모델이 아니라, 적절한 컨텍스트 관리 (ICL) 를 통해 범용 분류기 (General Classifier) 로서 VLM 을 대체할 수 있음을 증명했습니다.
• 오픈 월드 해결: 레이블이 없는 환경에서도 LMM 이 스스로 컨텍스트를 정제하여 높은 정확도의 분류가 가능하다는 점을 보여주었습니다.
• 실용성: CIRCLE 은 추가 학습 없이 적용 가능한 Training-free 방법론으로, 리소스가 제한된 환경이나 새로운 도메인에서 즉시 활용 가능한 강력한 베이스라인을 제공합니다.

결론적으로, 이 논문은 LMM 의 잠재력을 ICL 을 통해 unlocking하며, 특히 CIRCLE이라는 메커니즘을 통해 오픈 월드 분류라는 난제를 해결함으로써 멀티모달 모델의 범용성을 크게 확장시켰습니다.