SOTA: Self-adaptive Optimal Transport for Zero-Shot Classification with Multiple Foundation Models

본 논문은 비전 - 언어 모델과 비전 전용 모델의 상호 보완적 강점을 학습 없이 최적 수송 기법을 통해 자동으로 통합하여 다양한 도메인에서 제로샷 분류 성능을 획기적으로 향상시키는 'SOTA' 프레임워크를 제안합니다.

핵심

🚀 SOTA: 여러 명의 '전문가'를 한 팀으로 묶어 문제를 해결하는 똑똑한 방법

이 논문은 **"제로샷 분류 (Zero-Shot Classification)"**라는 어려운 문제를 해결하기 위해, 여러 개의 거대 인공지능 모델 (Foundation Models) 을 하나로 묶어 더 똑똑하게 만드는 새로운 방법인 SOTA를 소개합니다.

쉽게 비유해서 설명해 드릴게요!

---

1. 문제 상황: "하나의 천재는 부족하다"

우리가 새로운 사물을 볼 때 (예: 낯선 병변이나 위성 사진), 기존에 배운 적이 없어도 그 사물이 무엇인지 알아맞히는 것이 '제로샷 분류'입니다.

지금까지 우리는 주로 CLIP 같은 '시각 - 언어 모델 (VLM)'을 썼습니다. 이 모델은 책이나 인터넷에 있는 글자 (텍스트) 정보를 많이 보고 학습했기 때문에, "이건 개야, 고양이야"라고 텍스트로 설명하면 잘 맞춥니다. 하지만 세부적인 특징 (예: 귀 모양, 털 결) 을 놓치기 쉽습니다. 마치 지식만 많고 눈이 나쁜 선생님 같아요.

반면 DINO 같은 '시각 전용 모델 (VFM)'은 이미지 자체를 아주 잘 분석합니다. 세부적인 특징을 놓치지 않지만, "이게 무슨 동물인지" **이름 (의미)**을 연결하는 데는 서툴러요. 마치 눈은 좋은데 이름은 모르는 화가 같아요.

또한, 같은 모델이라도 데이터셋 (시험지) 이 달라지면 실력이 천차만별입니다. 어떤 시험에서는 천재가 되고, 어떤 시험에서는 초보가 되기도 하죠.

2. 해결책: "팀워크가 최고야!" (SOTA)

저자들은 **"하나의 모델만 믿지 말고, 여러 모델의 장점을 합쳐보자!"**라고 생각했습니다. 하지만 단순히 점수를 더하는 게 아니라, 상황에 따라 누가 더 말을 잘 듣게 할지 스스로 결정하는 시스템을 만들었습니다.

이걸 **SOTA (Self-adaptive Optimal Transport)**라고 부릅니다.

🎨 비유: "현명한 팀장"과 "다양한 전문가들"

이 시스템을 하나의 **현명한 팀장 (SOTA)**과 여러 전문가들로 비유해 볼까요?

1. 전문가들 (Foundation Models):

   • CLIP 팀: "이건 '개'라고 적힌 책에서 봤어! 확실히 개야!" (글자 정보에 강함)
   • DINO 팀: "근데 이 귀 모양과 털 결을 봐. '개'보다는 '여우' 같아." (시각 정보에 강함)
   • 의사 팀 (의료용): "이 병변은 '암'처럼 보여."

2. 현명한 팀장 (SOTA) 의 역할:

   • 보통은 "CLIP 이 말이 많으니 CLIP 점수를 70%, DINO 는 30% 줘"라고 정해진 규칙을 따릅니다.
   • 하지만 SOTA는 다릅니다.
     • "오늘은 DINO 팀이 시각적으로 아주 확실한 증거를 냈네? DINO 의 말을 더 들어보자!"
     • "그런데 CLIP 팀이 특정 단어에서 아주 강력한 근거를 제시했어? CLIP 의 비중을 높이자!"
   • 핵심: 정해진 규칙 없이, 지금 이 순간 어떤 모델이 더 정확한지 스스로 계산해서 (Self-adaptive) 팀원들의 의견을 가장 잘 섞는 **최적의 조합 (Optimal Transport)**을 찾아냅니다.

3. 어떻게 작동할까? (간단한 과정)

1. 모두의 의견 수집: 여러 모델들이 각각 "이건 A 일 확률이 80%, B 일 확률이 20%"라고 의견을 냅니다.
2. 비용 계산: 각 모델의 의견이 얼마나 '틀릴 가능성이 높은지' (비용) 를 계산합니다.
3. 스마트한 조정: SOTA 는 이 의견들을 섞어서 최소 오차가 나오도록 자동으로 무게를 조절합니다.
   • 예: "DINO 가 시각적으로 아주 명확하니까 DINO 의견에 90% 비중을 주고, CLIP 은 10% 만 줘."
4. 최종 결정: 이렇게 조정된 의견으로 최종 답을 냅니다.

4. 왜 이 방법이 특별한가요?

• 학습 불필요 (Training-free): 모델을 다시 가르칠 필요가 없습니다. 이미 만들어진 모델들을 그냥 가져와서 팀장 (SOTA) 만 붙이면 됩니다.
• 블랙박스도 가능: 모델의 내부 구조를 몰라도 (API 만 있으면) 작동합니다.
• 어떤 분야든 잘함: 자연 사진, 의료 영상 (병변), 위성 사진 등 어떤 분야에서도 기존 단일 모델보다 훨씬 좋은 결과를 냈습니다.

5. 결론: "1+1 이 2 가 아니라 3 이 되는 마법"

이 논문은 **"하나의 거대 모델이 모든 것을 다 할 수는 없다"**는 사실을 인정하고, 서로 다른 강점을 가진 모델들을 지능적으로 조율하면 훨씬 더 똑똑해질 수 있음을 증명했습니다.

마치 지식 많은 학자와 눈이 좋은 화가가 함께 일할 때, 서로의 약점을 보완하며 완벽한 그림을 그리는 것과 같습니다. SOTA 는 바로 그 완벽한 조율자 역할을 해주는 것입니다.

---

한 줄 요약:

"서로 다른 AI 모델들이 서로의 약점을 보완하며, 상황에 따라 스스로 역할을 배분해 더 정확한 답을 내는 스마트한 팀워크 시스템입니다."

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 대규모 사전 학습을 거친 파운데이션 모델 (Foundation Models, FM) 은 추가 지도 학습 없이도 강력한 제로샷 (Zero-shot) 분류 능력을 보여줍니다. 대표적으로 텍스트 - 이미지 정렬이 가능한 **시각 - 언어 모델 (VLM, 예: CLIP)**과 순수 시각 특징을 학습한 **비전 전용 파운데이션 모델 (VFM, 예: DINO)**이 있습니다.
• 주요 문제점:
  1. 모델별 한계: VLM 은 텍스트 사전 지식에 과도하게 의존하여 세밀한 시각적 단서 (fine-grained visual cues) 를 포착하는 데 약점이 있습니다. 반면, VFM 은 풍부하고 구별력 있는 시각적 특징을 제공하지만, 카테고리 레이블과의 의미론적 정렬 (semantic alignment) 이 부족합니다.
  2. 데이터셋별 성능 편차: 서로 다른 파운데이션 모델은 사전 학습 방식의 차이로 인해 특정 데이터셋에서는 뛰어나지만 다른 데이터셋에서는 성능이 크게 떨어지는 경향이 있습니다.
  3. 기존 방법의 한계: 기존 연구들은 주로 단일 모델의 성능을 향상시키는 데 집중하거나 (프롬프트 엔지니어링, 라벨 전파 등), 여러 모델을 단순히 가중치 합산하는 방식에 그쳐 각 모델의 상호 보완적 강점을 충분히 활용하지 못했습니다.

2. 제안 방법: SOTA (Methodology)

저자들은 이러한 문제를 해결하기 위해 **SOTA (Self-adaptive Optimal TrAnsport)**라는 훈련이 필요 없는 (training-free) 앙상블 프레임워크를 제안했습니다. 핵심 아이디어는 각 파운데이션 모델을 '샘플과 클래스 간의 관련성을 측정하는 서로 다른 관점'으로 간주하고, 자기 적응형 최적 수송 (Self-adaptive Optimal Transport, OT) 기법을 통해 이를 통합하는 것입니다.

주요 구성 요소:

1. 확률 분포 도출:
   • VFM (DINO 등): 가우시안 혼합 모델 (GMM) 을 사용하여 시각 특징을 클래스에 매핑하는 사후 확률 분포를 생성합니다.
   • VLM (CLIP 등): 이미지와 텍스트 임베딩 간의 유사도 (코사인 유사도) 를 기반으로 소프트맥스 확률 분포를 생성합니다.
2. 비용 행렬 (Cost Matrix) 변환: 각 모델의 확률 분포를 비용 행렬로 변환합니다 (높은 확률 = 낮은 비용).
3. 자기 적응형 최적 수송 (Self-adaptive OT):
   • 여러 모델의 비용 행렬을 단순히 가중치 합산하는 대신, **최적 수송 계획 (Transport Plan, $T$)**을 학습하여 샘플을 클래스로 매핑합니다.
   • 핵심 혁신: 라벨이 없는 제로샷 환경에서 모델별 가중치를 고정하지 않고, **최적 수송 거리 (transport distance)**를 기반으로 각 모델의 기여도를 **자동으로 조정 (Self-adaptive)**합니다. 신뢰도가 높거나 비용이 낮은 모델은 더 큰 가중치를 부여받습니다.
   • 연결 학습 (Joint Learning): VFM 의 GMM 파라미터와 OT 계획 ($T$) 을 동시에 최적화합니다. 이를 통해 시각적 일관성과 의미론적 일관성을 모두 갖춘 클러스터가 형성되도록 유도합니다.
4. 추론 방식:
   • 전도적 (Transductive): 학습 데이터 (테스트 세트 전체) 의 전역 분포 구조를 활용하여 직접 예측을 수행합니다.
   • 유도적 (Inductive): 학습 데이터에서 GMM 파라미터와 적응형 가중치를 학습한 후, 이를 테스트 데이터에 적용하여 분류기를 구성합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 관점: 제로샷 분류에서 서로 다른 파운데이션 모델 (VFM 과 VLM) 의 상호 보완적 강점을 체계적으로 연구하고 통합하는 첫 번째 작업입니다.
2. 혁신적인 방법론:
   • 모델의 가중치를 학습 데이터 없이 자동으로 조정하는 자기 적응형 OT 메커니즘을 도입했습니다.
   • 파운데이션 모델의 가중치에 접근할 수 없는 **블랙박스 모델 (API 만 접근 가능)**의 성능도 향상시킬 수 있습니다.
   • 추가 미세 조정 (Fine-tuning) 이나 지도 학습 없이 훈련이 필요 없는 (Training-free) 방식을 제공합니다.
3. 압도적인 성능: 자연 이미지, 의료 병리학, 원격 탐사 등 26 개의 다양한 벤치마크에서 단일 최선 모델 (Best Single Model) 대비 상당한 정확도 향상을 달성했습니다.

4. 실험 결과 (Results)

• 데이터셋: 자연 이미지 (ImageNet, StanfordCars 등), 원격 탐사 (AID, EuroSAT 등), 의료 병리학 (SICAP-MIL, SKINCANCER 등) 총 26 개 데이터셋.
• 성능:
  • 전도적 설정 (Transductive): 자연 이미지 데이터셋에서 기존 최강 경쟁자 (TransCLIP 등) 보다 평균 약 6.9% 높은 정확도를 기록했습니다. 특히 DINOv3 와 같은 강력한 비전 모델을 결합했을 때 성능이 극대화되었습니다.
  • 의료 및 원격 탐사: 도메인 특화 모델 (CONCH, GeoRSCLIP 등) 과 일반 모델 (CLIP) 을 결합하여, 단일 모델보다 훨씬 높은 일반화 능력을 보였습니다.
  • Ablation Study:
    • VFM 도입의 중요성: VFM 의 시각적 특징을 추가하지 않고 VLM 만 사용할 때보다 성능이 크게 향상됨을 확인했습니다.
    • 자기 적응성의 중요성: 고정 가중치 방식보다 자기 적응형 가중치 방식이 다양한 데이터셋에서 더 안정적인 성능을 보였습니다.
    • 연결 학습의 중요성: GMM 과 OT 를 분리하여 학습하는 것보다 연결 (Joint) 학습할 때 상호 보완 효과가 더 큽니다.
• 수렴성: 알고리즘은 약 5~10 번의 반복(iteration) 내에 빠르게 수렴하며, 계산 비용이 낮습니다.

5. 의의 및 결론 (Significance)

이 논문은 단일 파운데이션 모델의 한계를 넘어, 다양한 모델의 출력을 지능적으로 통합함으로써 제로샷 분류의 성능을 획기적으로 높일 수 있음을 증명했습니다. 특히 훈련 비용 없이 (Training-free) 그리고 라벨 없이 모델 간 가중치를 자동으로 최적화하는 메커니즘은 실제 응용 환경 (블랙박스 모델 사용, 도메인 변화 등) 에서 매우 실용적입니다.

SOTA 는 시각적 특징의 풍부함과 의미론적 정렬의 강점을 모두 활용하여, 자연 이미지뿐만 아니라 의료 및 원격 탐사와 같은 전문 분야에서도 강력한 일반화 능력을 보여주었습니다. 이는 향후 다중 모델 앙상블 및 제로샷 학습 연구에 새로운 방향을 제시합니다.