🤖 machine learning

Von Mises-Fisher Mixture Model with Dynamic Shrinkage for Realistic Test-Time Transduction

본 논문은 비전-언어 모델의 성능 붕괴를 방지하고 클래스 불균형을 견고하게 처리하기 위해, 제로샷 사전 확률(zero-shot priors)에 의해 구동되는 동적 수축(dynamic shrinkage)을 갖춘 폰 미제스-피셔 혼합 모델(Von Mises-Fisher mixture model)을 활용하는 학습이 필요 없는 모델 불가지론적 테스트 시간 변환 방법인 MOON을 제안한다.

원저자: Jiazhen Huang, Zhiming Liu, Changhu Wang, Wei Ju, Ziyue Qiao, Xiao Luo

게시일 2026-07-20

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jiazhen Huang, Zhiming Liu, Changhu Wang, Wei Ju, Ziyue Qiao, Xiao Luo

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

상상해 보세요. 당신에게는 세상의 모든 책을 읽고 인터넷의 모든 사진을 본 초지능 로봇이 있습니다. 이 로봇은 세상을 이해하는 데 천재적이지만, 특정하고 까다로운 상황에 대해서는 아직 테스트를 받아본 적이 없습니다. 이것이 바로 **시각-언어 모델(Vision-Language Models, VLMs)**의 세계입니다. 이들은 사진을 보고 설명하거나, 문장을 읽고 장면을 상상할 수 있는 AI 시스템입니다. 이들은 믿기지 않을 정도로 강력하지만, 보통 거대하고 완벽하게 균형 잡힌 연습 예시가 주어졌을 때 가장 잘 작동합니다.

하지만 현실 세계는 무질서합니다. 예를 들어, 당신이 로봇에게 사진 더미를 분류하라고 주었는데, 그 더미가 이상하다고 가정해 봅시다. 사진의 99%는 고양이 사진이고, 단 한 장만이 강아지 사진인 식이죠. 또는 사진들이 보는 동안 계속 변해서, 자동차만 길게 이어지다가 갑한 사이에 새들이 쏟아져 나올 수도 있습니다. 이를 **클래스 불균형(class imbalance)**이라고 부릅니다. 로봇이 이러한 불균형하고 무질서한 데이터 더미로부터 실시간으로 학습하려고 할 때(이를 **테스트 타임 트랜스덕션(test-time transduction)**이라 합니다), 로봇은 종종 혼란에 빠집니다. 너무 많은 것을 보았기 때문에 모든 것을 고양이라고 생각하기 시작하거나, 드문 강아지 사진을 보는 것이 두려워 정답을 맞히기를 거부할 수도 있습니다. 과학자들의 큰 질문은 이것입니다. 어떻게 하면 이 로봇들을 처음부터 다시 훈련시키지 않고도, 데이터가 불균형하고 혼란스러운 상황에서도 침착함과 정확성을 유지하도록 가르칠 수 있을까?

여기서 황지전(Jiazhen Huang) 연구팀이 제안한 새로운 방법인 MOON이 등장합니다. MOON을 우리 로봇의 뇌를 위한 매우 현명하고 신중한 사서라고 생각해 보세요. 로봇이 새로운 사진 묶음을 분류하려고 할 때, 로봇은 대개 이전에 배웠던 지식을 바탕으로 빠르게 추측합니다("제로샷" 추측). 하지만 어떤 항목은 매우 희귀하고 어떤 항목은 흔한 무질서한 더미 속에서, 로봇의 빠른 추측은 소음이 심하고 신뢰할 수 없을 수 있습니다.

MOON은 **동적 수축(Dynamic Shrinkage)**이라는 영리한 기술을 사용하여 개입합니다. 로봇이 붐비는 방 안에서 친구들의 중심점을 찾으려고 노력하고 있다고 상상해 보세요. 그룹이 크고 명확하다면, 로봇은 자신의 눈을 완전히 신뢰할 것입니다. 하지만 그룹이 아주 작거나, 방 안에 친구들과 전혀 닮지 않은 낯선 사람들로 가득 차 있다면, 로봇은 불안해질 것입니다. MOON은 로봇에게 이렇게 말합니다. "이봐, 확신이 없다면 네 떨리는 추측을 너무 믿지 마. 네 답을 안전하고 신뢰할 수 있는 기존 지식 쪽으로 더 가까이 끌어당겨."

MOON의 마법은 얼마나 많이 뒤로 물러날지에 대해 고정된 규칙을 사용하지 않는다는 점에 있습니다. 대신, MOON은 동적으로 조정합니다.

개별 수준에서: 만약 로봇이 사진을 보고 매우 혼란스러워한다면(높은 "엔트로피"), MOON은 "그 추측은 무시해; 너무 노이즈가 심해"라고 말합니다.
그룹 수준에서: 만약 로봇이 더미에서 거의 나타나지 않는 카테고리의 항목(예: 고양이 바다 속에 있는 단 한 마리의 강아지)을 본다면, MOON은 "그 희귀한 항목 때문에 네 전체 이해가 바뀌도록 내버려 두지 마. 네가 훈련을 통해 배운 강아지에 대한 지식을 고수해"라고 말합니다.

연구진은 꽃, 자동차, 장면, 질감 등 다양한 11개의 데이터셋을 통해 이를 테스트했습니다. 그들은 다른 방법들이 데이터가 불균형할 때 종종 무너지거나 형편없는 성능을 보이는 반면, MOON은 안정적으로 유지된다는 것을 발견했습니다. 실제로, 거대한 ImageNet 데이터셋에서 MOON은 10가지 시나리오에 걸쳐 로봇의 정확도를 13.2% 향상시켰으며, 이전의 최고 방법들을 큰 차이로 앞질렀습니다. 이는 추가적인 학습 데이터나 복잡한 튜닝 없이 수행되었으며, 수천 개의 샘플을 단 몇 밀리초 만에 처리할 정도로 매우 빨랐습니다.

논문은 모든 데이터를 마치 완벽하게 균형 잡힌 것처럼 취급하거나, 실수를 바로잡기 위해 단일한 정적 규칙을 사용할 수 있다는 생각에 명시적으로 반대합니다. 연구진은 이러한 "앵커링(anchoring)" 메커니즘(뒤로 물러날 안전한 기준점)이 없는 방법들은 노이즈가 심한 국소 데이터에 과적합되어 붕괴하는 경향이 있음을 보여줍니다. 또한, 앵커를 사용하는 방법이라 할지라도 클래스의 희귀성이나 흔함에 따라 변하지 않는 "정적"인 강도를 사용하기 때문에 실패하는 경우가 많음을 보여줍니다. MOON은 이 수축 강도를 로봇이 실제로 가진 증거에 따라 실시간으로 변하는 동적인 것으로 만듦으로써 이를 해결합니다.

요약하자면, 저자들은 로봇의 지식을 구형 위의 점들로 모델링하고(Von Mises-Fisher mixture 사용), 필요할 때만 안전한 앵커 쪽으로 추측을 부드럽게 끌어당김으로써, 이 강력한 AI 시스템을 실제의 무질서한 세상에서 훨씬 더 견고하게 만들 수 있다고 제안합니다. 그들은 광범-한 실험을 통해 MOON이 단순한 이론적 아이디어가 아니라, 다양한 유형의 이미지와 AI 모델에 걸쳐 작동하는 실용적이고 효율적인 도구임을 입증했습니다. 이는 때때로 AI가 할 수 있는 가장 똑똑한 일은 자신의 직감을 믿어야 할 때와 노트를 다시 확인해야 할 때를 아는 것임을 상기시켜 줍니다.

기술 요약: 현실적인 테스트 타임 전이(Transduction)를 위한 동적 수축을 적용한 von Mises-Fisher 혼합 모델

1. 문제 정의

CLIP과 같은 시각-언어 모델(VLM)은 공유된 잠재 공간에서 시각적 및 텍스트 개념을 정렬함으로써 놀라운 제로샷 능력을 입증해 왔습니다. 그러나 오직 레이블이 없는 데이터만을 사용하여 테스트 타임의 성능을 향상시키는 것은, 특히 현실적인 배포 시나리오 하에서는 여전히 도전적인 과제입니다.

기존의 테스트 타임 적응(TTA) 및 전이(transductive) 방법들은 클래스 분포가 균형 잡혀 있거나 클래스 주변 분포가 균등하다고 가정하는 경우가 많습니다. 그러나 실제 테스트 데이터 스트림은 매우 불균형한 클래스 분포(예: 희소한 배치, 롱테일 분포 또는 비독립 동일 분포(non-i.i.d.)의 시간적 상관관계)를 나타내는 경우가 빈번합니다. 이러한 조건 하에서, 일반적으로 소프트 확률 클러스터링에 의존하는 표준 전이 방법들은 성능 저하나 심지어 파멸적인 붕괴(catastrophic collapse)를 겪게 됩니다. 이러한 실패는 두 가지 주요 문제에서 기인합니다:

로컬 통계에 대한 과적합: 사전 지식에 기반하여 추정치를 고정하는 메커니즘이 없으면, 모델은 배치 내 다수 클래스의 편향된 통계에 과적합되어 소수 클래스나 부재하는 클래스에서의 오류를 증폭시킵니다.
정적 수축 모델링: KL-다이버전스 앵커를 통해 규제화를 포함하는 기존 방식들은 수축 강도를 위한 정적 하이퍼파라미터를 사용하는 경우가 많습니다. 이는 모든 클래스와 인스턴스에 대해 동일한 신뢰도를 가정하며, 특정 배치 내의 다양한 신뢰도와 클래스 존재 여부에 따라 동적으로 조정하지 못합니다.

2. 방법론: MOON

저자들은 현실적인 테스트 타임 전이를 위해 MOON(Mixture of von Mises-Fisher Models with Dynamic Shrinkage)을 제안합니다. 이 방법은 훈련이 필요 없고 모델에 구애받지 않는(model-agnostic) 방식이며, **패널티화된 가능도 추정(Penalized Likelihood Estimation, PLE)**에 근거하여 정규화된 VLM 임베딩이 존재하는 단위 초구체(unit hypersphere) 상에서 작동합니다.

2.1 이론적 토대: PLE와 적응형 수축

저자들은 PLE의 관점에서 전이를 재검토하여, 목적 함수를 음의 로그 가능도(NLL)와 규제 항의 합으로 최소화하는 것으로 정식화합니다. 그들은 KL-다이버전스 앵커 항(제로샷 사전 확률 기반)을 포함하는 것이 자연스럽게 적응형 수축 동작을 생성함을 이론적으로 입증합니다.

메커니즘: 클래스 통계량의 업데이트는 경험적 추정치( $\hat{\mu}_k$ )와 사전 앵커( $\mu'_k$ )의 볼록 조합(convex combination)이 됩니다:
$\mu_k = \beta_k \hat{\mu}_k + (1 - \beta_k) \mu'_k$
여기서 수축 강도 $\beta_k$ 는 유효 샘플 수( $n_k$ )와 앵커 가중치( $\alpha$ )의 비율에 의해 결정됩니다.
함의: 지원(support)이 풍부한 클래스는 표준 최대 가능도 추정(MLE)에 가까워지는 반면, 희소하거나 부재하는 클래스는 사전 확률 쪽으로 강력하게 규제되어 부정적 전이(negative transfer)를 방لو합니다.

2.2 MOON의 핵심 구성 요소

MOON은 정규화된 임베딩의 위상적 특성에 부합하는 von Mises-Fisher (vMF) 혼합 모델을 사용하여 이 이론을 구현합니다.

인스턴스 수준의 동적 수축 ( $\gamma$ ):
- 배치 내의 노이즈 섞인 예측을 처리하기 위해, MOON은 각 샘플에 대해 엔트로피 기반 가중치 $\gamma_i$ 를 도입합니다.
- 예측 엔트로피가 높은 샘플(불확실한 예측)은 가능도 계산에서 가중치가 낮아져, 파라미터 추정 과정 중 신뢰할 수 없는 할당을 억제합니다.
클래스 수준의 동적 수축 ( $\alpha_k$ ):
- 정적 스칼라 $\alpha$ 대신, MOON은 제로샷 사전 확률로부터 유도된 클래스별 가중치 $\alpha_k$ 를 사용합니다.
- $\alpha_k$ 는 평균과 최대 제로샷 신뢰도의 기하 평균으로 정의되는 클래스 신뢰도( $\lambda_k$ )에 반비례합니다.
- 효과: 신뢰도가 높은 클래스(존재 가능성이 높은 클래스)는 모델이 경험적 데이터로부터 더 많이 학습할 수 있게 허용하며( $\beta_k \to 1$ ), 신뢰도가 낮거나 이상치인 클래스(존재하지 않을 가능성이 높은 클래스)는 앵커 쪽으로 강하게 수축되도록 강제하여( $\beta_k \to 0$ ) 존재하지 않는 클래스로부터의 부정적 전이를 완화합니다.
최적화:
- 이 방법은 소프트 레이블 할당( $z$ )과 혼합 파라미터( $\mu, \kappa$ )를 교대로 업데이트하는 블록 연속 최소화(Block Successive Minimization, BSUM) 알고리즘을 사용합니다.
- 업데이트는 폐쇄형(closed-form)으로 유도되어 계산 효율성을 보장합니다. 알고리즘은 매우 빠르게 수렴하며, 종종 몇 번의 반복만으로 완료됩니다.

3. 주요 기여

새로운 이론적 관점: 본 논문은 클래스 불균형 하에서 기존 전이 방법들의 취약성을 체계적으로 분석합니다. 저자들은 앵커링(anchoring)의 부재와 정적 수축 모델링이 현실적인 설정에서 실패의 근본 원인임을 밝히며, KL-앵커링된 PLE가 본질적으로 적응형 수축을 제공함을 증와합니다.
새로운 방법론 (MOON): 인스턴스 및 클래스 수준 모두에서 동적, 데이터 기반 수축을 결합한 새로운 vMF 혼합 프레임워크를 제안합니다. 이 설계는 신뢰할 수 없는 할당을 효과적으로 억제하고, 태스크별 하이퍼파라미터 튜닝 없이도 이상치 클래스로부터의 해로운 업데이트를 방지합니다.
실증적 검증: 11개의 데이터셋과 두 가지 현실적인 설정(제한된 유효 클래스를 가진 배치 적응 및 비독립 동일 분포 스트림을 가진 온라인 적응)에 걸친 광범위한 실험을 통해 접근 방식의 유효성을 입사합니다.

4. 실험 결과

MOON은 CLIP ViT-B/16 및 기타 백본을 사용하여 SOTA(State-of-the-Art) 베이스라인들(TransCLIP, StatA, ADAPT 및 다양한 온라인 TTA 방법 포함)과 비교 평가되었습니다.

성능: MOON은 베이스라인들을 일관되적으로 능가합니다. 극심한 클래스 불균형(매우 낮은 $K_{eff}$ )이 있는 ImageNet 배치 적응 환경에서, MOON은 제로샷 CLIP 성능을 16.2% 향상시켜(82.8% 도달) 가장 강력한 베이스라인인 StatA를 8.8% 차이로 압도했습니다. 또한 다양한 불균형 시나리오의 11개 데이터셋 중 10개에서 최고 성능을 달성했습니다.
효율성: MOON은 훈련이 필요 없으며 매우 효율적입니다. 수천 개의 샘플을 수십 밀리초 내에 처리하며, 표준 CLIP 추론 레이턴시의 단 **3.3%**만을 요구합니다. 이는 일부 가우시안 기반 방법들이 요구하는 비용이 많이 드는 그래디언트 역전파 및 내부 루프 최적화를 피합니다.
강건성: 이 방법은 다양한 배치 크기, 모델 아키텍처(ResNet, ViT) 및 VLM 규모(최대 1.1B 파라미터)에 대해 강건함을 보여줍니다. 클래스 희소성이 예측 불가능하게 변동하는 "Random" 시나리오에서도 성능을 유지합니다.
수렴성: 분석 결과, 앵커링 메커니즘이 없는 방법들은 반복 과정에서 발산하거나 붕괴하는 경향이 있는 반면, MOON은 빠르게 수렴함(종종 3회 반복 이내)을 보여줍니다.

5. 의의 및 주장

본 논문은 MOON이 클래스 분포를 알 수 없고 불균형한 실제 환경에서 VLM을 배포하기 위한 실용적이고 효과적이며 효율적인 솔루션을 제공한다고 주장합니다.

실용성: 블랙박스 가정을 따르고 태스크별 튜닝을 요구하지 않으므로, MOON은 원활한 배포를 위한 준비가 되어 있습니다.
신뢰성: 클래스 불균형 상황에서의 핵심 문제인 부정적 전이를 해결하여, VLM이 희소하거나 왜곡된 데이터 스트림을 만났을 때 성능이 저하되지 않도록 보장합니다.
일반성: vMF 분포의 사용과 PLE에 기반한 이론적 토대는 이 접근 방식이 특정 시각 인코더와 독립적으로 VLM을 향상시키기 위한 일반화된 솔루션임을 시사합니다.

저자들은 패널티화된 가능도 추정을 통해 전이를 체계적으로 재검토하고 동적 수축을 도입함으로써, MOON이 이론적 강건성과 실무적 효율성 사이의 간극을 성공적으로 메웠다고 결론짓습니다.