기술 요약: KALE – 손실 균형을 통한 커널 정렬 (Kernel Alignment with Loss Equilibration)

문제 정의

DINOv2와 같은 시각 중심의 교사 모델(teacher)을 향해 CLIP 시각 인코더를 커널 기반으로 정렬하는 방식인 KUEA는 정제된 ImageNet 규모의 데이터에서 성공적인 성과를 보여주었습니다. 이 접근법은 CLIP의 텍스트 인코더와의 호환성을 유지하면서 시각적 표현과 선형 프로빙(linear probing) 성능을 개선합니다. 그러나 저자들은 이 방법이 노이즈가 많은 웹 규모 데이터(구체적으로 CC12M 데이터셋)에도 전이될 수 있는지 조사합니다.

연구 결과, KUEA에서 사용된 고정된 트레이드오프 가중치 전략은 이 규모에서 실패하는 것으로 나타났습니다. CC12M에서 정렬 손실(학생 모델을 DINOv2 교사 모델로 유도하는 항)은 "클린(clean)" 손실(원래의 CLIP 특징으로부터의 이탈을 벌칙으로 주는 항)보다 수십 배 더 작아집니다. 결과적으로 고정된 가중치 하에서 정렬 항의 기여도는 전체 손실의 약 0.2%로 떨어지며, 이로 인해 정렬 그래디언트가 사실상 무력화됩니다. KUEA의 ImageNet 실험에서 사용된 고정 가중치를 단순히 재사용할 경우, 정렬 신호가 사라져 훈련이 불안정해지거나 효과가 없게 됩니다.

방법론: KALE 컨트롤러

웹 규모에서의 심각한 손실 불균형 문제를 해결하기 위해, 저자들은 훈련 중에 정렬 가중치를 적응적으로 재조정하는 동적 컨트롤러인 **KALE (Kernel Alignment with Loss Equilibration)**를 도입합니다.

핵심 메커니즘

훈련 목적 함수는 여전히 두 손실의 가중 합으로 유지됩니다:

1. 정렬 손실 ($L_{align}$): 학생(CLIP)과 교사(DINOv2) 임베딩 사이의 커널 유사도 행렬 간의 불일치를 최소화합니다.
2. 클린 손실 ($L_{clean}$): 텍스트 호환성을 보존하기 위해 학생 임베딩과 동결된 원래의 CLIP 임베딩 사이의 L2 거리에 대해 벌칙을 부여합니다.

KALE은 고정된 스칼라 가중치 $\lambda_a$ 대신, 두 손실의 비율에 기초하여 $\Delta$ 스텝(예: 100 스텝)마다 $\lambda_a$를 업데이트하는 컨트롤러를 사용합니다.

컨트롤러 역학

컨트롤러는 배치 노이즈를 완화하기 위해 두 손실의 지수 이동 평균(EMA)을 유지합니다. 컨트롤러는 가중 정렬 기여도와 클린 기여도의 현재 비율 $\rho$를 계산합니다:
$$\rho^{(t)} = \frac{\lambda_a^{(t)} \cdot \hat{\ell}_{align}^{(t)}}{\lambda_c \cdot \hat{\ell}_{clean}^{(t)}}$$
가중치는 이 비율을 목표값 $\tau$(예: 0.8)로 유도하도록 업데이트됩니다:
$$\lambda_a^{(t+1)} = \lambda_a^{(t)} \cdot \sqrt{\frac{\tau}{\rho^{(t)}}}$$
제곱근 감쇄(square-root dampening)는 과도한 보정을 방지하여, 다음 업데이트 전까지 옵티마이저가 적응할 수 있도록 합니다. 이는 정렬 신호가 클린 손실에 비해 약해지면 $\lambda_a$를 높이고, 정렬이 지배적이 되기 시작하면 $\lambda_a$를 낮추는 피드백 루프를 생성하여 두 항이 모두 영향력을 유지하도록 보장합니다.

최적화 체계

저자들은 안정성을 위한 필수적인 최적화 조건을 다음과 같이 규정합니다:

• 학습률 (Learning Rate): 컨트롤러가 정렬 신호를 추적하기 위해서는 높은 피크 학습률이 필요하지만, 명확한 상한선이 존재합니다. 학습률이 너무 높으면 훈련 붕괴(폭주하는 드리프트 및 랭크 붕괴)를 초-래합니다.
• 스케줄 (Schedule): 코사인 감쇄 스케줄과 **적절한 수준의 0이 아닌 하한선(non-zero floor)**이 필수적입니다. 학습률이 평탄하게 유지되면 CLIP의 드리프트가 통제 없이 커질 수 있고, 0으로 수렴하는 스케줄을 사용하면 후반 단계에서 컨트롤러가 균형을 유지하기 위한 스텝 사이즈가 너무 작아집니다.

주요 기여

1. 웹 규모로의 확장: 저자들은 KALE 컨트롤러를 도입함으로써, 별도의 데이터셋별 가중치 튜닝 없이도 커널 기반의 CLIP $\rightarrow$ DINOv2 정렬을 정제된 ImageNet-1K에서 노이즈가 많은 웹 규모의 CC12M으로 성공적으로 확장했습니다.
2. 훈련 역학 분석: KALE 정렬에 대한 상세한 연구를 통해, 웹 규모의 정렬에는 높은 피크 학습률, 감쇄 스케줄 및 균형을 맞추는 컨트롤러라는 특정 안정성 범위(stability envelope)가 필요함을 입증했습니다.
3. 새로운 운용 지점 (Operating Point): 노이즈가 많은 CC12M에서 훈련하는 것이 ImageNet 훈련 KUEA와는 다른 다운스트림 운용 지점을 생성하며, 이를 통해 검색 능력을 유지하면서도 개선된 제로샷 및 선형 프로빙 성능을 달성함을 보여줍니다.

실험 결과

실험은 CLIP ViT-L/14 학생 모델과 동결된 DINOv2 ViT-L/14 교사 모델을 사용하여 CC12M의 3.3M 무작위 서브셋에서 수행되었습니다.

• 제로샷 분류: KALE 정렬 모델은 기존 CLIP 대비 표준 11개 데이터셋 평균에서 **+2.00%**의 향상을 보였으며, 이는 ImageNet 훈련된 KUEA 베이스라인(+1.29%)보다 우수한 성능입니다.
• 선형 프로빙: 모델은 SVHN 선형 프로빙에서 CLIP 대비 **+5.73%**의 재현 가능한 향상을 보였습니다(KUEA의 +4.19%를 상회). 그러나 CLEVR 태스크 결과에서는 높은 실행 간 편차(run-to-run variance)를 보였습니다.
• 검색 (Retrieval): 이미지-텍스트 검색 성능은 KUEA에서 관찰된 이득(+1.54% vs. +1.63%)과 일치하며 잘 보존되었습니다.
• 안정성: 컨트롤러는 손실을 성공적으로 균형 잡았으며, 균형을 회복하기 위해 정렬 가중치를 약 4개 차수(four orders of magnitude)(0.5에서 ~10,000–47,000까지) 증가시켜야 했습니다. 이 값은 구성에 따라 달라지며 정적으로 고정하는 것이 불가능합니다.

의의 및 주장

본 논문은 주요 기여가 데이터셋별 가중치 튜닝 없이 웹 규모에서 커널 기반 정렬을 가능하게 만든 것이라고 주장합니다. 저자들은 노이즈가 많은 데이터에서 고정 가중치 공식이 손실 불균형으로 인해 실패한다는 점을 강조하며, KALE 컨트롤러가 그 신호를 복구하는 메커니즘임을 밝힙니다.

저자들은 도메인 폭에 대한 주장에 있어서는 겸허한 태도를 취합니다. 그들은 CC12M에서의 웹 규모 훈련이 ImageNet 훈련 베이스라인에 비해 광범위한 도메인 개선을 만들어내지는 못했다고 명시적으로 밝혔습니다. 예를 들어, 원격 탐사(EuroSAT) 성능은 퇴보했으며, CLEVR 결과는 편차가 지배적이었습니다. 본 연구의 의의는 모든 도메인에 대한 보편적인 능력 향상보다는, 노이즈가 많은 데이터에서 정렬 과정의 실현 가능성과 안정성에 있습니다.

결론적으로, KALE 컨트롤러는 고노이즈 환경에서 크기가 작은 보조 목적 함수(정렬)가 지배적인 손실(클린)에 맞서 영향력을 유지할 수 있게 하며, 이는 시각-언어 정렬 이외의 분야에도 적용될 수 있는 제어 메커니즘입니다.