🤖 machine learning

Three Necessary Principles for Self-Supervised Visual Representation Learning

이 논문은 효과적인 자기지도 시각 표현 학습을 위해서는 모델 붕괴를 방지하고 주요 방법론들을 단일 에너지 분해 프레임워크 아래 통합하기 위해 세 가지 상호 배타적인 원칙인 의미론적 불변성(관찰), 패치 수준의 공간적 예측, 그리고 표현의 비퇴화성(규제)의 동시적인 통합이 필요하다고 주장한다.

원저자: Nikos Giakoumoglou, Paschalis Giakoumoglou, Tania Stathaki

게시일 2026-08-11

📖 6 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Nikos Giakoumoglou, Paschalis Giakoumoglou, Tania Stathaki

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 세상을 이해하는 법을 가르치고 있다고 상상해 보세요. 하지만 당신에게는 엄격한 규칙이 하나 있습니다. 바로 로봇에게 어떤 '라벨(이름표)'도 보여주어서는 안 된다는 것입니다. "이것은 고양이다"라거나 "저것은 자동차다"라고 말할 수 없습니다. 이 연구 분야를 **자기지도 학습(self-supervised learning)**이라고 부릅니다. 로봇은 교사가 무엇이 무엇인지 알려주지 않아도, 세상의 사진들을 보며 스스로 패턴을 찾아내어 학습해야 합니다.

이를 위해 로봇은 자신이 보는 것을 담는 정신적 지도, 즉 '표현(representation)'을 구축해야 합니다. 이것은 도서관을 생각하면 쉽습니다. 만약 로봇이 모든 사진의 모든 픽셀을 단순히 암기하기만 한다면, 그 도서관은 먼지와 종이가 뒤섞인 혼란스러운 상태가 될 것입니다. 하지만 만약 로봇이 의미에 따라 사물을 분류하는 법을 배운다면—예를 들어 모든 '고양이'는 한 선반에, 모든 '자동차'는 다른 선반에 두는 식이라면—로봇은 유용한 표현을 학습한 것입니다. 과학자들이 던져온 핵심적인 질문은 이것입니다: 로봇이 혼란에 빠지거나 포기하지 않고 이 도서관을 올바르게 구축하기 위해 따라야 할 최소한의 규칙 세트는 무엇인가?

오랫동안 연구자들은 다양한 기술을 시도해 왔습니다. 어떤 이들은 로봇에게 같은 물체의 서로 다른 사진 두 장을 보여주고 그것들이 서로 비슷하게 보이도록 만들라고 했습니다 (마치 고양이가 자고 있든 놀고 있든 고양이라는 것을 인식하는 것처럼). 또 다른 이들은 사진의 일부분을 보여주고 나머지 부분이 어떻게 생겼을지 추측하게 했습니다 (마치 퍼즐처럼). 하지만 종종 로봇은 막히곤 했습니다. 로봇은 모든 사진에 대해 똑같은 지루한 답만을 내놓는 '지름길'을 찾아냈고, 결과적으로 "상관없어, 모든 게 다 똑같아"라고 말하며 사실상 학습을 멈춰버렸습니다. 이를 **붕괴(collapse)**라고 하며, 이 분야에서 발생하는 가장 큰 실패 사례입니다. 당신이 읽게 될 이 논문은 왜 이러한 실패가 발생하는지 깊이 파고들며, 이를 막기 위한 새로운 세 가지 원칙의 규칙집을 제안합니다.

똑똑한 로봇을 위한 세 가지 재료 레시피

이 논문의 저자인 니코스(Nikos), 파스칼리스(Paschalis), 타니아(Tania)는 로봇에게 라벨 없이 보는 법을 가르치려면 한두 가지 기술에만 의존해서는 안 된다고 주장합니다. 세 가지 뚜렷한 재료가 함께 작동해야 합니다. 만약 하나라도 빠지면, 로봇의 뇌는 망가지거나, 너무 단순해지거나, 공간감을 잃어버리게 됩니다. 그들은 이 세 가지 원칙을 관찰(Observation), 예측(Prediction), 그리고 **정규화(Regularization)**라고 부릅니다.

로봇을 훈련시키는 것을 탐정에게 미스터리를 해결하는 법을 가르치는 것에 비유해 봅시다.

1. 관찰(Observation): "같은 것"의 규칙

첫 번째 원칙은 관찰입니다. 이것은 두 장의 서로 다른 사진이 실제로는 같은 물체라는 것을 로봇에게 가르치는 것입니다. 만약 당신이 아침에 찍은 강아지 사진과 오후에 찍은 사진을 보여준다면, 로봇은 "어, 저건 같은 강아지네!"라고 깨달아야 합니다.

논문의 언어로 표현하자면, 이는 **의미적 불변성(semantic invariance)**에 관한 것입니다. 마치 만화경을 통해 친구를 보고 있다고 상상해 보세요. 색깔은 변하고 모양은 뒤틀리지만, 당신은 여전히 그가 친구라는 것을 압니다. 로봇에게는 혼란스러운 뒤틀림을 제거하고 핵심적인 정체성에 집중하는 '프로젝터(Projector, 뇌 속의 도구)'가 필요합니다. 만약 이 규칙만 있다면, 로봇은 '무엇'인지 인식하는 데는 능숙해지겠지만, 그것이 '어디'에 있는지는 잊어버리게 됩니다. 마치 개가 개라는 것은 알지만, 개가 방의 왼쪽 혹은 오른쪽에 앉아 있는지는 전혀 모르는 것과 같습니다.

2. 예측(Prediction): "빈 조각" 게임

두 번째 원칙은 예측입니다. 이것은 공간 구조에 관한 것입니다. 사진의 일부를 검은 상자로 가렸다고 상상해 보세요. 로봇은 나머지 사진을 바탕으로 그 상자 안에 무엇이 들어있을지 추측해야 합니다.

이것이 바로 예측 원칙입니다. 이는 로봇이 사물들이 공간 속에서 어떻게 맞물려 있는지 이해하도록 강제합니다. 만약 이 규칙만 있다면, 로 로봇은 단일 이미지에 대해서는 훌륭한 퍼즐 해결사가 되겠지만, 같은 물체를 다른 각도에서 보여주면 혼란에 빠질 것입니다. 예를 들어, 옆에서 본 고양이를 정면에서 본 고양기와 완전히 다른 생명체라고 생각할 수도 있습니다. 특정 사진의 '지도'는 잘 배우겠지만, 사진을 회전시켜도 그 지도는 변하지 않는다는 사실은 배우지 못하게 됩니다.

3. 정규화(Regularization): "부정행위 방지" 규칙

세 번째 원칙은 정규화입니다. 이것은 로봇이 지름길을 사용하는 것을 막기 위한 가장 결정적인 부분입니다. 모든 것에 대해 똑같은 답만 내놓는 '막혀버린 로봇'을 기억하시나요? 그것이 바로 **붕괴(collapse)**입니다.

저자들은 특정한 규칙이 없다면 로봇은 반드시 지름길을 찾아낼 것이라고 증명했습니다. 시험을 치는 학생이 모든 답에 "42"라고 적으면, 채점 기준이 잘못되어 만점을 받을 수 있다는 사실을 깨달았다고 상상해 보세요. 로봇도 똑같이 행동합니다. 학습을 멈추고 일정한 숫자만을 출력하는 지름길을 찾아냅니다.

정규화 원칙은 학생이 단순히 똑같은 답을 적고 있는 것은 아닌지 확인하는 엄격한 감독관과 같습니다. 이는 로봇의 내부 '도서관'이 풍성하고 다양하게 유지되도록 강제합니다. 즉, 로봇이 모든 뇌력을 사용하게 만들고, 지루하고 평평한 선으로 붕괴되는 것을 방지합니다. 저자들은 만약 '부정적 예시(negative examples, 무엇이 매칭되지 않는지를 보여주는 것)'를 사용하여 이 지름길을 막으려 한다면, 그것은 마치 반창고로 누수를 막으려는 것과 같아서 효과는 조금 있을지언정 결국 로봇이 우회로를 찾아낼 것임을 보여주었습니다. 진정으로 붕괴를 막으려면 강력하고 명시적인 규칙(기하학적 제약)이 필요합니다.

거대한 발견: 세 가지 모두가 필요하다

저자들은 단순히 추측한 것이 아니라, 이 세 가지 규칙을 하나의 방정식으로 결합한 수학적 프레임워크("에너지 분해")를 구축했습니다. 그런 다음 실험을 통해 한 번에 하나씩 재료를 제거했을 때 어떤 일이 일어나는지 확인했습니다.

결과는 다음과 같습니다:

관찰(Observation)을 빼면: 로봇은 빛이나 각도가 달라졌을 때 동일한 물체가 다르게 보인다는 것을 인식하는 능력을 잃습니다. 공간적으로는 천재가 되지만, 의미론적으로는 바보가 됩니다.
예측(Prediction)을 빼면: 로봇은 공간감을 잃습니다. 무엇인지는 알지만, 그것이 어디에 있는지 혹은 서로 어떻게 관계되어 있는지는 알지 못합니다. 실험에서 로봇은 이미지의 특정 패치(예: 나무의 특정 잎사귀)를 찾는 능력이 크게 떨어졌습니다.
정규화(Regularization)를 빼면: 로봇은 붕괴합니다. 학습 자체가 멈춥니다. 저자들은 이 규칙 없이는 로봇이 모든 이미지에 대해 똑같은 지루한 숫자를 출력함으로써 '완벽한' 점수를 얻을 수 있다는 것을 수학적으로 증명했습니다. 이는 전역적인 실패입니다.

또한 그들은 많은 현대 AI 모델에서 사용되는 인기 있는 기법인 **모멘텀 인코더(Momentum Encoder)**를 살펴보았습니다. 이는 로봇이 학습을 돕기 위해 자신의 '느리게 움직이는' 버전을 사용하는 기술입니다. 저자들은 이 기술이 초기 학습 속도를 높여줄 수는 있지만, 장기적으로 붕괴를 막아주지는 못한다는 것을 보여주었습니다. 일단 로봇이 안정기에 접어들면, 모멘텀 인코더는 그저 메인 로봇이 하는 것을 그대로 복사할 뿐입니다. 메인 로봇이 붕괴했다면, 모멘텀 인코더도 마찬가지입니다. 로봇이 똑똑함을 유지하도록 보장하는 유일한 방법은 명시적인 정규화 규칙뿐입니다.

이것이 왜 중요한가

이 논문은 거의 모든 주요 자기지도 학습 방법론을 통합합니다. 어떤 방법이 '대조 학습(Contrastive, 예: SimCLR)'이든 '예측 학습(Predictive, 예: JEPA)'이든, 저자들은 이들이 모두 이 세 가지 재료를 섞는 서로 다른 방식일 뿐임을 보여줍니다. 어떤 방법은 관찰과 정규화를 섞지만 예측을 건너뛰기도 하고, 어떤 방법은 예측과 정규화를 섞지만 관찰을 건너뛰기도 합니다.

STL-10 데이터셋과 ViT-Tiny 모델을 사용한 실험 결과, 세 가지를 모두 결합했을 때 가장 좋은 결과를 얻었습니다. 구체적으로, 세 가지 원칙을 모두 갖춘 모델은 표준 테스트에서 **55.0%**의 정확도를 달}{치一方で, 하나의 원칙이라도 빠진 모델은 성능이 크게 떨어졌습니다 (예를 들어, 관찰이 빠지면 정확도가 13.4 포인트 하락했습니다).

또한 저자들은 이 세 규칙이 서로 충돌하지 않는다는 것도 증명했습니다. '관찰' 규칙은 이미지 전체에 균일한 신호를 보내는 반면, '예측' 규칙은 예측되는 부분에만 특정한 신호를 보냅니다. 이들은 줄다리기를 하는 것이 아니라 팀으로서 작동합니다.

요약

핵심 메시지는 단순하지만 강력합니다. 단 한 가지 종류의 기술에만 의존해서는 견고하고 똑똑한 시각 AI를 구축할 수 없습니다. 우리는 관찰을 통해 동일함을 인지하고, 예측을 통해 빈 부분을 채우며, 지름길을 막기 위해 엄격하게 정규화하는 시스템이 필요합니다.

저자들은 미래의 AI 설계자들이 모델의 붕괴를 막기 위해 복잡하고 숨겨진 기술을 발명하려고 애쓰기보다, 이 세 가지 원칙을 시스템에 명시적으로 구축해야 한다고 제안합니다. 이것은 집을 짓는 것과 같습니다. 기초(정규화), 벽(관찰), 그리고 지붕(예측)이 필요합니다. 기초가 없으면 집은 무너지고, 지붕이 없으면 내부가 젖으며, 벽이 없으면 집이라고 부를 수 없습니다.

이 논문은 역대 가장 크거나 빠른 AI를 만들었다고 주장하는 것이 아닙니다. 대신, AI가 왜 작동하는지에 대한 명확한 수학적 지도를 제공하며, 이 세 가지 원칙이 단순히 도움이 되는 제안이 아니라 로봇이 교사 없이 세상을 보는 법을 배우기 위한 절대적인 필수 조건임을 증명하고 있습니다.

기술 요약: 자기 지도 시각 표현 학습을 위한 세 가지 필수 원칙

문제 정의

시각적 표현 학습을 위한 자기 지도 학습(SSL)은 현재 서로 다른 계열의 방법론들, 즉 불변성 기반 접근법(예: SimCLR, BYOL)과 결합 임베딩 예측 아키텍처(JEPAs)(예: I-JEPA)로 파편화되어 있다. 두 방식 모두 관측값 쌍에 대한 호환 함수를 학습하는 것을 목표로 하지만, 공통된 실패 모드인 표현 붕괴(representational collapse) 문제를 겪는다. 이는 인코더가 모든 입력을 상수 또는 저차원 부분 공간으로 매핑하는 현상을 의미한다.

기존 방법론들은 네거티브 마이닝(negative mining), 비대칭 역학(모멘텀 인코더), 또는 통계적 정규화와 같은 다양한 메커즘을 통해 붕괴를 해결하려 하지만, 이러한 메커니즘들은 종종 주요 학습 목표와 혼재되어 있다. 본 논문은 현재의 방법론들이 완전한 학습 신호를 구성하는 필수 요소들을 명시적으로 분리하는 통합된 이론적 프레임워크가 결여되어 있다고 주장한다. 구체적으로, 현재의 방법들이 모든 필요 조건을 충족하는지, 아니면 암묵적 메커니즘(예: 모멘텀 인코더)이 수렴 시점에 진정한 보장을 제공하는지 여부가 불분명하다.

방법론: 통합 에너지 분해

저자들은 전체 학습 에너지 $F_w(x, y)$ 가 세 가지 비중첩 항으로 분해되는 통합 에너지 기반 모델(EBM) 프레임워크를 제안한다:

$F_w(x, y) = \alpha F_{proj}(x, y) + \beta F_{pred}(x, y) + \gamma \Omega(f_\theta)$

이 분해는 세 가지 뚜렷한 원칙을 공식화한다:

관측 원칙 ( $F_{proj}$ ): 인코더는 의미론적으로 불변하는 전역 표현을 생성해야 한다. 이는 전역 풀링된 표현을 임베딩 공간으로 매핑하는 프로젝터 $h_\psi$ 를 통해 달성되며, 여기서 뷰 수준의 호환성이 측정된다(예: NT-Xent 또는 MSE). 이 원칙은 교차 뷰(cross-view)의 의미론적 정렬을 보장하지만, 공간적 구조는 버린다.
예측 원칙 ( $F_{pred}$ ): 인코더는 잠재 공간에서의 마스킹된 콘텐츠 예측을 지원해야 한다. 예측기 $g_\phi$ 는 컨텍스트 패치와 위치 정보를 사용하여 예측된 타겟 표현으로 매핑한다. 이 원칙은 이미지 내의 공간적 일관성을 강제하지만, 본질적으로 교차 뷰 불변성을 강제하지는 않는다.
정규화 원칙 ( $\Omega$ ): 학습 목표는 표현의 배치 분포 기하학을 제약함으로써 차원 붕괴를 방지하는 항을 포함해야 한다. 이 항은 붕ков(Dirac mass) 상태인 붕괴된 솔루션에서 반드시 양수여야 하며, 표현의 공분산이 완전한 유효 랭크(full effective rank)를 가질 때만 최소화된다. 연구된 예시로는 VCReg, SIGReg, RDMReg가 있다.

저자들은 단 하나의 원칙이라도 누락되면 나머지 두 원칙이 해결할 수 없는 퇴보적인 솔루션이 허용된다고 주장한다. 그들은 네거티브가 없는 정렬(negative-free alignment) 환경에서 관측과 예측을 결합할 경우, 상수 인코더가 전역 최솟값이 됨을 증명한다. 또한, 대조적 정렬(관측)은 표현이 균질화됨에 따라 발생하는 그래디언트 감소로 인해 "자기 제한적(self-limiting)" 저항만을 제공함을 입증한다.

핵심 기여

세 가지 원칙의 공식화: 논문은 관측, 예측, 정규화를 에너지 표면 위의 비중첩 조건으로 정의한다. 저자들은 정규화가 네거티브가 없는 체제에서 최적화 이론적으로 필수적이며, 대조적 저항은 자기 제한적임을 증명한다.
구조적 필연성: 저자들은 예측은 공간적 신호를 위해 필요하고, 관측은 교차 뷰 의미론적 정렬을 위해 필요하다는 구조적 논거를 제시한다. 또한 이 목표들이 인코더 출력에 대해 **그래디언트 상보적(gradient-complementary)**임을 증명한다: 관측은 균일한 전역 그래디언트를 제공하는 반면, 예측은 컨텍스트 패치에 집중된 공간적으로 국소적인 그래디언트를 제공한다.
기존 연구의 통합: 본 논문은 모든 주요 SSL 방법론이 이 통합 에너지 분해의 특수 사례임을 보여준다. 계수 $\alpha, \beta, \gamma$ 를 0으로 설정함으로써 불변성 방법론, 예측 방법론, 또는 하이브리드 접근법을 복구할 수 있다.
모멘텀 인코더의 중복성: 온라인 인코더가 고정점으로 수렴하면 모멘텀 타겟 인코더도 동일한 지점으로 수렴함을 증명한다. 따라서 모멘텀 인코더는 명시적 정규화 도구가 제공하는 것 이상의 붕괴 방지 보장을 제공하지 못하며, 그 이점은 과도기적인 타겟 평활화(target smoothing)에 국한된다.
통합 분류 체계: 기존 방법론들을 세 가지 원칙 중 무엇을 만족하는지에 따라 분류하는 포괄적인 분류 체계(Table 5)를 제시하며, 많은 최신 방법론들(예: DINOv2, C-JEPA)이 세 가지를 모두 만족하면서도 중복된 암묵적 메커니즘을 유지하고 있음을 밝힌다.

실험 결과

저자들은 STL-10 데이터셋의 ViT-Tiny를 통해 이론적 주장을 검증한다.

붕괴 검증: 실험을 통해 정규화 없이 관측과 예측을 결합할 경우 차원 붕괴(낮은 유효 랭크)와 낮은 선형 프로브 정확도가 발생함을 확인했다. (정규화 시 49.2% 대비 38.7%)
원칙의 필연성:
- 정규화를 제거할 경우(관측과 예측은 유지), 정확도가 3.4포인트 하락하고 유효 랭크가 붕괴된다.
- 예측을 제거할 경우, 5.5포인트 하락과 함께 패치 수준의 공간적 검색 성능이 크게 저하된다(공간적 recall@5가 93.0%에서 89.9%로 하락), 이는 공간적 학습 신호의 부재를 확인시켜 준다.
- 관측을 제거할 경우 가장 큰 단일 정확도 하락(13.4포인트)이 발생하며, 이는 교차 뷰 의미론적 정렬의 필요성을 입증한다.
그래디언트 상보성: 그래디언트 분석 결과, 불변성 목표는 모든 패치 토큰에 걸쳐 균일한 그래디언트를 생성하는 반면, 예측 목표는 가시적인 컨텍스트 토큰에 대해서만 그래디언트를 생성하여 두 목표가 서로 다른 측면에 작용함을 확인했다.
모멘텀 중복성: 명시적 정규화가 존재할 때 모멘텀 인코더가 있는 모델과 없는 모델이 동일한 점근적 정확도로 수렴함을 보여줌으로써, 수렴 시점에서의 중복성에 대한 이론적 주장을 검증했다.
정규화 도구의 상호 교환성: 서로 다른 명시적 정규화 도구(SIGReg, RDMReg)는 유사한 성능을 내지만, VCReg는 유효 랭크가 더 높음에도 불구하고 예측 목표와의 그래디언트 충돌로 인해 더 낮은 정확도를 보였다.

의의 및 주장

본 논문은 관측, 예측, 정규화의 역할을 분리함으로써 자기 지도 학습을 위한 **설계 규율(design discipline)**을 제공한다고 주장한다. 그 의의는 다음과 같다:

붕괴 방지의 디커플링: 모멘텀 인코더나 센터링과 같은 얽혀 있는 암묵적 메커니즘에서 벗어나, 수렴 시점에 대한 증명 가능한 보장을 제공하는 명시적 기하학적 정규화로 이동한다.
모듈성: 이 분해 방식은 사용자가 목표를 독립적으로 지정, 교체 및 진단할 수 있게 한다. 실패 시 이를 불투명한 아키텍처 트릭의 상호작용이 아닌, 누락된 원칙의 문제로 귀인할 수 있다.
이론적 명확성: 이 연구는 "세 가지 원칙"이 구조적으로 필요하며 상호 대체 불가능함을 명확히 하며, 다양한 방법론들이 단일 에너지 분해의 서로 다른 구현체임을 밝힌다.

저자들은 검증 규모가 작다(ViT-Tiny/STL-10)는 점을 언급하며 겸손한 태도를 유지하며, 이러한 순서와 상호 교환성 속성이 더 큰 규모에서도 지속될지는 여전히 열린 문제라고 밝힌다. 이들은 자신의 기여를 새로운 최첨단(SOTA) 시스템이라기보다 분석적 프레임워크로 규정한다.