🤖 machine learning

T-REGS: Minimum Spanning Tree Regularization for Self-Supervised Learning

이 논문은 최소 신장 트리(Minimum Spanning Tree) 길이를 정규화 항으로 활용하여 학습된 표현에서 차원 붕괴를 이론적 및 경험적으로 방지하고 분포의 균일성을 촉진하는 자기지도 학습 프레임워크인 T-REGS를 소개한다.

원저자: Julie Mordacq, David Loiseaux, Vicky Kalogeiton, Steve Oudot

게시일 2026-02-09

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Julie Mordacq, David Loiseaux, Vicky Kalogeiton, Steve Oudot

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 컴퓨터에게 라벨(예: "고양이" 또는 "개")을 보여주지 않고도 사진을 이해하도록 가르치려 한다고 상상해 보세요. 이것을 **자기 지도 학습(Self-Supervised Learning)**이라고 부릅니다. 컴퓨터는 한 사진의 두 가지 다른 버전(예를 들어 하나는 흐릿하고, 하나는 잘려진 형태)을 보고 그것들이 동일한 것이라는 것을 알아내며 학습합니다.

하지만 큰 문제가 있습니다. 컴퓨터가 게으러질 수 있다는 점입니다. 풍부하고 상세한 특징을 배우는 대신, 모든 사진에 대해 똑같이 지루한 정답만을 내놓을 수 있습니다. 이를 **"붕괴(collapse)"**라고 합니다. 이는 마치 학생이 교과서 전체를 공부하는 대신, 모든 단원의 첫 문장만 암기하여 모든 시험 문제에 똑같은 답을 적어내는 것과 같습니다.

이 논문의 저자인 줄리 모닥(Julie Mordacq)과 그녀의 팀은 이러한 컴퓨터의 게으름을 막기 위해 T-REGS라는 새로운 도구를 발명했습니다. 이 도구가 어떻게 작동하는지 쉽게 설명해 드리겠습니다.

문제점: "붐비는 방" vs "빈 방"

컴퓨어가 학습할 때, 모든 사진을 숫자의 리스트(다차원 공간의 한 점)로 변 변환합니다.

차원 붕괴(Dimensional Collapse): 모든 점이 방의 아주 작은 구석에 뭉쳐 있는 상황을 상상해 보세요. 컴퓨터가 대부분의 차원을 잊어버린 것입니다. 이는 컴퓨터가 자신의 뇌 용량을 충분히 활용하지 못하고 있음을 의미합니다.
균일성 부족(Lack of Uniformity): 설령 점들이 뭉쳐 있지 않더라도, 모두 좁은 원 안에 모여 있을 수 있습니다. 이들은 공간 전체에 고르게 퍼져 있지 않습니다.

목표는 컴퓨터가 이 점들을 최대한 멀리 퍼뜨려 공간 전체를 고르게 채우게 함으로써, 모든 사진을 명확하게 구분할 수 있도록 만드는 것입니다.

해결책: "최소 신장 트리(Minimum Spanning Tree, MST)"

저자들은 수학의 개념인 최소 신장 트리를 사용합니다.

비유: 들판에 서 있는 사람들의 집단을 상상해 보세요. 당신은 모든 사람이 연결되도록 하나의 로프 네트워크로 연결하되, 사용되는 총 로프의 길이를 최소화하고 싶습니다. 그 가장 짧은 네트워크가 바로 "최소 신장 트리"입니다.
묘수: 보통 로프 길이를 최소화하려면 사람들을 서로 가깝게 끌어당겨야 합니다. 하지만 T-REGS는 그 반대로 작동합니다. 이 방식은 그 로프의 길이를 최대화하려고 노력합니다.

모든 데이터 포인트를 연결하는 "로프"의 길이를 최대한 길게 만들도록 강제함으로써, T-REGS는 컴퓨터가 점들을 서로 밀어내도록 만듭니다. 로프가 너무 짧아지면 점들이 뭉쳐 있을 수 없기 때문입니다.

안전장치: "구(Sphere)"

주의할 점이 있습니다. 아무런 규칙 없이 단순히 "로프 길이를 최대화하라"고만 명령하면, 점들이 무한히 멀리 날아가 버려 로프를 영원히 늘리게 될 것입니다. 이는 도움이 되지 않습니다.

그래서 T-REGS는 두 번째 규칙을 추가합니다: 점들은 거대하고 보이지 않는 공(구)의 표면에 머물러야 합니다.

이제 컴퓨터는 이 공의 표면 위에 머물면서도 점들을 최대한 멀리 밀어내야 합니다.
공의 표면 위에서 로프를 최대한 길게 만드는 유일한 방법은, 점들을 마치 완벽한 기하학적 도형(심플렉스)의 꼭짓점처럼 균일하게 퍼뜨리는 것입니다.

연구 결과

이 논문은 이 단순한 아이디어가 매우 효과적임을 보여줍니다.

붕고를 막습니다: 컴퓨터는 모든 차원을 사용해야만 하며, 구석에 숨어 있을 수 없습니다.
균일성을 만듭니다: 데이터 포인트들이 마치 파티의 손님들이 서로서로 최대한 멀리 떨어져 있으라는 명령을 받았을 때처럼, 공간에 고르게 퍼집니다.
실제 데이터에 적용됩니다: 저자들은 표준 이미지 데이터셋(CIFAR 및 ImageNet 등)을 통해 이를 테스트했습니다. 기존 학습 방식에 T-REGS를 추가했을 때, 컴퓨터의 이미지 인식 능력이 향려되었습니다.
텍스트와 이미지 모두에 작동합니다: 그들은 사진과 텍스트를 매칭하는 시스템(CLIP과 같은)에도 이를 테스트했습니다. 이는 "정신적 공간"을 모두 균일하게 채움으로써 시스템이 이미지와 단어 모두를 더 잘 이해하도록 도왔습니다.

요약하자면

T-REGS를 엄격한 선생님이라고 생각해보세요. 이 선생님은 컴퓨터에게 이렇게 말합니다. "너의 답변들을 한데 뭉쳐 놓아서도 안 되고, 페이지 밖으로 날아가 버려서도 안 된다. 너는 페이지의 모든 구석을 고르게 채우며, 가능한 한 넓게 답변을 펼쳐 놓아야 한다."

이 과정은 컴퓨터가 인간의 라벨 없이도 세상을 훨씬 더 풍부하고 상세하며 유용한 방식으로 바라낼 수 있도록 강제합니다.

기술 요약: T-REGS (자기지도 학습을 위한 최소 신장 트리 정규화)

문제 정의

자기지도 학습(Self-supervised learning, SSL)은 레이블이 없는 데이터로부터 표현(representation)을 학습하는 지배적인 패러다임이 되었으며, 특히 시각적 영역에서 그러합니다. 그러나 공동 임베딩 자기지도 학습(Joint-Embedding Self-Supervised Learning, JE-SSL)의 핵심적인 과제는 네트워크가 입력과 상관없이 동일하거나 정보가 없는 벡터를 출력하는 **표현 붕괴(representation collapse)**입니다. 최근 연구는 학습된 특징들이 저차원 부분 공간(low-dimensional subspace)에만 머물러 특징 간 상관관계가 높아지고 다양성이 감소하는 **차원 붕괴(dimensional collapse)**라는 더 미묘한 형태의 실패를 식별했습니다. 또한, 효과적인 표현을 위해서는 임베딩이 표현 공간 전체에 고르게 분포하여 최대 정보를 보존하고 다운스트림 일반화를 돕는 **균일성(uniformity)**이 필요합니다.

기존 솔루션들은 다음과 같은 한계가 있습니다:

대조 학습 방법(예: SimCLR, MoCo)은 계산 비용이 많이 드는 대규모 배치 크기와 수많은 부정 샘플(negative samples)을 필요로 합니다.
중복성 감소 방법(예: Barlow Twins, VICReg)은 공분산 행렬을 항등 행렬에 가깝게 강제하지만, 2차 모멘트(second-order moments)에만 의존하므로 균일한 분포로의 수렴을 방해하는 밀도 집중 지점을 놓칠 가능성이 있습니다.
비대칭 방법(예: BYOL)은 붕괴를 어떻게 방지하는지에 대한 이론적 근거가 부족합니다.
최적 운송 기반 접근 방식(예: Fang et al.)은 필요한 이론적 속성을 만족하지만, SVD 계산으로 인해 계산 비용이 많이 들고 수치적 불안정성을 겪을 수 있습니다.

방법론: T-REG 및 T-REGS

저자들은 차원 붕괴를 완화하고 분포의 균일성을 촉진하기 위해 설계된 프레임워크인 T-REG(Minimum Spanning Tree Regularization)을 제안합니다.

핵심 개념: MST 길이 극대화

중심 아이디어는 학습된 임베딩의 최소 신장 트리(Minimum Spanning Tree, MST) 길이를 극대화하는 것입니다. 이론적 분석은 MST 길이와 통계적 차원 추정 및 엔트로피 극대화 사이의 관계를 연결합니다.

MST 길이 ( $E(G)$ ): 트리 내 연결된 노드 간의 유클리드 거리 합으로 정의됩니다: $E(G) = \sum_{(z,z') \in E} \|z - z'\|^2$ .
척력(Repulsive Force): 최적화 과정에서 MST의 엣지를 형성하는 점 쌍들은 서로에게 척력을 가하며, 이는 자연스럽게 전체 트리 길이를 늘리기 위해 점들을 서로 밀어냅니다.

T-REG 손실 함수

점들이 무한대로 발산하는 자명한 해(단순히 MST 길이를 극대화하는 것만으로는 팽창을 조장함)를 방지하기 위해, T-REG는 임베딩을 컴팩트한 매니폴드, 구체적으로 하이퍼스피어(hypersphere)에 구속합니다. 전체 손실은 두 개의 항으로 구성됩니다:

MST 길이 극대화 ( $L_E$ ): $L_E(Z) = -\frac{1}{n} E(\text{MST}(Z))$ . 이 항은 퍼짐(spreading)을 장려합니다.
소프트 스피어 제약 ( $L_S$ ): $L_S(Z) = \frac{1}{n} \sum_i (\|z_i\|^2 - 1)^2$ . 이 항은 단위 구(unit sphere)로부터의 이탈에 대해 페널티를 부여합니다.

결합된 손실 함수는 다음과 같습니다:
$L_{\text{T-REG}}(Z) = \gamma L_E(Z) + \lambda L_S(Z)$
여기서 $\gamma$ 와 $\lambda$ 는 퍼짐과 구체 제약 사이의 트레이드오프를 조절하는 하이퍼파라미터입니다.

T-REGS로의 확장

T-REGS는 이러한 정규화를 JE-SSL 프레임워크에 적용합니다. 두 개의 증강된 뷰(view) $X$ 와 $X'$ 가 주어지면, 모델은 임베딩 $Z$ 와 $Z'$ 를 생성합니다. T-REGS는 각 브랜치에 독립적으로 적용되는 정규화 항으로 작용합니다:
$L_{\text{T-REGS}}(Z, Z') = L_{\text{T-REG}}(Z) + L_{\text{T-REGS}}(Z')$
이는 두 가지 방식으로 사용될 수 있습니다:

독립형(Standalone): 뷰 불변성 항(예: MSE)과 직접 결합됩니다.
보조적(Auxiliary): 성능을 향상시키기 위해 기존 SSL 목적 함수(예: BYOL, Barlow Twins)에 추가됩니다.

이론적 분석

본 논문은 T-REG에 대한 엄격한 이론적 보증을 제공합니다:

작은 샘플 ( $n \le d+1$ ): 정리 4.1은 구체 제약 조건 하에서 MST 길이를 극대화하는 것이 점들을 **정규 단체(regular simplex)**의 꼭짓점에 위치하게 함을 증명합니다. 이 구성은 쌍별 거리를 극대화하여, 전체 표현 차원을 활용함으로써 차원 붕괴를 효과적으로 방지합니다.
큰 샘플 ( $n \to \infty$ ): 분석은 MST 길이와 내재적 레니 엔트로피(Rényi entropy)를 연결합니다. 정리 4.4와 따름정리 4.6은 MST 길이를 극대화하는 것이 점진적으로 임베딩 분포를 컴팩트한 리만 매니폴드(구) 상의 **균일 분포(uniform distribution)**로 유도함을 보여줍니다.
원칙적 속성: T-REG는 차원 붕괴를 방지하고 균일성을 보장하는 데 필요한 네 가지 속성(인스턴스 순열, 인스턴스 클로닝, 특징 클로닝, 특징 베이비 제약)을 자연스럽게 충족합니다.

실험 결과

저자들은 합성 데이터와 표준 SSL 벤치마크에서 T-REGS를 평가했습니다.

합성 데이터 검증

차원 붕괴: 제어된 붕괴 수준을 가진 1024차원 가우시안 데이터셋에서, T-REG의 손실 민감도는 W2 메트릭(Fang et al.의)과 일치하여 붕괴를 페널티하는 능력을 확인했습니다.
균일성: 점 구름(point clouds) 최적화를 통해, T-REG가 퇴화되거나 클러스터링된 데이터를 구 위의 균일하게 분포된 점들로 성공적으로 변환함을 보여주었습니다. 고차원(256-d)에서 코사인 유사도 분포는 0 근처의 디락 델타(Dirac delta)로 수렴하였으며, 이는 정규 단체 구성을 나타냅니다.

벤치마크 성능

CIFAR-10/100: T-REGS는 경쟁력 있는 결과를 달성하여 W2 정규화 방법과 대등하거나 약간 상회하는 성능을 보였습니다. BYOL 및 Barlow Twins의 보조 손실로 사용되었을 때, 다른 정규화 도구(예: Lu, W2)를 사용하는 베이스라인 및 변형 모델들보다 Top-1 정확도를 일관되게 향상시켰습니다.
ImageNet-100/1k: T-REGS는 확장성을 입증했습니다. BYOL 및 Barlow Twins의 보조 손실로서, 두 데이터셋 모두에서 성능을 개선했습니다. 단독 T-REGS(LMSE와 결와 결합)는 ImageNet-1k에서 68.8%의 Top-1 정확도를 달성하여 INTL과 같은 최첨단 방법들과 경쟁할 만한 수준을 보여주었습니다.
멀티모달 응용 (이미지-텍스트 검색): CLIP 파인튜닝에 적용된 T-REGS는 Flickr30k 및 MS-COCO에서 검색 성능(R@1 및 R@5)을 향상시켰습니다. 이는 T-REGS가 이미지 및 텍스트 브랜치 모두에서 균일성을 강제함으로써 "모달리티 갭(modality gap)"을 완화하는 데 도움을 준다는 것을 시사합니다.

계산 효율성

복잡도: MST 계산은 Kruskal 알고리즘을 사용하며, 최악의 경우 복잡도는 $O(B^2(D \cdot \log B))$ 입니다 (여기서 $B$ 는 배치 크기, $D$ 는 차원).
실행 시간: 이론적 복잡도에도 불구하고, torchph를 사용한 GPU 병렬 구현을 통해 실무에서 T-REGS가 SimCLR 및 VICReg의 스텝당 실제 실행 시간(wall-clock time)과 일치하도록 만들 수 있었습니다.

의의 및 주장

본 논문은 T-REGS가 기존의 정규화 전략에 대해 개념적으로 단순하고, 구현이 쉬우며, 계산 효율적인 대안을 제공한다고 주장합니다. 주요 의의는 다음과 같습니다:

이론적 타당성: 위상 데이터 분석 및 엔트로피 극대화를 기반으로, 차원 붕괴를 방지하고 컴팩트한 매니폴드 상의 균일성을 촉진한다는 증명 가능한 보증을 제공합니다.
실질적 효과: 대규모 부정 배치를 요구하거나 SVD와 같은 복잡한 수치 연산을 필요로 하지 않으면서도, 다양한 아키텍처(대조 및 비대조)와 모달리티(단일 및 멀티모달)에 걸쳐 표현 품질을 향상시킵니다.
범용성: 단독 목적 함수와 모듈형 보조 손실 모두로 효과적으로 작동하여, 다양한 SSL 파이프라인에 적응 가능합니다.

저자들은 T-REGS가 좋은 SSL 표현을 위한 이론적 요구사항과 실용적이고 확장 가능한 구현 사이의 간극을 성공적으로 메웠다고 결론짓습니다.