🤖 machine learning

Label-independent hyperparameter-free self-supervised single-view deep subspace clustering

본 논문은 기존 방식의 한계를 극복하고 다양한 데이터셋에서 경쟁력 있는 성능을 달성하기 위해 계층별 자기 표현(layer-wise self-expression), 다단계 순차 학습(multi-stage sequential learning), 그리고 상대 오차 기반 정지 메커니즘을 통합한 새로운 레이블 독립적, 하이퍼파라미터 프리 단일 뷰 자기 지도 심층 부공간 클러스터링 방법을 제안한다.

원저자: Lovro Sindicic, Ivica Kopriva

게시일 2026-06-16

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Lovro Sindicic, Ivica Kopriva

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

개요: 설명서 없이 어지러운 방 정리하기

수천 개의 서로 다른 물건들(데이터 포인트)로 가득 찬 거대하고 어지러운 방을 상상해 보세요. 당신의 목표는 이 물건들이 무엇인지에 따라 무더기로 분류하는 것(클러스터링)이지만, 당신에게는 **라벨(정답)**도 없고(무엇이 무엇인지 모름), 사용 설명서도 없습니다(조절해야 할 하이퍼파라미터가 없음).

이 작업을 수행하는 기존의 대부분 방법은 친구에게 규칙을 추측해 달라고 부탁하고, 그다음에는 또 다른 친구에게 규칙을 수정해 달라고 부탁하는 방식과 같습니다. 즉, 최적의 설정을 찾아내기 위해 '테스트용 데이터 뭉치'가 필요합니다. 만약 이런 테스트 뭉치가 없다면, 그 방법들은 실패합니다.

이 논문은 스스로 방을 정리할 수 있는 새로운 로봇(알고리즘)을 소개합니다. 이 로봇은 테스트 뭉치나 설명서 없이도 스스로 정리할 수 있습니다. 로봇은 진행하면서 스스로 규칙을 배우고, 작업이 끝나면 스스로 멈추며, 아주 훌륭하게 수행합니다.

기존 방법들의 문제점

저자들은 기존의 "딥 서브스페이스 클러스터링(Deep Subspace Clustering, DSC)" 방법들이 가진 다섯 가지 주요 골칫거리를 지적합니다:

중간 과정을 무시함: 컴퓨터가 내놓는 최종 결과만 볼 뿐, 계산 과정 중간 단계에서 발견되는 유용한 단서들을 무시합니다.
따로 노는 구조: 데이터가 어떻게 생겼는지 배우는 것과 데이터를 어떻게 그룹화할지를 별개의 작업으로 다룹니다. 즉, 두 작업을 함께 수행하지 않습니다.
치트키(정답지)가 필요함: 설정을 조절하기 위해 별도의 라벨이 붙은 데이터 세트가 필요합니다. 하지만 현실 세계에서는 이런 데이터가 없는 경우가 많습니다.
멈출 때를 모름: 보통 정답을 확인하여 학습을 언제 멈출지 결정해야 하므로, 누군가가 멈추라고 알려줘야 합니다.
후처리 의존: 메인 작업이 끝난 후 실수를 바로잡기 위해 라벨에 의존하는 추가적인 기법들을 사용하곤 합니다.

해결책: "LIHFSS-SVDSC" 로봇

저자들은 이 다섯 가지 문제를 모두 해결하는 새로운 방법을 만들었습니다. 작동 방식은 다음과 같습니다.

1. "2단계" 학습 과정 (사전 학습 및 미세 조정)

복잡한 규칙들을 한꺼번에 배우려고 애쓰는 대신(이는 조절을 필요로 함), 로봇은 두 가지 뚜렷한 단계로 학습합니다.

1단계 (사전 학습 - Pre-training): 로봇은 어지러운 방을 보며 물건들의 기본적인 형태와 거리감을 이해하려고 노력합니다. 이는 물건을 처음부터 다시 재구성(Reconstruction)하거나, 가까이 있는 물건들이 계속 가까이 있도록 유지(Distance-Preserving)함으로써 수행됩니다.
2단계 (미세 조정 - Fine-tuning): 이제 기초적인 이해를 갖춘 로봇은 본격적으로 물건들을 그룹화하기 시작합니다. 로봇은 모든 물건을 유사한 다른 물건들의 조합으로 설명하려는 특수한 "자기 표현(self-expression)" 기법을 사용합니다. 또한, 그룹이 논리적으로 맞는지 확인하기 위해 자신의 작업을 스스로 검토합니다.

마법 같은 기술: 이러한 단계들을 순차적으로 수행함으로써, 로봇은 서로 다른 규칙들 사이의 균형을 맞추기 위해 조절할 필요가 없습니다. 로봇은 조절 나사(하이퍼파라미터) 없이도 자연스럽게 적절한 균형을 찾아냅니다.

2. "뇌 전체" 활용 (다층 표현 - Multi-Layer Representation)

기존의 방법들은 컴퓨터 뇌의 마지막 층(출력층)만을 보았습니다. 하지만 이 새로운 방법은 원본 입력부터 최종 출력까지 모든 층을 살펴봅니다.

비유: 사람을 식별한다고 가정해 봅시다. 기존 방식은 그 사람의 마지막 옷차림만 봅니다. 반면, 이 새로운 방식은 얼굴, 목소리, 걸음걸이, 그리고 옷차림까지 모든 단서를 살펴본 뒤, 이 모든 단서를 결합하여 더 나은 하나의 결정을 내립니다.

3. "자동 정지" 메커니즘 (The "Self-Stopping" Mechanism)

로봇은 언제 멈춰야 할지 어떻게 알까요? 로봇은 인간이 "잘했어!"라고 말해주길 기다리지 않습니다.

비유: 소음이 심한 방에서 패턴을 찾으려고 노력한다고 상상해 보세요. 당신은 계속 귀를 기울이며 조절합니다. 만약 소음 수치가 더 이상 줄어들지 않고 일정하게 유지된다면, 당신은 최선을 다해 조율했다는 것을 알 수 있습니다. 로봇은 자신의 "상대적 오차(relative error)"를 측정함으로써 이 작업을 수행합니다. 오차가 더 이상 떨어지지 않으면, 로봇은 자동으로 학습을 종료합니다. 라벨은 필요하지 않습니다.

4. "스마트 필터" (후처리 - Post-Processing)

때때로 로봇이 만든 연결 리스트가 너무 지저지고 복잡할 수 있습니다. 저자들은 수학에 기반한 최종 정리 단계를 제안합니다. 즉, 가장 강력한 연결(상위 계수)만 남기고 약하고 노이즈가 섞인 연결은 버리는 것입니다.

참고: 이 단계는 데이터에 대한 알려진 사실(예: "얼굴은 보통 9차원 공간에 존재한다")을 사용하지만, 실제 얼굴의 라벨을 들여다볼 필요는 없습니다.

결과: 효과가 있었는가?

저자들은 여섯 가지 데이터 세트(얼굴, 손글씨 숫자, 사물)를 통해 이 로봇을 테스트했습니다. 그리고 다음 대상들과 비교했습니다:

선형 알고리즘: 인간이 잘 작동하도록 설정을 정교하게 조절해야 하는 더 단순한 방법들입니다.
"오라클(Oracle)" 딥러닝 방식: 기존의 가장 뛰어난 딥러닝 방법들이지만, 설정을 완벽하게 조절하기 위해 "치트키(라벨 데이터)"를 제공받은 상태입니다.

결론:

새로운 로봇은 선형 알고리즘들이 인간에 의해 완벽하게 조절되었음에도 불구하고, 거의 모든 선형 알고리즘을 이겼습니다.
치트키(라벨 데이터)를 사용하여 설정을 완벽하게 조절한 딥러닝 방식들과 비교했을 때, 대등한 성능을 보여주었습니다.
일부 데이터 세트(얼굴 및 사물)에서는 치트키를 가진 방법들보다 더 뛰어난 성능을 보이기도 했습니다.

요약

이 논문은 "자율 주행" 클러스터링 알고리즘을 제시합니다. 이 로봇은 운전자(조절)가 필요 없고, 지도(라벨)가 필요 없으며, 언제 차를 세워야 할지(학습 종료) 정확히 압니다. 로봇은 단계별로 학습하고, 뇌의 모든 부분에서 단서를 얻으며, 작업이 완료되면 자동으로 멈춤으로써 이 성과를 달성합니다. 이는 수동 조절이라는 일반적인 골칫거리 없이도 최고 수준의 클러스터링 결과를 얻을 수 있음을 증명합니다.

기술 요약: 레이블 독립적 하이퍼파라미터 프리 자기지도 단일 뷰 딥 서브스페이스 클러스터링 (LIHFSS-SVDSC)

문제 정의
딥 서브스페이스 클러스터링(DSC) 알고리즘은 실제 환경의 광범위한 적용에 있어 상당한 장벽에 직면해 있습니다. 현재의 방법들은 다음과 같은 다섯 가지 주요 한계를 가집니다:

정보 손실: 이들은 일반적으로 인코더의 최종 출력층만을 활용하며, 중간층에 존재하는 가치 있는 구조적 정보를 무시합니다.
태스크 디커플링(Task Decoupling): 표현 학습(Representation learning)과 서브스페이스 클러스터링이 독립적인 태스크로 취급되어, 클러스터링 품질과 특징 학습 사이의 피드백 루프가 제한됩니다.
하이퍼파라미터 의존성: 대부분의 접근 방식은 하이퍼파라미터 튜닝을 위해 별도의 레이블된 데이터셋(held-out labeled dataset)을 필요로 하며, 이는 비지도 학습 태스크에서는 비현실적입니다.
레이블 의존적 종료: 학습 종료는 종종 클러스터링 오차나 정확도를 모니터링하는 것에 기반하며, 이는 외부 레이블을 필요로 합니다.
후처리 의존성: 성능이 레이블된 데이터나 임의의 임계값(ad hoc thresholds)에 의존하는 후처리 기법에 따라 달라집니다.

또한, 비선형 데이터(예: 포즈가 변하는 얼굴 이미지)는 선형 서브스페이스보다는 매니폴드(manifold) 상에 존재하는 경우가 많지만, 기존의 커널 기반 방법들은 커널 선택에 어려움을 겪으며, 표준 DSC 네트워크는 세심한 튜닝 없이는 임베딩 공간 내에서의 "선형 서브스페이스의 합집합(union-of-linear-subspaces)" 모델을 충분히 활용하지 못하는 경우가 많습니다.

방법론
저자들은 완전 자율적이고, 레이블 독립적이며, 하이퍼파라미터가 필요 없는 새로운 단일 뷰 DSC 접근 방식인 LIHFSS-SVDSC를 제안합니다. 이 방법은 다음과 같은 순차적인 다단계 학습 프레임워크를 통해 작동합니다:

사전 학습 단계 (Pre-training Stage): 오토인코더는 다음 중 하나를 사용하여 초기화됩니다:
- 재구성 오차 손실 ( $L_{RE}$ ): 표준 오토인코더 재구성.
- 거리 보존 손실 ( $L_{DP}$ ): 국소 불변성 가정(local invariance assumption)에 기초하여, 모든 레이어에 걸쳐 쌍별 거리(pairwise distances)를 유지함으로써 데이터의 고유 구조를 보존하도록 설계된 손실 함수.
- 참고: 이 단계는 단일 목적 함수에 집중함으로써 하이퍼파라미터 튜닝의 필요성을 피합니다.
미세 조정 단계 (Fine-Tuning Stage - 순차적):
- 레이어별 자기 표현 (Layer-wise Self-Expression, $L_{SE}$ ): 최종 레이어만을 사용하는 대신, 이 방법은 모든 인코더 레이어(원래 입력 포함)로부터 정보를 집계하는 **결합 표현 행렬(joint representation matrix)**을 구축합니다. 이는 공유 표현 행렬 $C$ 에 대해 $\sum \|X_m - X_m C\|_F^2$ 형태의 자기 표현 손실을 최소화합니다. 여기서 $X_m$ 은 $m$ 번째 레이어의 출력입니다. 이는 모든 레이어에 대해 공통된 자기 표현 모델을 강제합니다.
- 클러스터링 품질 손실 (Clustering Quality Loss, $L_Q$ ): 서브스페이스 구조 노름(subspace-structured norm)을 최적화하여 자기 표현 모듈에 직접적인 피드백을 제공합니다. 이 손실은 $tr(Q^T L_C Q)$ 로 정의되며, 표현 행렬 $C$ 가 스펙트럴 클러스터링에서 유도된 클러스터 지표 행렬 $Q$ 와 정렬되도록 유도함으로써 클러스터링 품질을 표현 학습 과정에 통합합니다.
자기 정지 메커니즘 (Self-Stopping Mechanism):
- 학습을 멈출 시점을 결정하기 위해 레이블된 검증 세트가 필요한 상황을 제거하고자, 알고리즘은 상대 오차 기반의 자기 정지 규칙을 채택합니다. 재구성 오차의 상대적 변화(또는 연속적인 어피니티 행렬 간의 차이)가 미리 정의된 임계값( $\delta = 0.01$ ) 미만으로 떨어지면 학습이 자동으로 종료됩니다.
선택적 후처리 (Optional Post-Processing):
- 서브스페이스 차원 $d$ 에 대한 사전 지식(예: YaleB 얼굴의 경우 $d=9$ , MNIST의 경우 $d=12$ )을 활용하여, 학습된 표현 행렬 $C$ 는 상위 $d$ 개의 계수만을 남기는 방식으로 선택적으로 후처리됩니다. 이 단계는 내부 서브스페이스 투영 우세성(Intra-Subspace Projection Dominance, IPD) 특성에 근거하며, 새로운 하이퍼파라미터를 도입하지 않고 행렬을 정교화합니다.
클러스터링 (Clustering):
- 처리된 표현 행렬로부터 최종 어피니티 행렬이 구축되며, 시프트된 라플라시안(shifted Laplacian)을 사용하는 스펙트럴 클러스터링이 적용되어 레이블을 할당합니다.

주요 기여

자율적 프레임워크: 외부 레이블이나 하이퍼파라미터 튜닝이 필요 없는 자기지도형 단일 뷰 DSC 방법을 도입했습니다.
순차적 학습: (사전 학습 후 미세 조정을 수행하는) 2단계 프레임워크를 통해 가중치 하이퍼파라미터를 통한 균형 조절 없이도 여러 규제 항(재구성, 거리 보존, 자기 표현, 클러스터링 품질)을 통합할 수 있게 했습니다.
결합 표현: 모든 인코더 레이어로부터 유도된 결합 표현 행렬을 사용하여 공통된 자기 표현 모델을 구축함으로써, 단일 레이어 접근 방식의 한계를 해결했습니다.
자기 정지 기준: 상대적 오차 안정성에 기반한 레이블 프리(label-free) 종료 메커니즘을 제공합니다.
수학적 근거를 둔 후처리: 서브스페이스 차원에 대한 사전 지식을 사용하여 새로운 하이퍼파라미터 없이 클러스터링 정확도를 높이는 선택적 정교화 단계를 제공합니다.

실험 결과
본 방법은 MNIST, USPS, Extended YaleB, ORL, COIL20, COIL100의 6개 데이터셋에 대해 평가되었습니다. 성능은 정확도(ACC), 정규화된 상호 정보량(NMI), F1-score로 측정되었습니다.

선형 SC와의 비교: LIHFSS-SVDSC는 하이퍼파라미터가 정밀하게 튜닝된 8개의 선형 단일 뷰 서브스페이스 클러스트링 알고리즘(SSC, LRR, NSN 포함)보다 일관되게 우수한 성능을 보였습니다. 몇몇 사례(예: Extended YaleB, COIL20)에서는 제안된 방법이 이러한 선형 베이스라인을 크게 앞질렀습니다.
오라클(Oracle) DSC와의 비교: 하이퍼파라미터가 홀드아웃 데이터셋에서 튜닝된 "오라클" DSC 방법들과 비교했을 때, LIHFSS-SVDSC는 경쟁력 있는 성능을 보여주었습니다.
- Extended YaleB 및 COIL20에서 제안된 방법은 오라클 DSC 방법들을 능가했습니다.
- MNIST 및 ORL에서 오라클 방법과 대등하거나 약간 낮은 수준의 결과를 달성했습니다(예: MNIST에서 1-3% 차이 이내).
- COIL100에서는 가장 우수한 선형 및 오라클 방법보다 약간 낮은 성능(약 3-5% 낮음)을 보였으며, 저자들은 이를 선형 SC 방법의 내재적 한계와 데이터셋의 복잡성 때문이라고 설명했습니다.
어블레이션 연구 (Ablation Studies): 실험을 통해 순차적 단계의 필요성이 확인되었습니다. 최종 레이어만을 사용하거나( $L_{M/2}^{SE}$ ) 클러스터링 품질 손실( $L_Q$ )을 생략할 경우 성능이 현저히 저하되었습니다. IPD 후처리 단계는 일관된 성능 향상을 제공했습니다.

의의 및 주장
본 논문은 LIHFSS-SVDSC가 레이블된 데이터를 사용할 수 없고 하이퍼파라미터 튜닝이 불가능한 실제 클러스터링 작업에 강력하고 실용적인 솔루션을 제공한다고 주장합니다. 튜닝을 위한 홀드아웃 데이터셋에 대한 의존성과 종료 시점에 대한 의존성을 제거함으로써, 이 방법은 클러스터링의 진정한 비지도 특성에 부합합니다.

저자들은 자신들의 순차적 접근 방식이 가중 합산된 손실 함수의 동시 최적화(이론적으로 더 나은 전역 최적해를 낼 수 있는)와 수학적으로 동일하지는 않다는 점을 겸허히 인정합니다. 그러나 순차적 설계가 하이퍼파라미터 선택의 필요성을 성공적으로 제거하여 "진정으로 자율적인" 학습 프로세스를 제공한다고 주장합니다. 결과에 따르면, 이 방법이 항상 정밀하게 튜닝된 오라클 모델의 정점(peak performance)에 도달하지는 못할 수도 있지만, 수동 개입 없이 표준 선형 접근 방식보다 뛰어난 성능을 보이는 매우 경쟁력 있고 일관된 파라미터 프리 대안임을 보여줍니다.