🤖 machine learning

Radial Basis Function Networks as Projection Heads in Self-Supervised Learning

본 논문은 자기지도 학습의 표준 MLP 프로젝션 헤드를 방사 기저 함수 네트워크(RBFN)로 대체함으로써 새로운 척도 정규화 분리(SNS) 지표를 통해 레이블 없이 표현 품질을 평가할 수 있도록 제안하며, 동시에 다양한 아키텍처와 데이터셋에 걸쳐 경쟁력 있는 성능을 유지한다.

원저자: Andreas Schliebitz, Heiko Tapken, Martin Atzmueller

게시일 2026-06-23

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Andreas Schliebitz, Heiko Tapken, Martin Atzmueller

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

핵심 요약: "쓸모없는" 헤드(Head)

로봇에게 다양한 종류의 동물을 인식하도록 훈련시킨다고 상상해 보세요. 이를 위해 여러분은 로봇에게 사진을 보고 중요한 특징을 파악하는 "두뇌"(백본/Backbone라고 불림)를 제공합니다.

현재의 자기 지도 학습(Self-supervised learning, 로봇이 정답을 알려주는 선생님 없이 스스로 배우는 방식)에서, 연구자들은 이 두뇌 위에 작은 "도움용 모자"를 씌워줍니다. 이 모자를 **프로젝션 헤드(Projection head)**라고 부릅니다. 이 모자의 역할은 훈련 단계 동안 두뇌가 더 잘 학습할 수 있도록 돕는 것입니다.

문제점: 로봇이 학습을 마치면, 과학자들은 보통 이 "도움용 모자"를 버립니다. 그러고 나서 두뇌가 실제로 얼마나 잘 작동하는지 확인하기 위해, 두뇌에 동물을 분류하는 아주 단순한 방법을 새로 가르치는 데 많은 시간과 비용을 들여야 합니다. 이 논문의 저자들은 이렇게 말합니다. "잠깐만요! 모자를 버리는 것은 낭비입니다. 왜 모자를 그대로 유지해서 두뇌가 일을 잘하고 있는지 확인하는 용도로 쓰지 않나요?"

해결책: "멍청한 모자" 대신 "똑똑한 모자"

보통 이 도움용 모자는 이해하기 어려운 표준적이고 약간 복잡한 기계(MLP)입니다. 왜 그런 결정을 내렸는지 쉽게 알 수 없습니다.

저자들은 이 표준적인 모자를 **RBFN(Radial Basis Function Network, 방사 기저 함수 네트워크)**으로 교체할 것을 제안합니다.

비유: 표준적인 모자가 단순히 숫자 하나를 내뱉는 '블랙박스'라면, 새로운 RBFN 모자는 특정 랜드마크(Landmarks)가 표시된 지도와 같습니다.
작동 원리: 단순히 숫자를 계산하는 대신, RBFN은 특정 "중심점(Landmarks)"과 "형태(각 랜드마크의 영향력이 얼마나 넓은지)"를 학습합니다.
이점: 이러한 랜드마크와 형태가 매우 명확하고 해석 가능하기 때문에, 여러분은 모자 자체를 보고 "아, 랜드마크들이 잘 간격을 두고 배치되어 있으니, 두뇌가 데이터를 아주 잘 정리하고 있구나"라고 말할 수 있습니다. 따라서 모자를 버리거나, 일을 검사하기 위해 새로운 선생님을 고용할 필요가 없습니다.

새로운 도구: "SNS" (품질 점수)

이 아이디어를 증명하기 위해, 저자들은 **SNS(Scale-Normalized Separation, 척도 정규화 분리)**라고 불리는 새로운 품질 측정법을 발명했습니다.

비유: 여러분이 손님(데이터 포인트)들이 테이블(클러스터)에 앉아야 하는 파티를 연다고 상상해 보세요.
- 만약 모든 사람이 한 구석에 빽빽하게 몰려 있다면, 그 파티는 엉망입니다 (낮은 품질).
- 만약 모든 사람이 테이블 사이의 적절한 간격을 유지하며 완벽하게 퍼져 있다면, 그 파티는 아주 훌륭합니다 (높고 좋은 품질).
SNS의 작동 방식: 이는 RBFN 모자가 학습한 "랜드마크(중심점)"를 살펴봅니다. 그리고 이 랜드마크들 사이의 거리가 "형태 매개변수(테이블의 크기)"와 일치하는지 확인합니다.
결과: 랜드마로가 완벽하게 간격을 두고 배치되어 있다면 SNS 점수는 높아집니다. 저자들은 높은 SNS 점수가 곧 로보트의 두뇌가 사물을 인식하는 능력이 매우 뛰어나다는 것을 거의 항상 의미한다는 것을 발견했습니다. 심지어 라벨이 붙은 정답을 보지 않고도 말이죠.

테스트 내용

연구진은 이 아이디어를 다섯 가지의 유명한 로봇 학습 시스템(MoCo, SimCLR, BYOL 등)과 네 가지의 이미지 데이터 세트(Google의 Open Images를 기반으로 직접 만든 데이터 포함)에 대해 테스트했습니다.

그들은 두 가지 주요 질문을 던졌습니다:

새로운 "똑똑한 모자"가 기존의 "멍청한 모자"만큼 잘 작동하는가?
- 답변: 네. 로봇은 RBFN 모자를 사용했을 때도 똑같이 잘 학습했습니다. 어떤 경우에는 오히려 약간 더 나은 성능을 보이기도 했습니다. 이는 완벽한 "교체 가능한(drop-in)" 모델입니다.
SNS 점수를 믿고 로봇이 똑똑한지 판단할 수 있는가?
- 답변: 네. 그들은 SNS 점수를 전통적이고 비용이 많이 드는 방식(라벨이 있는 데이터로 새로운 분류기를 학습시키는 방식)과 비교했습니다. 그 결과 매우 강력한 상관관계를 발견했습니다. 즉, SNS 점수가 높을 때 로봇의 실제 성능도 높았습니다.

권장 사항

실험을 바탕으로 저자들은 다음과 같이 제안합니다:

3개의 레이어 사용: 기존의 2개 레이어 대신 3개의 레이어의 랜드마크를 가진 RBFN 모자를 구축하세요. 이것이 가장 효과적인 것으로 보입니다.
가우시안(Gaussian) 형태 사용: 다른 형태보다 가우시안 형태를 사용하는 것이 더 효과적이었습니다.
정규화에 신경 쓰지 말 것: 모자를 별도로 "정규화"하는 추가적인 수학적 계산을 할 필요는 없습니다. 있는 그대로도 잘 작동합니다.

요 요약

이 논문은 훈련 후에 "도움용 모자"를 버리는 것이 자원을 낭비하는 것이라고 주장합니다. 표준적인 모자를 **RBFN(Radial Basis Function Network)**으로 교체함으로써, 우리는 로봇의 학습을 돕는 기능은 유지하면서도, 동시에 내장된 품질 성적표 역할을 하는 도구를 얻게 됩니다. 우리는 모자의 내부 지도(중심점과 형태)를 살펴봄으로써 로봇이 잘 배우고 있는지 즉각적으로 알 수 있으며, 이를 통해 시간과 비용을 절약할 수 있습니다.

기술 요약: 자기지도 학습에서 투영 헤드로서의 방사 기저 함수 네트워크(Radial Basis Function Networks)

문제 정의
표준적인 자기지도 학습(Self-Supervised Learning, SSL) 파이프라인에서는 백본 인코더(예: ResNet, ViT)가 얕은 다층 퍼셉트론(MLP) 투영 헤드와 쌍을 이룹니다. MLP 헤드는 훈련 안정성과 표현 품질에 매우 중요하지만, 관습적으로 사전 훈련 후에는 폐기됩니다. 백본의 품질은 라벨이 있는 데이터를 통한 비용이 많이 드는 선형 프로빙(linear probing) 절차를 통해 평가됩니다. 저자들은 훈련된 투영기를 폐기하는 것이 계산적 및 정보 이론적으로 낭비라고 주장합니다. 또한, 라벨에 의존하는 평가는 라벨이 없거나 라벨이 부족한 시나리오에서 표현의 품질을 평가하는 것을 방해하여 병목 현상을 일으킵니다.

방법론
본 논문은 표준 MLP 투영 헤드를 방사 기저 함수 네트워크(RBFN) 헤드로 교체할 것을 제안합니다. 이러한 구조적 변화는 두 가지 목적을 수행합니다: 경쟁력 있는 표현 학습 성능을 유지하는 것과 라벨 없는 품질 평가를 가능하게 하는 것입니다.

RBFN 투영 헤드:
- 저자들은 LightlySSL 프레임워크와 호환되는 드롭인 교체 방식(drop-in replacement)으로 RBFN 헤드를 구현했습니다.
- 이 아키텍처는 선형 레이어와 RBF 레이어로 구성됩니다. 비선형성은 ReLU 대신 방사 기저 함수(구체적으로 가우시안, 역 다중 이차 함수, 다중 이차 함수, 박판 스플라인)에 의해 제공됩니다.
- RBF 레이어는 일련의 커널 중심( $c_i$ )과 형상 매개변수( $\varepsilon_i$ )를 학습합니다. 출력은 이러한 방사 기저 함수들의 선형 결합입니다.
- 저자들은 이를 MoCo, SimCLR, BYOL, SwAV, SimSiam의 다섯 가지 정형적인 SSL 아키텍처에 걸쳐 테스트했습니다.
척도 정규화 분리(Scale-Normalized Separation, SNS) 지표:
- 라벨 없이 표현 품질을 평가하기 위해, 저자들은 학습된 RBFN 매개변수( $c_i$ 및 $\varepsilon_i$ )만을 사용하여 도출된 지표인 SNS를 도입했습니다.
- SNS는 커널 중심들 간의 상대적 거리를 그들의 척도(scale)와 비교하여 "분리(separation)"를 정량화합니다. 이는 중심 쌍 간의 가우시안 상호작용 에너지를 계산하고, 이를 공간의 차원 및 형상 매개변수의 합으로 정규화합니다.
- 이 지표는 중심 간 거리가 커널 척도와 잘 부합할 때 최대화되며, 이는 이론적으로 투영 공간 내에서 특징들이 잘 구조화된 클러스터링을 이루고 있음을 나타냅니다.
실험 설정:
- 실험은 ImageNet-100과 Google의 Open Images V7의 세 가지 서브셋(10, 30, 50 클래스) 데이터셋에 대해 수행되었습니다.
- 커널 수, 투영기의 깊이, 정규화, 방사 기저 함수의 유형을 포함한 RBFN 하이퍼파라미터에 대한 그리드 탐색(grid search)이 수행되었습니다.
- 성능은 선형 프로빙(로지스틱 회귀) 지표(정확도, 정밀도, 재현율, F1)를 사용하여 벤치마킹되었습니다.
- SNS 점수와 표준 선형 프로빙 지표 간의 상관관계 분석(Pearson 및 Spearman)이 수행되었습니다.

주요 기여

드롭인 교체로서의 RBFN: 저자들은 RBFN 투영 헤드가 심각한 성능 저하 없이 주요 SSL 아키텍처에서 표준 MLP 투영기와 경쟁할 수 있음을 입증하며, 직접적인 교체가 가능함을 보여주었습니다.
SNS 지표: 라벨 없이도 분류 성능과 강하게 상관되는 새로운 라벨 프리 품질 지표(SNS)를 도입했습니다. 이를 통해 학습된 RBFN 매개변수만을 사용하여 백본의 표현 품질을 평가할 수 있습니다.
하이퍼파라미터 가이드라인: SHAP 분석을 통해 RBFN 헤드 구축을 위한 경험적 권장 사항을 제공합니다:
- 활성화 함수로 가우시안(Gaussian) 방사 기저 함수를 사용하십시오.
- 표준적인 2개 층 대신 3개 층(linear-RBF-linear-RBF-linear)으로 구성된 헤드를 구축하십시오.
- 커널 수를 출력 차원(예: 128)과 일치시키십시오.
- 대부분의 경우 RBFN 아키텍처의 정규화를 피하십시오.
새로운 데이터셋 리소스: 재현 가능한 연구를 촉진하기 위해 ImageNet-1K와 클래스가 중복되지 않는 Open Images V7 서브셋(10, 30, 50, 70, 100 클래스)에 대한 PyTorch 호환 구현을 공개합니다.

결과

성능 동등성: RBFN 헤드는 기본 MLP 헤드와 대등한 성능을 달-성했습니다. ImageNet-100에서 RBFN 헤드는 SimCLR에서 MLP보다 약간 높은 성능(+4% 정확도)을 보였으며, 다른 데이터셋에서는 유사한 성능을 보였습니다. Open Images 서브셋의 경우, RBFN은 더 큰 서브셋에서 미세한 열세(1–3%)를 보였으나, BYOL과 함께 사용되었을 때는 MLP보다 2–4% 더 높은 성능을 보였습니다.
지표 상관관계: SNS 지표는 기존 로지스틱 회귀 지표(정확도, F1 등)와 강하거나 매우 강한 양의 상관관계(Pearson $r$ 범위 0.79 ~ 0.93)를 나타냈습니다. 이러한 상관관계의 p-value는 극도로 낮았으며, 이는 SNS가 표현 품질의 신뢰할 수 있는 대리 지표라는 가설을 뒷받침합니다.
하이퍼파라미터 영향: RBF 함수(가우시안)와 투영기 깊이(3개 층)의 선택이 성능에 가장 큰 영향을 미쳤습니다. 커널 수와 정규화는 테스트된 범위 내에서 미미한 영향을 미쳤습니다.

의의 및 주장
본 논문은 MLP 투영자를 RBFN으로 교체하는 것이 높은 성능을 유지하는 동시에 라벨 없는 데이터로 표현 품질을 평가할 수 있는 능력을 잠금 해제하는 이중적 이점을 제공한다고 주장합니다. 학습된 RBFN의 중심과 형상을 해석함으로써, 연구자들은 SNS 지표를 통해 백본 표현의 품질을 가늠할 수 있습니다. 저자들은 훈련된 RBFN 투영자가 백본 품질의 신뢰할 수 있는 대리 역할을 할 수 있으며, 잠재적으로 자기지도 학습에서의 모델 선택 시 라벨링된 테스트 세트에 대한 의존도를 줄일 수 있다고 결론짓습니다. 이는 "계산적으로 낭비되는" 투영기 폐기 방식에서 벗어나 더 해석 가능하고 효율적인 평가 파이프라인으로 나아가는 움직임으로 자리매김합니다.