🤖 machine learning

DR-SNE: Density-Regularized Stochastic Neighbor Embedding

본 논문은 국소 이웃 구조를 유지하면서 상대적 데이터 밀도 변화를 명시적으로 보존하여 이상 탐지와 같은 밀도 민감 작업의 성능을 향상시키기 위해 표준 확률적 이웃 임베딩 목적 함수에 밀도 정규화 항을 추가한 차원 축소 방법인 DR-SNE 를 소개한다.

원저자: Maksim Kazanskii

게시일 2026-05-05

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Maksim Kazanskii

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대한 방 안에 수천 개의 다양한 물건이 어지럽게 쌓여 있다고 상상해 보세요. 어떤 물건들은 산처럼 빽빽하고 무거운 덩어리로 쌓여 있는 반면, 다른 물건들은 바닥에 드문드문 흩어져 있습니다 (예를 들어 몇 개의 버려진 장난감처럼).

이 방을 높은 각도에서 촬영하는 것이 목표이지만, 잡을 수 있는 것은 평면적인 2D 이미지뿐입니다. 그리고 이 사진이 '올바르게' 보이기를 원합니다.

기존 방법의 문제점
이 사진을 찍는 데 사용되는 기존 도구들 (t-SNE 나 UMAP 등) 은 이웃 관계를 가까이 유지하는 데는 뛰어납니다. 방에서 두 권의 책이 서로 닿아 있다면, 사진에서도 서로 닿아 있게 됩니다. 하지만 이러한 도구들은 기이한 부작용을 가지고 있습니다. 바로 모든 물건 더미를 동일한 크기를 가진 것처럼 취급한다는 점입니다.

만약 거대하고 빽빽한 책의 산과 작고 드문드문한 장난감 더미가 있다면, 기존 도구들은 산을 납작하게 누르고 장난감을 늘려서 사진에서 둘의 크기가 대략 같아 보이도록 만듭니다. 이는 혼잡한 도시 블록과 텅 빈 사막 지대가 사진에서 정확히 같은 수의 사람들이 있는 것처럼 보이게 하는 것과 같습니다. 당신은 방의 진정한 '밀도'를 잃게 됩니다. 그룹들이 어디에 있는지 볼 수는 있지만, 어떤 그룹이 실제로 거대하고 어떤 그룹이 작은지는 구분할 수 없습니다.

새로운 해결책: DR-SNE
저자 막심 카잔스키 (Maksim Kazanskii) 는 DR-SNE(Density-Regularized Stochastic Neighbor Embedding, 밀도 정규화 확률적 이웃 임베딩) 라는 새로운 도구를 소개합니다.

DR-SNE 를 특별한 '밀도계'를 들고 있는 사진작가로 생각하세요. 이 사진작가는 단순히 이웃들이 이웃으로 남도록 하는 것뿐만 아니라, *"이 특정 지점은 얼마나 붐비는가?"*도 확인합니다.

기존 방식: "이 두 권의 책을 서로 옆에 두세요." (결과: 책의 산은 납작해지고, 장난감은 늘어납니다).
DR-SNE 방식: "이 두 권의 책을 서로 옆에 두되, 그리고 이 책의 산이 저 작은 장난감 더미보다 훨씬 크고 빽빽해 보이도록 하세요."

작동 원리 (비유)
3D 산맥 지도를 종이 위에 평평하게 펴려고 한다고 상상해 보세요.

표준 방법들은 골짜기를 늘리고 봉우리를 줄여서 모든 것이 평평하고 균일해 보이게 할 수 있습니다.
DR-SNE 는 다음과 같은 규칙을 추가합니다: "골짜기를 너무 많이 늘리지 말고, 봉우리를 너무 많이 줄이지 마세요. 높이 (밀도) 의 상대적 차이를 가시적으로 유지하세요."

이는 수학식에 간단한 '페널티'를 추가함으로써 이루어집니다. 도구가 빽빽한 영역을 너무 많이 누르거나 드문드문한 영역을 너무 많이 늘리려 하면, '불만' (수학적 페널티) 을 받고 다시 시도해야 합니다.

논문에서 발견한 내용
저자는 이 새로운 카메라를 다양한 데이터셋 (의류 이미지, 생물학적 세포, 합성 형태 등) 으로 테스트한 결과 다음과 같은 사실을 발견했습니다.

더 나은 밀도 표현: DR-SNE 는 실제로 어떤 지역이 붐비고 어떤 지역이 비어있는지를 훨씬 잘 보여줍니다. 사진에서 빽빽한 군집은 응집된 상태로 유지되고, 드문드문한 영역은 실제 3D 방에서와 마찬가지로 퍼져 있는 상태로 유지됩니다.
이웃 유지 능력 유지: 이웃을 함께 묶는 능력을 잃지 않았습니다. 단지 이 추가적인 '밀도' 기능을 그 위에 더했을 뿐입니다.
트레이드오프: 균형이 필요합니다. '밀도계'를 너무 높게 설정하면 군집의 정확한 모양에 대해 사진이 약간 흐릿해질 수 있습니다. 하지만 이를 약간만 높이면 양쪽 장점을 모두 얻을 수 있습니다: 명확한 이웃 관계와 정확한 군집 크기.

중요성 (논문에 따르면)
이 논문은 데이터를 바라보는 이 새로운 방식이 특히 이상 탐지(anomaly detection, '이질적인 것'을 찾는 작업) 와 같은 특정 작업에 도움이 된다고 보여줍니다.

군중 속에서 희귀하고 외로운 물체 (이상치) 를 찾고 있다면, 군중은 빽빽하게 보이고 빈 공간은 비어있게 보이는 사진이 도움이 됩니다. 만약 사진이 군중을 납작하게 누르고 빈 공간을 늘린다면, '외로운' 물체는 사라지거나 실제로 존재하지 않는 군중의 일부처럼 보일 수 있습니다. DR-SNE 는 밀도를 정직하게 유지하여 컴퓨터 프로그램이 '셔틀 (Shuttle, 시스템 모니터링 데이터셋)'이나 '갑상선 (Thyroid, 의료 데이터셋)'과 같은 데이터셋에서 희귀 항목을 더 쉽게 찾아내도록 합니다.

요약
DR-SNE 는 3D 데이터를 2D 이미지로 평평하게 만드는 더 지능적인 방법입니다. 이는 단순히 친구들을 함께 묶는 것뿐만 아니라, 이웃이 얼마나 붐비는지 존중하여 최종 이미지에서 데이터 포인트의 '도시'가 '마을' 크기로 축소되지 않도록 보장합니다.

기술 요약: DR-SNE (밀도 정규화 확률적 이웃 임베딩)

문제 제기
표준 차원 축소 방법, 특히 t-SNE 및 그 변형들은 국소 이웃 관계를 보존하는 것을 목표로 하는 기하학적 문제로 공식화됩니다. 이러한 방법들은 조건부 구조 (국소 유사성) 를 유지하는 데 효과적이지만, 데이터셋 전체에 걸친 확률 질량의 분포는 암묵적으로 무시합니다. 그 결과, 희소 영역은 확장되고 밀집 영역은 압축되는 등 데이터 밀도에 심각한 왜곡을 초래합니다. 이는 데이터의 근본적인 분포를 왜곡하여 오해의 소지가 있는 군집 크기와 공간적 관계를 생성하는 임베딩으로 이어집니다. DensMAP 및 DenSNE 와 같은 기존 밀도 인식 접근법들은 국소 이웃 규모 (예: 반지름 또는 대역폭) 의 일관성을 강제함으로써 이를 완화하려 시도합니다. 그러나 해당 논문은 이러한 규모 기반 대리 변수들이 국소 샘플링 밀도와는 간접적인 관계에 있을 뿐이며, 임베딩 규모와 이웃 정의에 민감할 수 있다고 주장합니다.

방법론
저자들은 차원 축소를 두 구성 요소의 정렬로 재정의한 **DR-SNE (Density-Regularized Stochastic Neighbor Embedding)**을 제안합니다.

조건부 구조: 국소 관계를 포착 (SNE/t-SNE 의 표준).
상대적 밀도 구조: 국소 밀도 통계를 통해 확률 질량의 변동을 포착.

이론적으로 이는 결합 분포 간의 Kullback–Leibler (KL) 발산을 조건부 및 주변부 구성 요소로 분해하는 데 기반합니다. 표준 SNE 는 주변 분포를 균일하게 고정함으로써 조건부 항만을 최적화합니다. DR-SNE 는 주변 밀도를 정렬하기 위한 보완적 목적 함수를 도입합니다.

알고리즘 구현:

밀도 추정: 고차원 ( $X$ ) 과 저차원 ( $Z$ ) 공간의 국소 밀도는 $k$ -최근접 이웃 ( $k$ -NN) 거리를 사용하여 추정됩니다.
정규화: 이러한 밀도 추정치 ( $\rho$ ) 는 규모 불변성을 보장하기 위해 단위 평균으로 정규화됩니다.
목적 함수: 총 손실 $L$ 은 표준 희소 KL 발산 ( $L_{KL}$ ) 과 밀도 정규화 항 ( $L_{dens}$ ) 을 결합합니다:
$L = L_{KL} + \lambda L_{dens}$
여기서 $L_{dens}$ 는 정규화된 로그 밀도 추정치 간의 제곱 차이를 최소화합니다:
$L_{dens} = \frac{1}{n} \sum_{i=1}^{n} \left( \log \tilde{\rho}^{high}_i - \log \tilde{\rho}^{low}_i \right)^2$
최적화: 이 방법은 초기 과장 (early exaggeration) 을 통한 워밍업 단계를 거친 후, 그래디언트 클리핑이 적용된 Adam 을 통해 최적화를 수행합니다. 매개변수 $\lambda$ 는 이웃 충실도와 밀도 보존 간의 균형을 조절합니다.

주요 기여

이론적 재정의: 해당 논문은 차원 축소를 조건부 구조와 주변 밀도의 정렬로 명시적으로 프레임하며, 표준 방법에서 밀도 왜곡의 근본 원인을 주변 항의 소홀로 규명합니다.
직접 밀도 정렬: 규모 기반 대리 변수에 의존하는 기존 연구와 달리, DR-SNE 는 정규화된 로그 밀도 추정치를 직접 정렬합니다. 이는 상대적 밀도 변동을 보존하는 규모 불변 메커니즘을 제공합니다.
새로운 평가 지표: 저자들은 밀도 보존을 정량적으로 평가하기 위해 원본 공간과 임베딩 공간의 정규화된 로그 밀도 추정치 간의 상관관계로 정의된 **밀도 상관 (Density Correlation, DC)**을 도입합니다.
실증적 검증: 광범위한 실험을 통해 DR-SNE 가 t-SNE, UMAP, PaCMAP, DensMAP, DenSNE 보다 우수한 밀도 보존을 달성하면서도 경쟁력 있는 이웃 충실도를 유지함을 입증했습니다.

결과

밀도 보존: 다양한 데이터셋 (Digits, Fashion-MNIST, MNIST, PBMC, Shuttle, 합성 나선) 에서 DR-SNE 는 일관되게 가장 높은 밀도 상관 (DC) 점수를 달성했습니다. 예를 들어, MNIST 데이터셋에서 DR-SNE 는 0.991 의 DC 를 기록한 반면, DensMAP 은 0.987, 표준 t-SNE 는 0.118 의 DC 를 기록했습니다.
위상 대 밀도 트레이드오프: 제거 실험 (ablation studies) 은 명확한 파레토 프론티어를 보여줍니다. $\lambda$ 를 증가시키면 밀도 상관관계는 단조 증가하지만 신뢰도 (국소 구조) 는 점진적으로 저하됩니다. 주목할 점은 작은 비영 (non-zero) $\lambda$ 값이 종종 밀도 보존과 국소 구조 모두를 개선하여 안정제 역할을 한다는 것입니다.
하류 성능: 이상 탐지 작업 (kNN, LOF, Isolation Forest, 중심 기반 탐지기 사용) 에서 DR-SNE 는 특히 이상치가 저밀도 영역에 해당하는 밀도 주도 영역 (예: Shuttle, Thyroid) 에서 향상을 보입니다. 이는 특정 점수 함수에만 특화된 방법들과 비교하여 다양한 탐지기에 걸쳐 견고성을 보여줍니다.
계산 비용: DR-SNE 는 조밀한 쌍별 상호작용으로 인해 표준 t-SNE 의 반복당 $O(n^2)$ 시간 복잡도를 유지하지만, 저자들은 기존 가속화 기술 (예: Barnes-Hut) 을 적용할 수 있음을 지적합니다.

의의 및 주장
해당 논문은 DR-SNE 가 널리 사용되는 시각화 도구의 근본적인 한계를 해결하는 "간단하고 원칙적인 확장"을 제공한다고 주장합니다. 명시적으로 밀도 정보를 통합함으로써 DR-SNE 는 이산적 군집과 연속적 변동이 모두 포함된 하이브리드 데이터셋 (예: 단일 세포 RNA 시퀀싱 데이터) 에서 데이터의 근본적인 분포를 더 충실하게 표현합니다.

저자들은 차원 축소가 단순히 기하학적 문제가 아니라 데이터 분포의 보완적 구성 요소들의 정렬로 간주되어야 함을 강조합니다. 그들은 기하학 중심 방법들이 순수하게 군집화되거나 매니폴드가 지배적인 설정에서는 여전히 선호되지만, 밀도 보존 임베딩은 통계적 분석, 이상 탐지, 그리고 데이터 포인트의 상대적 밀도가 의미 있는 정보를 전달하는 작업에서는 필수적이라고 주장합니다. 이 방법은 사용자가 데이터의 특정 구조적 체제에 따라 임베딩을 조정할 수 있는 조절 가능한 트레이드오프를 제공합니다.

기술 요약: DR-SNE (밀도 정규화 확률적 이웃 임베딩)

유사한 논문