Random Projection Flows for Efficient Manifold Density Estimation

당신이 복잡한 3차원 물체, 예를 들어 뒤틀린 조각품을 2차원만 볼 수 있는 사람에게 설명하려고 한다고 상상해 보십시오. 만약 당신이 그 조각품을 그냥 평평하게 짓눌러 버린다면, 그 조각품을 독특하게 만드는 바로 그 곡선과 뒤틀림을 잃어버릴 수도 있습니다. 이것이 컴퓨터 과학 세계에서의 "밀도 추정(density estimation)"이 직면한 과제입니다. 즉, 정보의 본질적인 형태를 잃지 않으면서 복잡한 고차원 데이터(수천 개의 픽셀로 이루어진 사진이나 의료 스캔의 수천 가지 측정값 등)를 이해하고 재현하는 일입니다.

이를 위해 과학자들은 종종 "노멀라이징 플로우(normalizing flow)"라는 도구를 사용합니다. 이것을 마법 같고 가역적인 기계라고 생각해보십시오. 이 기계는 단순하고 지루한 데이터 구름(예: 표준 정규 분포)을 가져와서, 당신이 연구하고자 하는 복잡한 데이터와 똑같이 보이도록 늘리고, 뒤틀고, 접습니다. 까다로운 점은 데이터가 단순히 무질서한 구름이 아니라, 실제로는 숨겨진 저차원의 "매니폴드(manifold)"—즉, 거대하고 빈 공간 속에 숨겨진 특정한 곡면—에 존재한다는 것입니다. 100차원의 방 안에 있는 3차원 표면을 매핑하려는 것은 종-이 종이를 찢지 않고 구겨진 종이를 펼치는 것과 같습니다. 만약 잘못한다면, 수학적 왜곡이 발생하여 데이터의 확률을 올바르게 계산할 수 없게 됩니다. 이 논문은 매번 완벽한 접기 방법을 배우는 대신, 무작위적이고 편향되지 않은 접근 방식을 사용하여 그 종이를 펼히는 새로운 방법을 탐구합니다.

---

랜덤 프로젝션 플로우: 모양을 찾기 위해 동전 던지기

연구자 아마다 아야즈 아민(Ahmad Ayaz Amin)과 바하 우딘 카지(Baha Uddin Kazi)가 소개한 새로운 방법인 **랜덤 프로젝션 플로우(Random Projection Flows, RPFs)**를 만나보십시오. 그들의 아이디어는 놀라울 정도로 간단합니다. 고차원 데이터를 더 작은 크기로 압축하는 최선의 방법(보통 "투영 학습"이라 불리는 과정)을 찾아내기 위해 컴퓨터에게 수 시간을 들여 가르치는 대신, 왜 그냥 동전을 던져서 무작위적인 방법을 선택하지 않겠느냐는 것입니다.

수학의 세계에는 **랜덤 프로젝션(Random Projection)**이라는 개념이 있습니다. 거대한 다채로운 색상의 실타래(당신의 고차원 데이터)를 가지고 있다고 상상해 보십시오. 보통 이를 이해하기 위해, 당신은 데이터가 가장 복잡하게 얽힌 특정 방향을 찾으려 할 것입니다(이는 PCA와 같은 기존 방식이 하는 일입니다). 하지만 아민과 카지는 만약 당신이 완전히 무작위적인 각도에서 실타래에 빛을 비춘다면, 여전히 매듭 사이의 거리를 보존하는 꽤 괜찮은 그림자를 얻을 수 있을 것이라고 제안합니다. 이는 **존슨-린덴스트라우스 레마(Johnson-Lindenstrauss Lemma)**라고 불리는 유명한 수학적 아이디어에 기초합니다. 이 레마는 무작위 맵을 사용하여 데이터를 저차원으로 투영하면, 점들 사이의 거리가 대략적으로 유지된다는 것을 말해줍니다.

저자들은 가우시안 분포로부터 생성된 무작위 숫자 격자인 "준직교 행렬(semi-orthogonal matrix)"을 사용하여 데이터를 투영하는 시스템을 구축했습니다. 이 행렬을 무작위로 설정된 거울 세트라고 생각하십시오. 당신의 데이터를 이 거울들에 반사시키면, 데이터는 더 작고 다루기 쉬운 방(잠재 공간)에 도달하게 됩니다. 이 거울들은 무작위이며 하르 분포(Haar-distributed)라는 특정 수학적 규칙을 따르기 때문에, 이 "압축" 과정 뒤의 수학은 믿을 수 없을 정도로 쉬워집니다.

여기 마법 같은 기술이 있습니다. 보통 데이터를 압축할 때, 부피가 얼마나 변했는지 계산하기 위해 거대한 계산 과정을 거쳐야 합니다("리만 부피 보정(Riemannian volume correction)"이라고 합니다). 이는 풍선을 짤 때마다 풍선이 얼마나 늘어나는지 정확히 계산하려고 애쓰는 것과 같습니다. 하지만 RPF의 경우, 투영이 무작위적이고 고정되어 있기 때문에 부피 변화는 단지 **상수(constant number)**가 됩니다. 이는 마치 완벽한 정육면체를 어떤 방향으로 회전하더라도 그것이 차지하는 공간의 양은 항상 같다는 사실을 깨닫는 것과 같습니다. 즉, 컴퓨터는 모든 데이터 포인트에 대해 어려운 수학을 수행할 필요 없이, 단순히 미리 계산된 숫자를 방정식에 더하기만 하면 됩니다.

그들이 발견한 것: 무작위성이 학습보다 나을 수 있다

연구진은 UCI 데이터셋(POWER, GAS, HEPMASS, MINIBOONE)과 같이 컴퓨터가 데이터의 형태를 얼마나 잘 추측하는지 테스트하는 데 사용되는 몇 가지 표준 벤치마크를 포함하여 여러 실제 데이터셋을 통해 이 아이디어를 테스트했습니다.

그들은 자신들의 "랜덤 프로젝션 플로우"를 전통적인 방식인 **PCA(주성분 분석)**와 비교했습니다. PCA는 데이터의 최적의 각도를 찾기 위해 열심히 공부하는 학생과 같습니다. RPF는 눈을 감고 무작위 방향을 가리키는 학생과 같습니다.

결과는 놀라웠습니다. 거의 모든 테스트에서 무작위 방식(RPF)이 학습된 방식(PCA)보다 더 나은 성과를 보였습니다.

• POWER 데이터셋에서 무작위 방식은 -1.72를 기록한 반면, 학습된 PCA 방식은 -2.51을 기록했습니다(이 게임에서는 높은 것이 승리이므로, -1.72가 승리입니다).
• GAS 데이터셋에서 RPF는 -1.57을 기록했고, PCA는 -2.32를 기록했습니다.
• HEPMASS에서 RPF는 -19.97 대 PCA의 -20.71을 기록했습니다.

저자들은 랜덤 프로젝션을 사용함으로써 "매니폴드 과적합(manifold overfitting)"이라는 흔한 함정을 피할 수 있었다는 것을 발견했습니다. 이는 모델이 훈련 데이터의 특정 세부 사항에 너무 집착하여 일반적인 형태를 잊어버리는 현상을 말합니다. 랜덤 프로젝션은 데이터를 "학습"하려고 시도하지 않기 때문에, 정직함을 유지하며 기하학적 구조를 더 잘 보존합니다. 또한 그들은 "스위스 롤(Swiss roll, 나선형 계단)"과 "S-커브(S-curve)" 같은 3D 형상에 대해서도 테스트했습니다. 이 형상들을 2D로 압축했을 때, 무작위 방식은 PCA 방식이 단순히 지루한 선으로 펴버리는 것과 달리, 나선 구조와 이중 층 구조를 훨씬 더 온전하게 유지했습니다.

한계: 무작위성만으로는 부족할 때

하지만 저자들은 이 방식이 한계에 부딪히는 지점에 대해서도 매우 솔직하게 기술했습니다. 그들은 MNIST(손글씨 숫자) 및 CIFAR-10(고양이, 개, 자동차 등의 색채가 있는 사진)과 같은 매우 복잡하고 고해상도인 이미지에 대해 테스트했습니다.

단순한 MNIST 숫자의 경우, 무작위 방식은 꽤 잘 작동하여 다른 표준 모델들을 능가했습니다. 그러나 복잡한 CIFAR-10 이미지의 경우, 랜덤 프로젝션 플로우는 어려움을 겪었습니다. 저자들은 랜덤 프로젝션이 데이터를 작은 공간으로 옮기는 데는 훌륭하지만, 그 공간을 이해하기 위해 사용한 "두뇌"(가우시안 제한 볼츠만 머신, Gaussian Restricted Boltzmann Machine)가 자연 이미지의 복잡한 세부 사항을 처리할 만큼 똑똑하지 않았다고 제안합니다. 그들은 이러한 어려운 작업들을 위해서는 잠재 공간 내에 훨씬 더 강력한 모델이 필요하거나, 혹은 더 깊은 구조(deeper architecture)가 필요할 수 있다고 언급했습니다.

요약

이 논문의 주요 발견은 데이터를 압축하는 최선의 방법을 반드시 학습할 필요는 없으며, 때로는 무작위적인 방법이 그만큼 잘 작동하거나 심지 even 더 나을 수도 있다는 것입니다.

고정된 랜덤 프로젝션을 사용함으로써, 저자들은 다음과 같은 특징을 가진 방법을 만들었습니다:

1. 빠르고 단순함: 모든 데이터 포인트에 대해 복잡한 수학을 계산할 필요가 없습니다.
2. 플러그 앤 플레이(Plug-and-Play): 기존 컴퓨터 모델에 쉽게 교체하여 적용할 수 있습니다.
3. 놀라운 효과: 특히 구조화된 데이터에 대해서는 최적의 투영을 학습하려는 방식보다 종종 더 나은 성능을 보입니다.

이 논문은 이 접근 방식이 미래 연구를 위한 강력한 "베이스라인(baseline, 기준점)"이 될 수 있음을 시사합니다. 이는 고전적인 랜덤 프로젝션 이론과 현대의 생성형 AI 사이의 가교 역할을 합니다. 비록 이 방식이 아직 고양이 사진을 완벽하게 생성해내는 최종 해답은 아닐지라도, 복잡한 데이터의 형태를 이해하기 위한 강력하고 저비용인 도구를 제공하며, 때로는 약간의 무작위성이 큰 그림을 보는 데 정확히 필요한 요소임을 증명하고 있습니다.