🤖 machine learning

Do Neural Networks Learn Structure-Preserving Maps? A Case Study in Latent-to-Hilbert Embeddings

이 논문은 신경망이 압축된 잠재 공간으로부터 실질적으로 선형적이고 랭크가 4인 힐베르트 공간 표현으로 구조를 보존하는 사상을 학습할 수 있음을 입증하면서도, 이러한 근사 선형 작업에 대해서는 조정된 MLP보다 고전적인 커널 방법론이 더 우수한 성능을 보일 수 있음을 시사한다.

원저자: Muhammad Adnan Shahzad

게시일 2026-10-06

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Muhammad Adnan Shahzad

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

현대 컴퓨팅의 세계에서 기계는 단순히 패턴을 인식하는 것을 넘어, 데이터의 숨겨진 기하학적 구조를 이해하도록 점점 더 많이 학습되고 있습니다. 모든 책이 표지가 아닌 다차원 공간에서의 고유한 좌표 집합으로 표현되는 거대한 도서관을 상상해 보십시오. 이 공간에서 두 점 사이의 거리는 책들이 얼마나 유사한지를 반영하며, 그들 사이의 각도는 그 내용이 서로 어떻게 연관되어 있는지를 드러냅니다. 이것이 바로 인공지능 시스템이 복잡한 정보를 더 단순하고 관리 가능한 형태로 압축하는 분야인 '표현 학습(representation learning)'의 본질입니다. 연구자들에게 핵심적인 질문은, 이러한 압축된 형태가 원래 항목들 사이의 섬세한 관계를 잃지 않으면서 다른 고도로 구조화된 수학적 언어로 다시 번역될 수 있는지 여부입니다. 구체적으로, 과학자들은 '구조 보존 사상(structure-preserving maps)'에 관심을 두고 있는데, 이는 원래 데이터에서 두 항목이 가까웠다면 새로운 표현에서도 여전히 가깝게 유지되도록 하여 기하학적 관계를 온전하게 유지하는 변환을 의미합니다. 이러한 능력은 서로 다른 유형의 데이터를 정렬하는 것부터, 정보가 아원자 입자의 상태에 저장되는 신흥 분야인 양자 컴퓨팅과 고전 컴퓨터 사이의 간극을 메우는 것에 이르기까지 다양한 분야에서 매우 중요합니다.

한 연구자가 신경망(인간의 뇌를 모델로 한 일종의 컴퓨터 프로그램)이 그러한 번역을 수행하는 법을 배울 수 있는지 테스트하기 위해 실험을 설계했습니다. 그는 손글씨 숫자로 이루어진 잘 알려진 데이터셋을 사용하여, 숫자 이미지를 아주 작은 8차원의 요약본으로 압축하는 실험을 설계했습니다. 이 요약본으로부터, 그는 작은 양자 입자 시스템을 지배하는 수학적 규칙에 기반한 타겟 표현을 생성했습니다. 목표는 신경망이 압축된 요약본을 이 양자 스타일의 표현으로 직접 매핑하여, 숫자들 사이의 내부 관계를 보존할 수 있는지 확인하는 것이었습니다. 연구자는 구조적 무결성을 유지하는 데 있어 어떤 접근 방식이 더 나은지 확인하기 위해 신경망의 성능을 더 단순한 고전적 수학 도구들과 비교했습니다.

결과는 신경망이 문제를 해결하는 방식에 있어 놀라운 단순함을 드러냈습니다. 네트워크의 복잡한 구조와 타겟 표현의 비선형적 특성에도 불구하고, 그것이 학습한 매핑은 거의 전적으로 선형적이었습니다. 연구자가 네트워크의 동작을 분석했을 때, 단순한 직선 방정식이 91%의 정확도로 그 동작을 설명할 수 있었으며, 이는 이상적인 타겟에 직접 매핑했을 때 달성한 9나 98%의 정확도에 거의 근접한 수치였습니다. 이는 신경망이 과업을 수행하기 위해 복잡하고 뒤틀린 계산을 할 필요 없이, 직접적이고 효율적인 경로를 찾아냈음을 시사합니다. 더욱이, 네트워크가 데이터를 밀어내는 방향은 입력 이미지의 특징에 의해 결정된 것이 아니라, 타겟 양자 시스템의 기하학적 구조에 의해 결정되었습니다. 네트워크는 입력 데이터의 가장 명백한 패턴들을 효과적으로 무시하고, 대신 타겟 구조와 일치시키기 위해 요구되는 특정 방향에 완전히 집중했습니다.

아마도 가장 직관에 어긋나는 발견은 네트워크의 솔루션 내에서 서로 다른 구성 요소들의 중요성에 관한 것이었습니다. 네트워크 출력에 대한 수학적 분석 결과, 내부의 두 방향이 다른 두 방향보다 훨씬 더 강력한 것으로 나타났습니다. 직관적으로는 약한 방향들이 미미하여 버려도 안전하다고 생각할 수 있습니다. 그러나 연구자는 가장 약한 방향 하나를 제거하는 것만으로도 매핑의 품질이 현저히 저하되어 오차가 거의 6배나 증가한다는 사실을 발견했습니다. 이는 네트워크가 학습한 모든 단일 방향이 기하학적 구조를 보존하는 데 필수적이었음을 입증하며, 그 기여도가 아무리 작아 보이더라도 마찬가지였습니다. 네트워크는 타겟을 생성하는 데 사용된 표준 수학적 기저와는 구별되는 정밀한 4차원 부분 공간을 식려냈으며, 이는 훈련 과정 전반에 걸쳐 안정적으로 유지되었고, 주요 방향은 일정하게 유지하면서도 나머지는 약간씩 변화하는 양상을 보였습니다.

연구자가 신경 네트워크를 커널 리지 회귀(kernel ridge regression)라고 알려진 고전적인 방법과 비교했을 때, 더 단순한 도구가 더 우수하다는 것이 밝혀졌습니다. 신경망은 내부 설정을 광범도하게 조정해야 했음에도 불구하고 일정 수준의 오차를 냈던 반면, 고전적 방법은 더 적은 노력으로 더 낮은 오차율을 달 achievement 했습니다. 이는 근본적인 관계가 대략적으로 선형적인 과업의 경우, 복잡한 신경망이 반드시 가장 효율적인 선택은 아닐 수 있음을 시사합니다. 이 연구는 이러한 특정 시나리오에서 고전적인 수학적 접근 방식이 더 강력한 기준점 역할을 할 수 있으며, 더 정교한 신경망 구조보다 뛰어난 성능을 발휘할 수 있음을 보여줍니다. 이 연구 결과가 모든 구조 보존 과업에 대해 신경망이 쓸모없다는 것을 의미하는 것은 아니며, 특히 관계가 매우 비선형적인 경우에는 유용할 수 있지만, 이 특정 유형의 문제에 대해서는 더 단순한 도구가 더 효과적인 해결책임을 강조합니다.

궁극적으로, 이 연구는 신경망이 압축된 데이터와 구조화된 수학적 공간 사이를 어떻게 번역하는지에 대한 명확한 그림을 제공합니다. 네트워크는 선형적인 매핑을 학습했으며, 이는 입력이 아닌 타겟에 의해 주도되었고, 자신이 발견한 모든 차원에 의존했습니다. 고전적인 방법이 튜닝된 신경망보다 더 나은 성능을 보일 수 있음을 입증함으로써, 이 연구는 향후 연구를 위한 실질적인 가이드라인을 제시합니다. 즉, 목표가 기하학적 구조를 대략 선형적인 방식으로 보존하는 것이라면, 연구자들은 더 복잡한 신경망 접근 방식을 사용하기 전에 더 단순한 고전적 방법을 고려해야 합니다. 이러한 통찰은 딥러닝이 언제 필요한지, 그리고 언제 더 단순한 수학적 도구만으로 충분한지를 구분하는 경계를 명확히 하는 데 도움을 줍니다.

기술 요약: 신경망은 구조 보존 사상(Structure-Preserving Maps)을 학습하는가?

문제 정의

본 논문은 신경망이 압축된 잠재 공간(latent space) $z$ 로부터 타겟 힐베르트 공간 표현 $\psi$ 로의 사상 $f(z) = \psi$ 를 학습할 때, 점들 사이의 기하학적 구조(특히 내적)를 보존할 수 있는지 조사한다. 기존 문헌은 종종 고정된 타겟 표현을 가정하고 근접성(예: 정준 상관 분석 또는 프로크루스테스 정렬)을 측정하지만, 본 연구는 이와 구별되는 질문을 던진다. 즉, 네트워크가 단순히 근사하는 것을 넘어, 지정된 타겟 공간으로 매핑하는 동안 기저에 깔린 기하학적 구조를 능동적으로 보존할 수 있는가? 이 문제는 표현 유사성 분석, 커널 방법론, 그리고 양자 머신러닝의 교차점에 위치하며, 특히 클래식 데이터가 각도 인코딩(angle encoding)을 통해 $n$ -큐비트 곱 상태(product states)로 인코딩되는 클래식-양자 매핑 문제를 다룬다.

방법론

저자는 MNIST 데이터셋과 시뮬레이션된 $n$ -큐비트 시스템을 사용하는 통제된 실험 설계를 채택하였다:

잠재 공간 구축: 5,000개의 MNIST 이미지를 $28 \times 28$ 이미지에서 8차원 잠재 벡터 $z \in \mathbb{R}^8$ 로 압축하기 위해 8차원 오토인코더를 학습시킨다. 이 인코더는 고정되며 이후의 매핑 실험 동안 미세 조정되지 않는다.
타겟 힐베르트 공간: 타겟은 단일 큐비트 회전 $R_y(\theta_i)$ 의 텐서 곱을 통해 구성된 $n$ -큐비트 곱 상태 $\psi(\theta)$ 이다. 이 상태는 $n$ 개의 각도 $\theta$ 로부터 유도된 실수 진폭으로 정의된다.
타겟 생성: 타겟 각도 $\theta(z)$ 는 잠재 벡터 $z$ 를 훈련된 잠재 벡터의 상위 $n$ 개 주성분에 투영하고, 시그모이드 변환을 적용한 후 $[0, \pi]$ 범위로 재조정함으로써 결정론적으로 생성된다.
평가된 모델: $z$ $z$ 를 $\theta$ $θ$ 로 매핑(그로부터 $\psi$ $ψ$ 를 재구성)하기 위해 네 가지 모델을 학습시킨다:
- 선형 회귀 (Linear Regression): 단순 선형 사상 $Wz + b$ .
- MLP (MSE 전용): 평균 제곱 오차(MSE)로 학습된 2층 다층 퍼셉트론.
- MLP (MSE + IP 손실): 내적(inner-product) 보존 항을 포함한 결합 손실로 학습된 MLP.
- 커널 리지 회귀 (KRR): 실제 타겟 각도로 직접 회귀하기 위해 RBF 커널을 사용하는 클래식 방법.
지표: 성능은 내적 보존 오차(IP err), 재구성 오차(MSE), 그리고 쌍별 거리 보존 오차를 사용하여 평가된다.

주요 결과 및 발견

1. 학습된 사상의 근사적 선형성

타겟 각도가 비선형 시그모이드 변환을 통해 생성되었음에도 불구하고, 학습된 매핑은 관찰된 잠재 분포 상에서 선형 함수로 잘 근사된다.

$z$ 에서 실제 타겟 각도로의 선형 회귀는 $R^2 = 0.98$ 을 달성했다.
$z$ 에서 MLP가 복구한 각도로의 선형 회귀는 $R^2 = 0.91$ 을 달성했다.
이 작은 격차는 MLP가 효과적으로 선형 사상을 학습하고 있음을 시사하며, 잔여 비선형성은 시그모이드 함수의 근사적 선형 범위와 일치한다.

2. 모든 특이 방향(Singular Directions)의 필요성

학습된 사상은 특이값 스펙트럼이 두 개의 지배적인 값과 두 개의 작은 값(약 5.5, 5.3, 1.3, 0.8)을 가짐에도 불구하고, 실제로 rank-4( $n=4$ 인 경우)이다.

매핑을 rank-3으로 절단하면 IP 오차가 2.5배 악화된다.
rank-2로 절단하면 IP 오차가 4.2배 악화된다.
rank-1로 절단하면 IP 오차가 5.9배 악화된다.
결론: 모든 특이 방향은 필수적인 기하학적 정보를 담고 있다. 따라서 크기 기반의 rank 절단은 이 클래스의 문제에서 안전하지 않다.

3. 타겟 주도적 주요 방향

학습된 사상의 기하학은 입력이 아닌 타겟에 의해 결정된다.

학습된 사상의 주요 방향(첫 번째 우측 특이 벡터)은 입력의 주성분 방향과 코사인 유사도가 0.002이다(사실상 직교함).
이는 입력 공간으로 다시 들어 올려진 타겟의 주성분 방향과는 0.989의 코사인 유사도를 가진다.
학습된 부공간(subspace)은 타겟을 구성하는 데 사용된 PCA 기저와 일치하지 않는다. 또한, 주요 방향은 무작위 시드 간 변동이 $6^\circ$ 미만으로 안정적이지만, 고차원 방향들은 시드 간에 크게 발산한다.

4. 커널 방법론의 우월성

이 특정 설정에서 클래식 커널 방법론은 튜닝된 신경망보다 뛰어난 성능을 보인다.

KRR 성능: 최적의 설정( $\alpha=10^{-4}, \gamma=0.1$ )에서 IP err = 0.0144, MSE = 0.0013을 달이트했다.
MLP 성능: 최적의 설정(512개 은닉 유닛, 2000 에포크, $w_{IP}=1$ )에서 IP err = 0.0197, MSE = 0.0015를 달성했다.
KRR은 IP 오차 측면에서 최적의 MLP보다 1.37배 더 우수한 성능을 보인다. MLP의 파레토 프런티어(Pareto frontier)는 KRR 결과보다 엄격히 위에 위치하며, 이는 KRR이 재구성 오차와 내적 오차 모두에서 더 낮은 값을 달성함을 나타낸다.

의의 및 주장

본 논문은 압축된 잠재 공간에서 힐베르트 공간 표현으로의 근사적 선형 및 구조 보존 사상에 대해 다음과 같이 주장한다:

신경망이 반드시 필요한 것은 아니다: 클래식 커널 방법론(특히 RBF 커널을 사용한 KRR)은 튜닝된 MLP보다 더 강력하고 단순한 베이스라인 역할을 한다.
기하학은 타겟 주도적이다: 네트워크는 단순히 입력의 주성분을 투영하는 것이 아니라, 타겟 기하학에 유의미한 입력 방향을 식별하도록 학습된다.
Rank 민감도: 구조 보존은 특이값이 더 낮은 차원의 근사가 가능함을 시사하더라도 매핑의 전체 rank에 의존한다.

저자는 신경망이 이러한 매핑을 학습할 수 있지만, 그 이점은 진정으로 비선형적인 타겟(예: 얽힌 양자 상태)을 다루는 설정으로 제한될 수 있다고 결론짓는다. 본 연구에서 다룬 근사적 선형 사례의 경우, 더 단순한 방법들이 충분하며 이를 우선적으로 고려해야 한다. 이러한 결과는 유한한 너비를 가진 네트워크가 작은 데이터셋에서 커널 방법론과 경쟁하거나 더 나은 성능을 보이는 광범위한 현상의 구체적인 사례로서, 표현 학습에 있어 신경망이 적절한 도구인지에 대한 논의에 기여한다.