🧬 biology

A Quotient Homology Theory of Representation in Neural Networks

본 논문은 ReLU 신경망의 조각별 선형 구조를 활용하여 몫 공간을 정의하고, 기하학적 특징이 아닌 신경 표현의 순수한 위상적 특징을 추적하는 베티 수를 내재적으로 계산할 수 있는 척도 없는 '겹침 호몰로지' 프레임워크를 제시한다.

원저자: Kosio Beshkov

게시일 2026-05-29

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Kosio Beshkov

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ⚕️ 이것은 동료 심사를 거치지 않은 프리프린트의 AI 생성 설명입니다. 의학적 조언이 아닙니다. 이 내용을 바탕으로 건강 관련 결정을 내리지 마세요. 전체 면책 조항 읽기

"신경망 표현의 몫 동형 이론 (A Quotient Homology Theory of Representation in Neural Networks)"이라는 논문에 대한 설명을 쉬운 언어와 창의적인 비유로 풀어냅니다.

큰 그림: 신경망이 어떻게 사물들을 "붙여" 하나로 만드는가

신경망을 거대하고 복잡한 기계로 상상해 보세요. 이 기계는 고양이와 개 사진 같은 무질서한 원시 데이터 더미를 받아들이고, 이를 분류하려고 합니다. 이를 위해 기계는 데이터를 찌그러뜨리고, 늘리고, 접어서 고양이는 한 더미에, 개는 다른 더미에 모이게 합니다.

수학자들은 오랫동안 이러한 네트워크가 종이접기 예술가처럼 행동한다는 것을 알고 있었습니다. 그들은 평평한 종이 (입력 데이터) 를 가져와 다양한 형태로 접습니다. 이 종이는 다면체라고 불리는 평평한 기하학적 조각들 (평평한 타일이라고 생각하세요) 로 나뉩니다. 각 타일 위에서는 기계가 단순한 직선 운동 (아핀 사상, "affine map") 을 수행합니다.

문제는 다음과 같습니다: 기계는 데이터의 실제 "형태"를 이해하고 있는지, 아니면 단순히 기하학적 운에 의존하고 있는지 어떻게 알 수 있을까요?

현재 도구의 문제: "자"의 함정

현재 과학자들은 이러한 형태를 연구하기 위해 **지속적 동형 (Persistent Homology)**이라는 도구를 사용합니다. 이 도구를 자나 줄자로 생각하세요. 이 도구는 데이터를 보고 "이 점들은 얼마나 떨어져 있는가?"라고 묻습니다.

결함: 자를 사용하면 거리, 곡선, 각도 같은 기하학을 측정하게 되며, 구멍이 있는지 또는 연결되어 있는지와 같은 실제 **위상 (topology)**만 측정하는 것이 아닙니다.
비유: 가운데 구멍이 있는 고무줄 (도넛 모양) 이 있다고 상상해 보세요. 이를 늘려도 여전히 도넛입니다. 하지만 자로 점들 사이의 거리를 재면, 늘어남에 따라 구멍이 사라진 것처럼 보이거나 크기가 변한 것처럼 보일 수 있습니다. 자는 대상이 무엇인지보다는 대상이 어떻게 늘어났는지에 너무 민감합니다.

저자들은 신경망이 데이터를 이렇게 극단적으로 늘리기 때문에, 표준 도구들이 늘어남 (기하학) 에 혼란을 겪고 실제 구조 (위상) 를 놓치고 있다고 주장합니다.

새로운 해결책: "접착" 지도

저자들은 자를 전혀 사용하지 않고 네트워크를 바라보는 새로운 방식을 제안합니다. 거리를 측정하는 대신 더 간단한 질문을 던집니다: "네트워크는 어떤 점들을 서로 붙여놓았는가?"

네트워크가 입력에서 두 개의 서로 다른 점을 가져와 출력을 정확히 같은 지점으로 보낸다면, 그 점들은 서로 "붙여진" 것입니다. 이것이 데이터의 근본적인 형태를 바꾸는 (예: 구멍을 막아 도넛을 단단한 공으로 만드는 것) 유일한 방법입니다.

이 새로운 방법을 **몫 동형 (Quotient Homology)**이라고 부릅니다.

접착이 발생하는 두 가지 방식

이 논문은 네트워크가 점들을 붙이는 두 가지 방식을 규명했습니다:

랭크 소스 (The Flattener, 평평하게 만드는 것): 3 차원 점토 공을 테이블 위에 납작하게 누르는 것을 상상해 보세요. 이는 2 차원 팬케이크가 됩니다. 네트워크는 데이터의 전체 영역을 낮은 차원으로 축소함으로써 이를 수행합니다.
겹침 소스 (The Glue, 접착제): 네트워크가 접는 두 개의 서로 다른 종이 조각 (다면체) 을 상상해 보세요. 비록 처음에는 다른 곳에 있었더라도, 네트워크가 이를 접어 서로 겹치게 만듭니다. 이 두 개의 서로 다른 조각 위의 점들은 이제 출력에서 서로 "붙어" 있습니다.

저자들은 놀라운 사실을 증명했습니다: 데이터가 평평한 타일 위에 잘 자리 잡고 있다면 (이는 보통 사실입니다), "겹침 소스"만 걱정하면 됩니다. "평평하게 만드는" 부분은 무시하고 서로 다른 타일들이 서로 위에 어떻게 떨어지는지만 보면 됩니다.

그들이 어떻게 했는지 (알고리즘)

자를 사용하지 않고 이러한 "붙여진" 점들을 찾기 위해 저자들은 탐정처럼 행동하는 컴퓨터 알고리즘을 구축했습니다:

분할 정복: 그들은 입력 데이터를 네트워크가 생성하는 평평한 타일 (다면체) 로 나눕니다.
"만날 수 있는가?" 테스트: 모든 타일 쌍에 대해 **선형 계획법 (Linear Programming)**이라는 수학적 기법을 사용하여 질문합니다: "타일 A 의 어떤 점과 타일 B 의 어떤 점이 네트워크를 통해 정확히 같은 목적지로 보내질 수 있는가?"
유니온 - 파인드 (Union-Find): 답이 '예'라면, 그 점들을 "붙어 있다"고 표시합니다. 그들은 간단한 그룹화 방법 (양말을 짝지어 분류하는 것과 유사) 을 사용하여 어떤 큰 점 그룹들이 서로 붙어있는지 확인합니다.

그들이 발견한 것

그들은 이 새로운 방법을 원형, 고리, 구와 같은 간단한 인공 데이터셋에서 테스트하고 이전의 "자" 기반 방법과 비교했습니다.

순수 위상: 그들의 새로운 방법은 늘어남을 성공적으로 무시하고 실제 구멍과 연결만 계산했습니다. 데이터가 찌그러지거나 구부러져도 혼란을 겪지 않았습니다.
더 느린 변화: 네트워크가 학습 (훈련) 하는 과정을 지켜보았을 때, "위상" (구멍과 형태) 이 이전 연구들이 제안했던 것보다 훨씬 점진적으로 변한다는 것을 발견했습니다. 이전의 자 기반 방법들은 네트워크가 데이터의 형태를 즉시 파괴하는 것처럼 보이게 했습니다. 새로운 방법은 이것이 단계별로 천천히 일어난다는 것을 보여줍니다.
훈련 효과: 네트워크가 고양이와 개를 분류하는 것을 배우면서, "붙여진" 영역 (겹침) 의 부피는 줄어들지만 그 수는 더 많아집니다. 네트워크는 특정 데이터 그룹들을 어떻게 붙일 것인지 더 정밀해집니다.

한계점 (주의할 점)

저자들은 그들의 방법이 어디서 걸릴 수 있는지에 대해 솔직합니다:

"보이지 않는" 접착: 그들의 방법은 네트워크에 실제로 준 데이터 포인트들만 봅니다. 만약 네트워크에 훈련 데이터가 결코 닿지 않은 숨겨진 "접착" 지점이 있다면, 이 방법은 그것을 놓칠 수 있습니다 (2 차 오류).
"가짜" 접착: 반대로, 이 방법은 수학 공간에서 같은 지점에 떨어지기 때문에 두 점이 붙어 있다고 생각할 수 있습니다. 비록 그 점들이 실제 세계 데이터에 실제로 존재하지 않더라도 (1 차 오류).
계산 비용: 모든 가능한 타일 쌍을 확인하여 서로 붙어있는지 보는 것은 거대한 네트워크에게는 매우 어렵습니다. 수백만 명이 있는 경기장에서 모든 가능한 악수를 확인하려는 것과 같습니다. 이는 작고 중간 크기의 네트워크에서는 작동하지만, 거대한 네트워크에서는 비용이 매우 많이 듭니다.

요약

이 논문은 신경망을 위한 새로운 "접착 탐지기"를 소개합니다. 데이터 포인트들이 얼마나 떨어져 있는지 측정하는 것 (네트워크가 이를 늘릴 때 혼란스러워짐) 대신, 단순히 이렇게 묻습니다: "네트워크는 어떤 점들을 서로 붙이기로 결정했는가?"

이 "접착"에 초점을 맞춤으로써, 그들은 네트워크가 데이터를 처리하는 과정에서 데이터의 진정한 형태를 볼 수 있으며, 위상적 변화가 우리가 previously 생각했던 것보다 더 느리고 미묘하게 일어난다는 것을 밝혀냈습니다. 이는 데이터의 "늘어남"에 방해받지 않고 네트워크의 사고 "구조"를 보는 방법입니다.

기술적 요약: 신경망 표현의 몫 호몰로지 이론

문제 제기
ReLU 활성화 함수를 갖는 심층 신경망은 연속적인 조각별 선형 (CPWL) 함수를 구현하며, 입력 도메인을 네트워크가 아핀 (affine) 방식으로 작동하는 볼록 다면체 (선형 영역) 로 분할하는 것으로 알려져 있습니다. 위상 데이터 분석 (TDA), 특히 지속적 호몰로지는 신경 표현의 위상을 연구하는 데 사용되어 왔으나, 표준 방법은 심플리셜 복합체를 구성하기 위해 유클리드 거리와 같은 외부 메트릭에 의존합니다. 이러한 의존성은 곡률과 볼록성과 같은 기하학적 편향을 도입하여 기하학적 특징을 순수한 위상적 특징과 혼동하게 만들 수 있습니다. 또한, 지속적 호몰로지는 이상치와 샘플링 밀도에 민감합니다. 본 논문은 신경망이 유도하는 위상적 변화를 정량화하기 위한 메트릭 없는 접근법의 필요성을 다루며, 특히 기하학적 왜곡과 진정한 위상적 단순화 (예: 매니폴드의 서로 다른 부분들을 접합하는 것) 를 구분하는 데 초점을 맞춥니다.

방법론
저자들은 ReLU 네트워크의 내재적 구조를 활용하는 몫 호몰로지 (quotient homology) 기반의 프레임워크를 제안합니다. 핵심 방법론은 세 가지 단계로 구성됩니다:

다면체 분해: 입력 공간은 네트워크의 활성화 패턴 (코드워드) 을 기반으로 볼록 다면체 ( $G_J$ ) 로 분해됩니다. 각 다면체 내부에서 네트워크는 아핀 사상 $\Phi_J$ 로 작용합니다.
겹침 분해 ( $O_\Phi$ ): 저자들은 $\Phi(x) = \Phi(x')$ 일 때 $x \sim_\Phi x'$ 인 동치 관계를 정의합니다. 위상적 변화를 일으키는 비단사성 (non-injectivity) 의 두 가지 원인을 식별합니다:
- 랭크 원인: 국소 아핀 사상 $\Phi_J$ 의 랭크가 매니폴드의 차원보다 낮아, 해당 영역을 더 낮은 차원의 부분 공간으로 투영합니다.
- 겹침 원인: 서로 다른 다면체 $G_{J_i}$ 와 $G_{J_j}$ 가 출력 공간에서 교차하는 이미지로 매핑됩니다 ( $\bigcap \text{Im}\Phi_{J_i} \neq \emptyset$ ).
본 논문은 서로 다른 다면체의 이미지 간 비자명한 교차에서 발생하는 동치 클래스들을 수집하는 겹침 분해에 중점을 둡니다.
수치적 계산:
- 겹침 분해는 **선형 계획법 (LP)**을 사용하여 알고리즘적으로 계산됩니다. 채워진 다면체 쌍에 대해, 다면체의 H-표현으로 정의된 제약 조건 하에서 $\Phi(p) = \Phi(p')$ 가 되는 점 $p \in G_{J_1}$ 과 $p' \in G_{J_2}$ 의 존재 가능성을 확인합니다.
- 이러한 겹치는 점들을 동치 클래스로 그룹화하기 위해 Union-Find 알고리즘이 사용됩니다.
- 그런 다음 신경 표현의 베티 수는 입력 매니폴드 $M$ 에 대한 몫 공간 $H_k(M/O_\Phi)$ 의 호몰로지로서 계산됩니다.

주요 이론적 결과
본 논문은 데이터 매니폴드 $M$ 과 임의의 다면체 $G_J$ 사이의 교집합이 볼록하다면, 신경 표현의 호몰로지 군이 겹침 분해의 몫 호몰로지 군과 동형임을 나타내는 기본 정리 (정리 3.2) 를 수립합니다:
$H_k(\Phi(M)) \simeq H_k(M/O_\Phi)$
이 조건 하에서 비단사성의 랭크 원인은 호몰로지 군을 변경하지 않으므로, 외부 메트릭 없이 위상 불변량을 계산하기 위해 겹침 분해만으로도 충분합니다.

실험적 결과
저자들은 여러 실험을 통해 접근법을 검증합니다:

토이 데이터셋 (비선형 곡선): 알려진 위상을 가진 데이터셋에서 표준 지속적 호몰로지와 몫 호몰로지를 비교합니다. 결과는 지속적 호몰로지가 출력 공간에서의 근접성으로 인해 거짓 원형 구조와 같은 기하학적 특징을 종종 식별하는 반면, 몫 호몰로지는 네트워크 사상에 의해 명시적으로 접합된 점들만 감지하므로 이를 올바르게 무시함을 보여줍니다.
매니폴드 전파: Naitzat 등 (2020) 의 데이터셋에 대한 네트워크 계층을 통한 베티 수의 진화를 재검토합니다. 지속적 호몰로지는 초기 계층에서 급격한 위상적 단순화를 시사했으나, 몫 호몰로지 접근법은 위상적 변화가 훨씬 더 점진적으로 발생함을 드러냅니다. 이는 초기 계층이 주로 위상적 접합이 아닌 기하학적 비틀기를 유도함을 시사합니다.
학습 역학: 구 분류 작업에서 무작위 네트워크와 학습된 네트워크를 분석합니다. 연구 결과, 학습 후 겹치는 영역의 부피는 감소하지만, 겹침 영역의 수는 특히 고차원에서 증가하는 경향이 있음을 발견했습니다.

의의 및 주장
본 논문은 출력 공간의 기하학이 아닌 매핑 구조 자체에 초점을 맞춤으로써 신경 표현에 대한 새로운 메트릭 없는 관점을 제공한다고 주장합니다. 주요 기여점은 다음과 같습니다:

내재적 위상 분석: 기하학적 왜곡에 강건하고 외부 메트릭 선택이 필요 없는 베티 수 계산 방법.
위상적 변화에 대한 정교한 이해: 지속적 호몰로지에 기반한 이전 발견들과 대조적으로, 심층 네트워크에서의 위상적 단순화가 점진적인 과정임을 보여주는 증거.
표현력의 새로운 척도: 겹침 분해는 단순히 선형 영역을 세는 것과 구별되는 비단사 사상을 구현하는 능력을 측정함으로써 네트워크 표현력을 정량화하는 새로운 방식을 제공합니다.
이론적 엄밀성: CPWL 함수의 다면체 분해와 몫 호몰로지를 연결하여, 겹침 분해가 표현의 위상을 완전히 특징짓는 조건을 제공합니다.

저자들은 고차원 공간에 대한 H-표현을 결정하는 계산 비용과 채워지지 않은 다면체나 제한된 데이터셋 샘플링으로 인해 발생할 수 있는 "호몰로지 1 종 및 2 종 오류"를 포함한 한계를 인정합니다. 그들은 이 프레임워크가 심층 학습에서 위상적 변환과 기하학적 변환을 엄밀하게 구분할 수 있는 길을 연다고 결론짓습니다.