📊 statistics

Ghosts in Neural Networks: Existence, Structure and Role of Infinite-Dimensional Null Space

이 논문은 푸리에 분석과 리지렛 변환을 활용하여 무한 차원 영공간(null space)을 특징짓고, 유일한 최소 노름 해를 식별하며, 파라미터의 비유일성이 어떻게 이산화되어 인코딩된 정보를 드러내도록 활용될 수 있는지를 입증함으로써, 연속 폭 깊이 2 신경망에서의 신경망 합성 방정식을 해결하기 위한 직접적인 방법을 확립한다.

원저자: Sho Sonoda, Isao Ishikawa, Masahiro Ikeda

게시일 2026-07-21

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Sho Sonoda, Isao Ishikawa, Masahiro Ikeda

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 미래를 예측하거나, 혹은 단순히 사진 속의 고양이를 인식할 수 있는 기계를 만들려고 한다고 상상해 보십시오. 당신은 '뉴럴 네트워크(신경망)'를 구축합니다. 이것은 기본적으로 '뉴런'이라고 불리는 작은 수학적 스위치들의 거대한 그물망입니다. 각 뉴런은 입력을 받아 약간의 계산을 수행한 뒤 그 결과를 전달합니다. 마법은 이 기계가 올바른 답을 내놓도록 뉴런의 '조절 나사(파라미터)'를 조정할 때 일어납니다.

하지만 이 기계에는 이상한 점이 하나 있습니다. 때때로 조절 나사를 완전히 다른 방식으로 돌려도 기계가 여전히 똑같은 답을 내놓는 경우가 있다는 것입니다. 이는 마치 케이크를 굽는데, 아주 특이한 레시피를 사용하여 설탕 한 컵이나 소금 한 컵을 넣어도 케이크 맛이 정확히 똑같아지는 것을 발견한 것과 같습니다. 수학에서는 이를 '비유일성(non-uniqueness)'이라고 부릅니다. 즉, 결과를 얻기 위한 완벽한 설정값이 단 하나만 존재하는 것이 아니라, 무수히 많이 존재한다는 뜻입니다.

이 논문은 그 미스터리를 깊이 파고듭니다. 만약 조절 나사를 설정하는 방법이 무수히 많음에도 불구하고 동일한 결과를 낼 수 있다면, 그 '잘못된' 설정들은 실제로 어떤 모습일까요? 그것들은 그냥 아무것도 아닌 것으로 사라져 버릴까요, 아니면 무언가를 숨기고 있을까요? 저자들은 뉴럴 네트워크를 별개의 스위치 뭉치가 아닌 하나의 거대하고 연속적인 파동으로 취급합니다. 그들은 '푸리에 변환(Fourier transform, 복잡한 소리를 개별적인 음표로 분해하는 방법)'이라는 수학적 도구를 사용하여, 이 숨겨진 설정들이 정확히 어떻게 작동하는지 밝혀냅니다. 그들은 이 숨겨진 설정들이 거대하고 보이지 않는 '유령(ghost)' 공간을 형성한다는 것을 발견했습니다. 이 유령들을 기계에 추가하더라도 출력값은 전혀 변하지 않지만, 기계를 쿡 찌르거나 다르게 관찰했을 때는 그 동작이 달라질 수 있습니다.

기계 속의 유령들

"Ghosts in Neural Networks"라는 제목의 이 논문은 2층 뉴럴 네트워크의 숨겨진 비밀을 깊이 있게 파고듭니다. 저자인 쇼노다 쇼노다(Sho Sonoda), 이시카와 이사오(Isao Ishikawa), 이케다 마사히로(Masahiro Ikeda)는 본질적으로 거대한 퍼즐을 풀고 있습니다. 만약 뉴럴 네트워크가 특정 출력을 생성하는 방법이 여러 가지라면, 그 모든 다양한 방법은 무엇인가?

그들은 그 답이 단순한 '무작위 노이즈'가 아니라는 것을 발견했습니다. 대신, 결과값을 바꾸지 않으면서도 무한한 양의 정보를 숨길 수 있는 구조화된 수학적 '유령' 공간(이를 **영 공간(null space)**이라 부름)이 존재합니다.

"유령" 비유

당신에게 마법의 그림 그리는 기계가 있다고 상상해 보십시오. 당신은 기계에 명령을 내립니다: "빨간색 원을 그려라."

표준적인 방식: 당신은 기계에게 빨간색 물감을 섞고 원을 그리라고 말합니다.
유령 방식: 당신은 기계에게 빨가색 물감을 섞고, 원을 그린 다음, 그리고 나서 완벽하게 스스로를 상쇄하는 비밀스럽고 투명한 '안티-레드(anti-red)' 물감을 추가하거나, 최종 그림에는 아무런 영향을 주지 않는 비밀스러운 투명 잉크의 소용돌이를 추가하라고 말할 수 있습니다.

뉴럴 네트워크의 세계에서 이러한 '투명한 층'이 바로 유령입니다. 논문은 이 유령들이 단순한 무작위 오류가 아니라, 매우 구체적인 형태와 구조를 가지고 있음을 증명합니다. 저자들은 이를 **무한 차원 영 공간(infinite-dimensional null space)**이라고 부릅니다. 이는 기계의 설정값을 무한히 변형하여 저장할 수 있는 거대하고 보이지 않는 방이며, 그 방 안에 머무는 한 기계의 출력값(빨간 원)은 절대 변하지 않습니다.

그들은 어떻게 유령을 찾아냈는가

저자들은 단순히 추측한 것이 아니라, 이 유령들을 찾기 위한 직접적인 수학적 지도를 구축했습니다.

분해하기: 그들은 '변수 분리(separation of variables)' 기법을 사용했습니다. 복잡한 레시피가 있다고 가정할 때, 요리 전체를 한꺼번에 맛보는 대신 재료를 분리하는 것입니다: "이 부분은 밀가루이고, 이 부분은 설탕이다." 그들은 뉴럴 네트워크의 수학을 두 부분, 즉 실제로 이미지를 만드는 부분(타겟)과 아무것도 하지 않는 부분(유령)으로 분리했습니다.
리지렛(Ridgelet) 솔루션: 그들은 유령들을 여는 열쇠 역할을 하는 **리지렛(ridgelet)**이라는 특정 수학적 공식을 찾아냈습니다. 이는 마치 '유령의 방'에 있는 어떤 문이든 열 수 있는 마스터 키를 가진 것과 같습니다.
최소 노름 해(Minimum-Norm Solution): 조절 나사를 설정하는 무수히 많은 방법 중에는 에너지를 가장 적게 사용하는(수학적으로 '최소 노름') 하나의 '완벽한' 방법이 있습니다. 저자들은 이 가장 효율적인 설정을 찾는 방법을 보여주었습니다. 그 외의 모든 것은 그 위에 더해진 '유령'일 뿐입니다.

이것이 실제 네트워크에 의미하는 바

이 논문은 이론에만 머물지 않고, 이 유령들이 실제 세상에서 어떻게 행동하는지 보여줍니다.

유한한 너비(Finite Width): 실제 뉴럴 네트워크는 무한하지 않으며, 정해진 수의 뉴런을 가집니다('유한한 너비'). 저자들은 유한한 뉴런을 가진 네트워크에서도 이러한 유령들을 근사할 수 있음을 보여주었습니다. 만약 유령 설정을 가져와서 유한한 수의 뉴런으로 분해한다면, 기계의 출력은 거의 0에 가깝게(유령에 매우 가깝게) 될 것이며, 이 오차는 뉴런을 더 많이 추가할수록 줄어듭니다. 이는 제한된 수의 점을 사용하여 완벽한 원을 그리려는 것과 같습니다. 점을 더 많이 사용할수록 완벽한 원에 더 가까워집니다.
수치적 증명: 그들은 이를 증명하기 위해 실제로 컴퓨터 시뮬레이션을 실행했습니다. 그들은 '유령' 설정을 만들어 유한한 네트워크에 입력했습니다. 결과는 어떠했을까요? 네트워크의 출력은 믿기 힘들 정도로 0에 가까웠으며, 이는 유령이 실제 유한한 네트워크에서도 존재함을 확인시켜 주었습니다.
유령 읽기: 여기가 가장 멋진 부분입니다. 저자들은 비록 이 유령들이 '정상적인 조건' 하에서는 출력을 바꾸지 않지만, 규칙을 약간만 바꾸면 이들을 '읽어낼' 수 있다는 것을 보여주었습니다. 만약 당신이 기계의 활성화 함수(뉴런이 따르는 규칙)를 아주 조금만 미세하게 조정한다면, 숨겨진 유령 정보가 밖으로 드러나 눈에 보이게 만들 수 있습니다. 이는 마치 투명 잉크로 쓰인 비밀 메시지를 특정 종류의 빛에 비추었을 때만 나타나게 하는 것과 같습니다.

논문이 주장하지 않는 것

이 논문이 무엇을 말하지 않는지 아는 것도 중요합니다.

논문은 모든 유한한 네트워크가 거대한 유령 공간을 가지고 있다고 말하지 않습니다. 뉴런이 특정한 방식으로 경직되어 배치되어 있다면 유령이 완전히 사라질 수도 있습니다. 논문은 '유령의 방'이 연속적인(무한한) 버전의 네트워크의 속성임을 명시하며, 유한한 네트워크는 이 유령들을 근사할 뿐이라고 설명합니다.
논문은 학습 알고리즘(AI를 훈련시키는 것과 같은)이 자동으로 이 유령들을 찾아낸다고 말하지 않습니다. 이 논문은 유령이 존재함을 증명하고 수학적으로 찾는 법을 보여주지만, 컴퓨터가 체스를 배우는 과정에서 자연스럽게 이 유령들을 발견하게 된다고 주장하는 것은 아닙니다. 그것은 향후 연구를 위한 별개의 문제입니다.

핵심 결론

이 논문은 "왜 조절 나사를 설정하는 방법이 그렇게 많은가?"라는 혼란스러운 문제를 명확하고 구조화된 지도로 바꾸어 놓은 수학적 역작입니다. 저자들은 뉴럴 네트워크의 '여분의' 설정들이 단순한 무작위 노이즈가 아니라, 숨겨진 가능성들이 담긴 구조화된 무한한 라이브러리라는 것을 증명했습니다.

'리지렛(Ridgelet)'이라는 열쇠를 찾아냄으로써, 저자들은 우리가 다음을 수행하는 방법을 보여주었습니다:

가장 효율적인 설정 찾기 (최소 노름 해).
출력을 바꾸지 않는 무한한 '유령' 설정 이해하기.
실제 유한한 네트워크에서 이러한 유령들을 근사하기.
시스템을 적절히 자극할 수 있다면 숨겨진 정보를 읽어내기.

요컨대, 이 논문은 뉴럴 네트워크가 우리가 생각했던 것보다 훨씬 더 유연하고 신비롭다는 것을 드러냅니다. 그것들은 단순한 계산기가 아닙니다. 그것들은 무한한 비밀을 숨길 수 있는 광활하고 다차원적인 공간이며, 적절한 수학적 도구만 있다면 그 모든 것을 찾아낼 수 있습니다.

기술 요약: 신경망의 유령 (Ghosts in Neural Networks)

문제 정의

본 논문은 연속 폭(continuous-width)을 가진 깊이 2의 완전 연결 신경망에서 발생하는 파라미터 비유일성(parameter nonuniqueness) 문제를 다룬다. 구체적으로, 파라미터 분포 $\gamma$ (가중치 $a$ 와 편향 $b$ 에 대한 분포)를 신경망 함수 $f$ 로 매핑하는 합성 연산자(synthesis operator) $S$ 에 대하여, "신경망 방정식" $S[\gamma] = f$ 를 해결하고자 한다.

$\gamma \mapsto S[\gamma]$ 의 선형성은 연산자 이론을 통해 신경망 파라미터를 연구할 수 있게 해주지만, 동시에 중복성을 함의한다. 즉, 서로 다른 파라미터 분포가 정확히 동일한 함수를 나타낼 수 있다. 핵심 과제는 이 연산자의 영 공간(null space, 또는 "유령(ghosts)")을 포함한 전체 해집합을 규명하고, 정준적인 최소 노름(minimum-norm) 해를 식별하는 것이다. 기존 연구들은 활성화 함수와 직교하는 리지렛(ridgelet) 함수가 영 요소(null elements)를 생성한다는 점을 밝혀냈으나, 영 공간 전체를 엄밀하고 포괄적으로 규명하거나 변환을 가정하지 않고 방정식을 직접 푸는 방법론은 부족한 상태였다.

방법론

저자들은 **직접 푸리에 표현법(direct Fourier expression method)**과 힐베르트 공간에서의 함수 해석학을 결합하여 접근한다. 이 접근 방식은 세 가지 논리적 단계로 진행된다:

푸리에 변수 분리 (Fourier Separation of Variables):
리지렛 변환을 미리 가정하는 대신, 저자들은 신경망 적분의 푸리에 표현식에서 시작한다. 전활성화(preactivation) 변수에 대해 푸리에 역변환을 수행하고, 타겟 주파수 $\xi$ 를 1차원 주파수 $\omega$ 로부터 분리함으로써 파라미터 공식을 도출한다. 이 분리는 합성 연산자를 역전시키는 특정 구조의 파라미터 분포 $\gamma$ 를 시사하며, 자연스럽게 리지렛 해법으로 이어진다.
추상적 재구성 및 기하학 (Abstract Reconstruction and Geometry):
형식적인 푸리에 계산을 엄밀하게 만들기 위해, 본 논문은 그 기저에 있는 대수적 메커니즘인 합성 연산자의 유니터리 인수분해(unitary factorization)를 고립시킨다. 저자들은 유니터리 인수분해에 대한 추상적 재구성 정리를 증명하여, 수반(adjoint), 정규화된 우역(normalized right inverse), 그리고 해 공간의 직교 분해의 존재성을 확립한다. 이 프레임워크는 모든 해의 기하학적 구조를 특정 해와 영 공간의 직합(direct sum)으로 정의한다.
힐베르트 공간 특수화 (Hilbert Space Specialization):
추상 이론을 활성화 함수, 계수, 파라미터에 적합한 힐베르트 공간을 구축함으로써 신경망에 특수화한다.

활성화 공간 ( $A_{s,t}$ ): 다항식 성장을 갖는 템퍼드 분포(예: ReLU, sigmoid)를 수용하는 가중 소볼레프 공간(weighted Sobolev space).
계수 공간 ( $H_{s,t}$ ): 활성화 범함수가 유계(bounded)이고 연속임을 보장하는 공간.
파라미터 공간 ( $G_{s,t}$ ): 유니터리 좌표 변환에 의해 정의된 그래프 공간으로, 합성 연산자 $S: G_{s,t} \to L^2(\mathbb{R}^m)$ 가 유계임을 보장한다.
이러한 구성은 형식적인 푸리에 단계를 분석적으로 정당화하며, 합성 연산자가 유계임을 증명하고 적분 내에서 극한을 통과시킬 수 있음을 입증한다.

주요 기여 및 결과

1. 직접 해 도출 및 영 공간 규명

주요 기여는 신경망 방정식의 푸리에 표현으로부터 리지렛 해를 직접 유도한 것이다.

특수 해 (Particular Solution): 이 방법은 $S[\gamma] = f$ 를 만족하는 특정 리지렛 변환 $R[f; \rho_0]$ 를 산출한다.
완전한 영 공간 (Complete Null Space): 본 논문은 영 공간이 $\langle \sigma, \rho_j \rangle = 0$ 을 만족하는 리지렛 함수 $R[e_i; \rho_j]$ 의 힐베르트 기저 전개에 의해 모두 설명됨을 증명한다.
일반해 (General Solution): 모든 해 $\gamma$ 는 최소 노름 특수 해와 영 공간의 임의 원소의 합으로 유일하게 표현된다.

2. 정준 최소 노름 해 (Canonical Minimum-Norm Solution)

힐베르트 수반 $S^*$ 와 무어-펜로즈 역행렬 $S^\dagger$ 를 구축함으로써, 저자들은 임의의 타겟 함수 $f$ 에 대해 유일한 최소 노름 파라미터 분포를 식별한다. 이 해는 $S^\dagger f = c_\sigma^{-1} R[f; \sigma^*]$ 로 주어지며, 여기서 $\sigma^*$ 는 수반 리지렛 함수(활성화 범 함수의 리츠 표현자, Riesz representer)이다.

3. 명시적 수반 리지렛 함수

본 논문은 특정 힐베르트 기하 구조 내에서 표준 활성화 함수(ReLU, tanh, Gaussian CDF, Gaussian density)에 대한 수반 리지렛 함수 $\sigma^*$ 의 구체적인 공식을 제공한다. 이는 푸리에 영역에서의 1차원 분해 문제(resolvent problems)의 해로서 도출된다.

4. 유한 폭 근사와 이산화

저자들은 연속적인 영 요소가 유한 폭 신경망과 어떻게 연관되는지 조사한다.

근사적 영 요소 (Approximate Nulls): 모든 0이 아닌 영 측도(null measure)가 출력 오차 $O(N^{-1/2})$ 를 갖는 폭 $N$ 의 유한 폭 신경망으로 이산화될 수 있음을 증명한다. 이는 파라미터 중복성이 단순히 무한 폭에서 발생하는 병리적 현상이 아니라, 유한한 네트워크에도 흔적을 남긴다는 것을 보여준다.
정확한 영 요소 (Exact Nulls): 정확한 유한 영 관계는 일반적인 연속 영 공간이 아니라, 활성화 함수의 특정 대수적 대칭성(예: 홀/짝 함수의 패리티 또는 ReLU의 아핀 상쇄)에서만 발생함을 보여준다.

5. 섭동 판독 (Perturbative Readout)

본 논문은 표준 활성화 $\sigma$ 에는 보이지 않는 영 공간에 인코딩된 정보가 특정 가산적 파라미터 섭동을 적용함으로써 어떻게 가시화될 수 있는지 보여준다. 이 섭동은 유일한 최소 노름 보정치이며, 이를 통해 "디코더" 활성화는 영 성분 자체를 변경하지 않고도 그 안에 저장된 함수를 읽어낼 수 있다.

의의 및 범위

본 논문은 직접 푸리에 방법을 사용하여 연속 폭 깊이 2 신경망에 대한 최초의 엄밀하고 포괄적인 신경망 방정식 해법을 제공한다고 주장한다. 그 의의는 다음과 같다:

엄밀한 토대: 휴리스틱한 리지렛 구성을 유계 연산자 이론 프레임워크로 대체하여, 푸리에 변수 분리 방법이 템퍼드 분포 활성화 함수에 대해 수학적으로 타당함을 증명한다.
구조적 명확성: "가시적인" 타겟 함수와 "유령" 영 성분을 명시적으로 분리하여, 파라미터 공간에 대한 완전한 기하학적 기술을 제공한다.
정준 선택: 과잉 매개변수화된 네트워크에 내재된 모호성을 해결하기 위해, 유일한 최소 노름 파라미터 분포를 선택하는 원칙적인 방법을 제시한다.

저자들은 본 연구가 합성 연산자의 함수 해석과 방정식의 완전한 풀이에 초점을 맞추고 있음을 명시한다. 본 결과는 학습 이론(예: 일반화 경계, 신경 탄젠트 커널)에 잠재적인 시사점을 갖지만, 본 논문은 이를 별도로 조사해야 할 결과물으로 취급할 뿐 현재의 구조 정리 자체에 대한 주장으로 포함시키지는 않는다. 모든 결과는 정확성을 보장하기 위해 Lean 4로 정형화되었다.