Integrating Out, Twice:The Open-System Case That Neural-Network Ensemble Theory Is Missing

이 논문은 폐쇄계 신경망 앙상블과 핵 반응 이론의 개방계 유사체 간을 비교하는 이론적 틀을 구축하며, 궁극적으로 후자의 독특한 비에르미트(non-Hermitian) 역학이 연속 스펙트럼과 파동적 거동의 부재로 인해 주류 학습 체계에는 구조적으로 결여되어 있음을 결론지음으로써, 운영상의 불확실성의 진정한 근원을 폐쇄계 대응 관계 내에서 규명한다.

핵심

핵심 아이디어: 무언가를 무시하는 두 가지 방법

당신이 복잡한 시스템, 예를 들어 북적이는 방이나 신경망(AI의 한 종류)을 이해하려고 노력하고 있다고 상상해 보세요. 때로는 시스템의 모든 사람이나 모든 숫자를 추적할 수 없습니다. 당신은 집중하고자 하는 부분에 주목하기 위해 시스템의 일부를 무시하기로 결정해야 합니다.

물리학과 수학에서, 시스템의 일부를 "무시"하거나 "적분하여 없애는(integrating out)" 행위는 표준적인 기법입니다. 저자인 진 레이(Jin Lei)는 이 작업에 두 가지 매우 다른 방식이 있으며, AI 연구자들은 주로 한 가지 방식을 사용하는 반면, 핵물리학자들은 다른 한 방식을 완벽하게 숙달했다라고 주장합니다.

1. "닫힌(Closed)" 방식 (AI가 하는 방식)

비유: 친구들의 사진을 찍고 있는데, 배경을 흐릿하게 처리(블러 처리)하기로 했다고 상상해 보세요.

• 무슨 일이 일어나는가: 배경의 세부 정보는 잃게 되지만, 친구들의 사진은 여전히 완벽하게 선명하고 "온전한" 상태로 남습니다. 배경을 흐리게 했다고 해서 친구들에게서 빛이나 에너지를 뺏어가는 것은 아닙니다. 단지 배경 데이터를 제거했을 뿐입니다.
• AI에서의 의미: AI 연구자들이 신경망의 무작위 숫자(파라미터)를 평균화할 때, 그 결과는 "닫힌" 형태가 됩니다. 수학적 구조는 단순하고, 실재하며, 대칭적입니다. 이는 손실이 없는 요약입니다. 아무것도 "탈출"하지 않습니다.

2. "열린(Open)" 방식 (핵물리학이 하는 방식)

비유: 당신은 문이 살짝 열려 있는 방 안에 있습니다. 당신은 방 안의 공기 압력을 추적하려고 합니다.

• 무슨 일이 일어나는가: 문을 통해 공기가 새 나갑니다. 만약 당신이 방 내부의 공기만을 설명하려고 한다면, 당신의 설명은 공기가 빠져나가고 있다는 사실을 반드시 고려해야 합니다. 수학은 "새는 듯하고(leaky)" 복잡해집니다. 당신은 정확히 얼마나 많은 공기가 빠져나갔고 어디로 갔는지에 대한 엄격한 장부(영수증)를 기록해야 합니다.
• 핵물리학에서의 의미: 이것을 **광학 모델(Optical Model)**이라고 부릅니다. 핵이 입자와 상호작용할 때, 일부 입자는 "연속체(continuum, 나머지 우주)"로 탈출합니다. 핵을 설명하는 수학은 "비에르미트(non-Hermitian)"가 됩니다 (복잡하고 새는 성질을 가진다는 뜻의 어려운 표현입니다). 결정적으로, 이 수학에는 **플럭스 장부(Flux Ledger)**가 포함됩니다. 즉, 시스템을 떠난 확률이 정확히 얼마인지에 대한 회계 기록입니다.

논문의 주요 주장

저자는 다음과 같이 말합니다: "AI는 오직 '닫힌' 버전만 수행하고 있습니다. AI는 '열린' 버전을 놓치고 있습니다."

AI 연구자들은 자신들의 "닫힌" 수학과 핵물리학 사이를 번역할 수 있는 훌륭한 사전들을 가지고 있습니다. 예를 들어:

• **뉴럴 탠전트 커널(Neural Tangent Kernel, AI가 학습하는 방식)**은 **피셔 민감도 커널(Fisher Sensitivity Kernel, 핵 모델이 변화에 얼마나 민감한지)**과 같습니다.
• 무한 폭(Infinite-width) AI는 **가우시안 프로세스(Gaussian Process, 표준 통계 도구)**와 같습니다.

하지만 저자는 AI가 "열린" 측면에 대해서는 눈이 멀어 있다고 주장합니다. AI는 자신이 버리는 정보(예: 문장에서 단어를 무시하거나 네트워크의 일부를 잘라내는 것)를 단순한 실수나 근사 오차로 취급합니다. 그것을 추적하고 보존해야 할 물리적 손실로 취급하지 않습니다.

"플럭스 장부(Flux Ledger)"

핵물리학에서 입자가 탈출할 때, 이론은 단순히 "앗, 무언가를 잃어버렸다"라고 말하지 않습니다. 대신 "우리는 채널 A로 0.5 유닛의 확률을, 채널 B로 0.2 유닛의 확률을 잃었으며, 여기 그것을 증명하는 수학적 근거가 있다"라고 말합니다.

저자는 이 "플럭스 장부"를 AI를 위해 구축하려고 시도했습니다. 그는 이렇게 물었습니다. 만약 우리가 AI의 "무시된" 부분들을 새는 문처럼 취급한다면, 잃어버린 확률을 추적할 수 있을까?

놀라운 결과 (부정적인 발견)

저자는 이 "열린" 수학이 실제 AI 모델(대규모 언어 모델의 어텐션 메커니즘이나 어떤 전문가를 사용할지 선택하는 라우터 등)에서도 작동하는지 확인하기 위해 테스트를 수행했습니다.

결과: 대부분 실패했습니다.

• 이유는? "열린" 수학이 작동하려면, 무시되는 부분이 파동이 영원히 이동할 수 있는 무한한 바다(연속 스펙트럼)와 같아야 합니다.
• 문제점: AI 모델은 보통 유한하며 "소산적(dissipative, 에너지가 빠져나가며 안정화됨)"입니다. AI는 저런 "무한한 바다"와 같은 특성을 가지고 있지 않습니다.
• 결과: 저자가 "열린" 수학을 AI에 강제로 적용하려 했을 때, "플럭스 장부"는 존재하지 않거나, 혹은 그 "손실"은 실제 물리적 성질이 아니라 데이터를 자르는 과정에서 발생한 수학적 부산물(artifact)에 불과했습니다.

"환각(Hallucination)"의 반전

저자는 또한 인기 있는 아이디어를 살펴보았습니다. 이 "누출(leakage)" 수학이 AI가 환각(사실이 아닌 것을 지어내는 것)을 감지할 수 있을까?

답변은: 아니오입니다.

• 이유: AI가 확신을 가지고 환각을 일으킬 때, AI는 사실 매우 "닫혀" 있습니다. 즉, 잘못된 답에 강력하게 고착되어 있는 상태입니다. "누출(불확실성)"은 낮습니다. 왜냐하면 모델이 스스로를 확신하고 있기 때문입니다.
• 진정한 불확실성: 정말 중요한 불확실성(인식론적 불확실성—모델이 정답을 알고 있는지 여부)은 "열린" 부분이 아니라 "닫힌" 부분의 수학(앙상블의 분산)에 존재합니다.

요약

• 지도: 이 논문은 AI와 핵물리학이 무언가를 "무시하는" 방식에 대해 동일한 대수학을 공유한다는 지도를 그려냅니다.
• 간극: AI는 오직 "닫힌(손실이 없는)" 버전만을 사용합니다. 반면 핵물리학은 무엇을 잃었는지 엄격하게 계산하는 "열린(새는)" 버전에 대한 완전히 발달된 이론을 가지고 있습니다.
• 테스트: 저자는 이 "열린" 이론을 AI로 가져오려고 시도했습니다.
• 판결: 제대로 작동하지 않았습니다. 실제 AI 모델은 핵물리학이 사용하는 복잡하고 파동적인 "열린" 수학을 지원하기에는 너무 유한하고 "이완적(relaxational)"입니다. 저자가 찾고자 했던 "열린" 특징들은 존재하지 않거나, 단지 수학적 부산물일 뿐이었습니다.

요컨대: 이 논문은 하나의 경고입니다. 우리는 핵물리학에서 일부 수학을 빌려올 수는 있지만, 탈출하는 입자를 추적하기 위해 그들이 사용하는 특정한 "새는" 도구들은 현재의 AI 구조와 자연스럽게 맞물리지 않는다는 점을 알려줍니다. AI에서 "유용한" 불확실성은 "열린" 역학적 측면이 아니라 여전히 "닫힌" 통계적 측면에 머물러 있습니다.

기술 요약

기술 요약: 두 번의 적분(Integrating Out, Twice): 신경망 앙상블 이론이 놓치고 있는 개방계(Open-System) 사례

문제 제기
본 논문은 신경망 앙상블 이론의 구조적 공백을 다룬다. 무작위 파라미터에 대해 네트워크를 평균화하는 것(가우시안 섹터의 마진화)은 제거된 블록의 슈어 보완(Schur complement)과 수학적으로 동일하며, 현재의 앙상블 이론은 오직 이 "닫힌(closed)" 경우만을 실현하고 있다. 이 닫힌 시나리오에서 유도된 유효 객체는 실제(real)이자 대칭적이며 손실이 없는 정밀 행렬(공분산 역행렬)이다. 본 논문은 주류 학습 이론이 "개방형(open)" 사례, 즉 섹터를 제거했을 때 확률 흐름(probability flux)이 돌이킬 수 없이 탈출하여 비-에르미트(non-Hermitian) 유효 생성기를 결과로 초래하고, 이 탈출한 흐름을 보존 및 항목별로 기록하는 형식론이 결여되어 있다고 주장한다. 이러한 개방계 구조는 핵 반응 이론(특히 광학 모델과 페쉬바흐 투영법)에서 완전히 개발되었으나, 머신러닝에는 부재하다.

방법론
저자는 세 가지 기초적인 도구인 확률 분포의 모멘트, 가우시안의 대수, 그리고 블록 행렬 역행렬에 기반한 통합된 대수적 프레임워크를 사용한다. 본 논문은 독자가 표준 선형 대수와 통계학에 익숙하다면 모든 단계를 검증할 수 있도록 장론적 기제(분배 함수, 파인만 다이어그램)를 피한다.

방법론은 세 단계로 진행된다:

1. 대수적 통합: 본 논문은 신경망 앙상블을 마진화하는 것과 산란 문제(페쉬바흐 투영)를 투영하는 것이 동일한 연산, 즉 결합된 선형 시스템의 블록을 제거하는 것임을 입증한다.
2. "닫힌" 사전(Dictionary): 신경망의 닫힌 사례 통계와 핵물리학 사이의 정밀한 대응 관계를 확립한다. 여기에는 뉴럴 탠전트 커널(NTK)을 피셔 감도 커널로, 무한 너비 극한을 가우시안 프로세스 에뮬레이터로, 비-가우시안성을 에뮬레이터의 붕괴로 매핑하는 과정이 포함된다.
3. "개방형" 수출 및 테스트: 본 논문은 개방계 기제(비-에르미트 유효 해밀토니안, 플럭스 장부, 동적 분극 퍼텐셜)를 머신러닝으로 이식하려고 시도한다. 저자는 앙상블 내에 개방성을 유도할 수 있는 세 가지 고유한 방법을 제안한다:
   • 모멘트 생성 함수에 복소수 소스(complex source) 도입.
   • 서브노멀라이즈된 생존 확률(예: 분포 외 토큰의 거부)을 통한 파라미터 측도의 변형.
   • 네트워크 자유도에 대한 슈어 보완 제거(잔류 블록 vs 제거된 블록).
4. 경험적 검증: 저자는 특정 학습 객체 세 가지에 대해 "저비용" 수치 테스트를 수행하여, 이들이 자연스럽게 개방계의 징후를 보이는지 확인한다:
   • 절단된 어텐션 맵(트랜스포머 내).
   • 토큰 수준 전이 연산자(제한된 알파벳).
   • 희소 전문가 라우터(전문가 혼합 모델, MoE).

주요 기여

• "개방형" vs "닫힌" 구분: 비-에르미티즘(non-Hermiticity)이 단순히 복소수의 특징이 아니라, 개방된 제거 섹터(연속 스펙트럼을 통해 흐름이 탈출하는 섹터)의 특정한 징후임을 명확히 한다. 닫힌 제거(유한하거나 소산적인 경우)는 실수이자 대칭인 슈어 보완을 생성한다.
• 플럭스 장부(Flux Ledger): 일반화된 광학 정리로부터 유도된, 제거된 섹터로 손실된 확률을 보존하고 항목별로 기록하는 "플럭스 장부"를 정의한다. 이를 통해 흡수를 직접, 붕괴, 간섭 항으로 분해할 수 있다.
• 대응 사전: 핵 반응 개념을 학습 이론으로 번역하는 완전한 사전을 제공하며, NTK를 피셔 감도 커널로, 축소된 기저 에뮬레이터의 유효 경계를 레이지(lazy)-투-피처(feature) 전이로 식별한다.
• 고유 개방성 구축: 복소수 소스나 서브노멀라이즈된 측도를 사용하여 머신러닝 내에서 네이티브하게 개방형 앙상블을 구축하는 방법을 보여준다. 다만, 연산자 수준의 손실이 나타나기 위해서는 비-가우시안성이 나타나야 함을 언급한다.

결과
본 논문은 현재의 주류 학습 아키텍처에 대한 개방계 수출의 적용 가능성에 대해 대체로 부정적인 결과를 보고한다:

• 절단된 어텐션: 컨텍스트 윈도우에서 토큰을 제거하는 것은 닫힌 과정이다. 유도된 보정은 실수이며 대칭적이다; 비-에르미트 생성기는 자연스럽게 발생하지 않는다. 개방성은 수동으로 삽입되어야 한다.
• 토큰 수준 전이 연산자: 제한된 알파벳에 대해 보존되는 흡수 장부를 구축할 수는 있으나, "매개 항"(채널 결합 흡수의 아날로그)은 불안정하며, 파티션 선택에 따라 변하며, 파티션의 속성이 아닌 파티션 자체의 인위적 결과물처럼 보인다.
• 희소 라우터: 전문가 혼합 모델에서 "개방성"(제거된 전문가)은 로드 밸런싱이라는 학습 목적에 의해 높은 무정보 수준(uninformative floor)으로 밀려난다. 결과로 나타나는 신호는 구조적(라우팅의 날카로움)이지, 유의미한 플럭스 손실의 척도가 아니다.
• 인식론적 vs 우연적 불확실성: 본 논문은 "운용상 유용한" 불확실성(환각과 오류를 구분하는 것)이 개방형의 절반이 아닌, 닫힌 절반(앙상블 분산/피셔 정보)에 존재함을 발견했다. 개방계 형식론은 현재 모델의 인식론적 불확실성을 포착하지 못한다.
• 구조적 장벽: 본 논문은 개방형 사례가 연속 스펙트럼과 파동적 역학을 가진 제거된 섹터를 필요로 한다고 결론짓는다. 주류 학습 객체들은 유한하거나(이산 스펙트럼) 완화적(음의 실수 축 상의 스펙트럼)이어서, 물리적인 반-에르미트(anti-Hermitian) 부분을 생성하기 위해 필요한 연속체를 형성하지 못한다.

의의 및 주장
본 논문은 스스로를 "결과가 아닌 노트"라고 명시하며, 주요 기여는 새로운 이론이나 성공적인 적용이 아니라 하나의 **지도(map)**를 제공하는 데 있다고 밝힌다.

• 부정적 결과의 가치: 주요 발견은 개방형 수출이 표준 학습 객체에 대해 실패한다는 것이다. 저자는 이 부정적 결과가 가치 있는 이유가 바로 그것이다. 즉, 왜 실패하는지를 정확히 짚어냈기 때문이다: 즉, 연속 스펙트럼과 파동적 역학이 결여되어 있다는 점이다.
• 비유의 정직성: "에너지 경관"과 같은 느슨한 비유를 경계하고 정밀한 대수적 항등성을 고수한다. 저자는 제거의 대수는 공유되지만, 제거된 블록의 성질(닫힘 vs 개방)이 결과의 물리적 특성을 결정한다고 명확히 한다.
• 향후 방향: 개방계 기제이 AI에 유용해지려면, 현재의 완화적(relaxational) 모델이 아닌 "파동적(wave-like)" 모델을 찾거나 구축해야 한다. 제거된 섹터가 연속체를 운반할 수 있을 만큼 무제한적이어야 하기 때문이다. 그때까지 "개방형 사례"는 실용적인 도구라기보다는 이론적인 가능성으로 남을 것이다.

요약하자면, 본 논문은 신경망 앙상블 이론이 파라미터의 "닫힌" 적분은 숙달했으나, 핵물리학에서 발견되는 "개방형" 적분 기제는 결여되어 있다고 주장한다. 현재의 AI 모델로 이 기제를 이식하려는 시도는 그 모델들이 광학 모델의 비-에르미트적이고 플럭스를 보존하는 역학을 지탱할 수 있는 필수적인 스펙트럼 특성(연속 스펙트럼)을 갖추지 못했기 때문에 실패한다.