기술 요약: 분산 프로파일 가우시안 측정 하에서의 대각 기대값 전파(Diagonal Expectation Propagation)의 가우시안 프로세스 역학

1. 문제 정의

본 논문은 **분산 프로파일(variance-profile)**을 가진 가우시안 측정 환경에서 고차원 선형 추론 문제에 적용된 **대각 기대값 전파(Diagonal Expectation Propagation, EP)**의 점근적 거동을 조사한다. 표준적인 선형 추론 모델은 $y = Ax + v$이며, 여기서$A$는 센싱 행렬이다. AMP(Approximate Message Passing)와 EP의 고전적 분석은 종종 $A$가 독립 항등 분포(i.i.d.) 가우시안 엔트리를 갖거나 유니터리/회전 불변성(rotational invariance)을 가진다고 가정하지만, 본 연구는 $A$의 엔트리가 가우시안이되 그 분산이 결정론적 분산 프로파일 $S = (s_{ij})$에 의해 규정되는 더 일반적인 상황을 고려한다.

핵심적으로 다루는 질문은 이 설정에서도 표준적인 "신선한 노이즈(fresh-noise)" 원칙이 성립하는가 하는 점이다. 전통적인 i.i.d. 또는 회전 불변 모델에서는, 적절한 온사거(Onsager) 또는 캐비티(cavity) 보정을 거친 반복 알고리즘의 선형 모듈이 사전(prior) 모듈에 신선한 스칼라 가우시안 관측값을 전달한다. 이를 통해 스칼라 재귀를 사용하는 엄밀한 상태 진화(State Evolution, SE) 기술이 가능하다. 저자들은 분산 프로파일 하에서 표준적인 대각 EP 캐비티가 여전히 신선한 스칼라 가우시안 채널을 생성하는지, 아니면 분산 프로파일이 과거 반복(iteration)에 대한 의존성을 도입하여 이러한 단순한 디커플링(decoupling)을 방해하는지를 묻는다.

2. 방법론

본 논문은 **가우시안 조건부 확률(Gaussian conditioning)**과 **랜덤 행렬 이론(RMT)**에 기반하여, 유한 시간 대규모 시스템 분석($M, N \to \infty$ 이며 $M/N \to \delta$)을 엄밀하게 수행한다. 방법론은 다음과 같은 점에서 표준적인 접근 방식과 차별화된다:

• 선형 이력에 대한 가우시안 조건부 확률: 과거의 반복(iterate)에 대해 조건부 확률을 계산할 때, 유니터리 불변 모델은 "신선한" 하르-무작위(Haar-random) 성분을 남기는 것과 달리, 분산 프로파일 가우시안 행렬의 유한한 선형 이력에 대한 조건부 확률은 **상관관계가 있는 가우시안 잔차(correlated Gaussian residual)**를 남긴다. 이 잔차의 공분산은 분산 프로파일과 드러난 이력에 의해 변형된다.
• 조건부 행렬-다이슨 방정식(Matrix-Dyson Equation, MDE): 조건부 선형 모듈의 레졸벤트(resolvent)를 제어하기 위해, 저자들은 상관된 랜덤 행렬을 위한 정규화된 행렬-다이슨 방정식 프레임워크를 활용한다. 이는 표준 SE에서 사용되는 스칼라 분산 파라미터를 대체하여, 선형 모듈의 공분산과 응답에 대한 결정론적 등가물을 제공한다.
• 슈르 보완(Schur-Complement) 전개: 선형 모듈의 출력은 좌표별 슈르 보완을 사용하여 분해된다. 이는 즉각적 응답(EP 캐비티가 제거하도록 설계된 부분)과 잔여 변동(residual fluctuation)을 분리한다.
• 가우시안 회귀 분해: 저자들은 잔여 변동이 좌표 의존적 가우시안 프로세스를 형성함을 식별한다. 이들은 유한 차원 가우시안 회귀를 적용하여 이 프로세스를 예측 가능한 메모리 성분(과거 잔차에 대한 조건부 평균)과 직교 혁신(orthogonal innovation)(신선한 노이즈)으로 분해한다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 한다:

1. 조건부 가우시안 대상의 식별: 저자들은 분산 프로파일 측정 하에서, 선형 모듈이 신선한 스칼라 채널이 아닌 좌표 의존적 가우시안 프로세스를 생성함을 증명한다. 이 프로세스의 공분산는 분산 프로파일과 알고리즘의 유한한 선형 이력에 의해 지배되며, 이는 조건부 MDE 응답을 통해 기술된다.
2. 메모리 결함(Memory Defect)의 특성화: 본 논문은 표준적인 대각 EP 캐비티가 즉각적인 응답은 성공적으로 제거하지만, 예측 가능한 성분(과거 잔차와 상관관계가 있는 부분)을 제거하는 데는 실패함을 보여준다. 이는 "메모리 결함"을 초래하며, 즉 사전 모듈에 전달되는 유효 관측값이 신선한 것이 아니라 이동된(shifted) 가우시안 변수가 됨을 의미한다.
3. 오라클 상태 진화 보정: 가우시안 프로세스를 예측 가능한 메모리와 신선한 혁신으로 분해함으로써, 저자들은 오라클 상태 진화 수준의 보정을 도출한다. 이 보정은 예측 가능한 메모리 항을 차감하여 근본적인 신선한 스칼라 채널을 드러낸다. 이를 통해 단순한 스칼라 재귀가 아닌, MDE에 의해 생성된 환경에 대해 퀜치(quenched)된 좌표별 상태 진화를 얻는다.

4. 주요 결과

핵심 이론적 결과는 다음과 같이 요약된다:

• 정리 3 (일반 유한 시간 동적 정리): 선형 모듈 출력이 조건부 MDE로부터 유도된 특정 공분산 커널을 가진 가우시안 프로세스로 근사될 수 있음을 확립한다. 출력은 결정론적 선형 응답, 가우시안 프로세스 $Z_{t,j}$, 그리고 소멸하는 오차 항의 합으로 나타난다.
• 정리 4 (메모리 결함): 표준 EP 캐비티 출력 $h_{t,j}$가 다음을 만족함을 보여준다:
  $$h_{t,j} = \mu_{t,j} + \sqrt{\tau_{t,j}} W_{t,j} + o_{\ell^2_p}(1)$$
  여기서 $\mu_{t,j}$는 메모리 결함(과거 이력으로부터 예측 가능)이며, $W_{t,j}$는 신선한 표준 가우시안이다. 분산 프로파일이 특정 대칭성(예: 회전 불변성)을 갖지 않는 한, $\mu_{t,j} \neq 0$이다. 결과적으로, 표준 캐비티는 신선한 AWGN 관측이 아니다.
• 정리 5 (메모리 보정 상태 진화): 보정된 캐비티 $\hat{h}_{t,j} = h_{t,j} - \mu_{t,j}$를 정의한다. 이 정리는 보정된 변수가 신선한 스칼라 가우시안 관측값($\sqrt{\tau_{t,j}} W_{t,j}$)처럼 행동함을 증명한다. 이를 통해 유효한 상태 진화 기술이 가능해지지만, 이는 단순한 스칼라 분산이 아니라 전체 좌표별 공분산 이력과 MDE 환경을 추적해야 한다.
• 정리 6 (정밀도 대체): 증명에 사용된 이론적 "예측 가능한 정밀도(predictable-precision)" 역학과 실제 "적응형 정밀도(adaptive-precision)" 대각 EP 알고리즘 사이의 간극을 메운다. 적응형 정밀도와 오차의 경험적 노름(empirical norms)이 각각의 예측 가능한 대응물로 수렴함을 증명하여 이론적 결과의 타당성을 입증한다.

5. 의의 및 주장

본 논문은 메시 전달 알고리즘에서의 "신선한 스칼라 가우시안 채널"이라는 표준적인 가정이 분산 프로파일 가우시안 측정 하에서는 **강건하지 않음(not robust)**을 주장한다. 본 연구의 의의는 다음과 같다:

• 디커플링 원칙의 정교화: 분산 프로파일 하에서도 선형 모듈 출력의 가우시안 성질은 유지되지만, 신선함(과거 반복으로부터의 독립성)은 일반적으로 상실된다는 점을 명확히 한다. 극한의 대상은 프로파일 의존적 메모리를 가진 가우시안 프로세스 역학이다.
• 대각 EP의 이론적 한계: 일반적인 분산 프로파일에 대해 표준 대각 EP 알고리즘이 자연스럽게 스칼라 상태 진화로 분리되지 않음을 확립한다. 알고리즘의 "메모리"는 알고리즘 설계의 부산물이 아니라 분산 프로파일의 내재적 특징이다.
• 오라클 vs. 실제 구현: 저자들은 자신의 결과에 대한 즉각적인 실용적 적용에 대해 겸허한 태도를 취한다. 이들이 도출한 메모리 보정은 MDE 환경과 과거 이력을 알아야 하는 **오라클 구성(oracle construction)**이며, 이를 유한 샘플 알고리즘으로 제안하는 것이 아님을 명시한다. 본 논문의 초점은 극한의 역학을 규명하고, 잔여 프로세스 내에 숨겨진 이론적인 "신선한" 채널을 식별하는 데 있다.

결론적으로, 본 논문은 분산 프로파일 측정 하에서의 대각 EP에 대한 엄밀한 유한 시간 기술을 제공하며, 기존의 스칼라 상태 진화를 보다 복잡하고 메모리 의존적인 가우시안 프로세스 역학으로 대체하고, 표준적인 "신선한 노이즈" 직관이 실패하는 정확한 조건을 규명한다.