Slack More, Predict Better: Proximal Relaxation for Probabilistic Latent Variable Model-based Soft Sensors

Each language version is independently generated for its own context, not a direct translation.

1. 문제 상황: "완벽한 지도를 그리려는 시도"

공장에는 거대한 기계가 돌아가고 있습니다. 우리는 이 기계의 내부 상태 (잠재 변수, $z$ ) 를 알면, 최종 제품 품질 ( $y$ ) 을 정확히 알 수 있습니다. 하지만 문제는 기계 내부 상태는 직접 볼 수 없다는 점입니다.

기존의 인공지능 모델 (NPLVM) 은 이 보이지 않는 상태를 추정하기 위해 **"가상의 지도 (확률 분포)"**를 그립니다.

기존 방식의 문제: 기존 모델은 이 지도를 그릴 때, **"반드시 정해진 모양 (예: 종 모양의 정규 분포) 을 따라야 한다"**는 규칙에 갇혀 있었습니다.
비유: 마치 **"구형의 접시"**로 **"불규칙한 모양의 흙더미"**를 덮으려 하는 상황입니다. 흙더미가 산처럼 울퉁불퉁하거나 두 개의 봉우리가 있다면, 둥근 접시로는 그 형태를 완벽하게 덮을 수 없습니다. 이 때문에 예측에 **오차 (Approximation Error)**가 생기고, 공장 품질 관리가 부정확해집니다.

2. 해결책: "접시를 버리고, 점토로 직접 빚어라"

저자들은 이 문제를 해결하기 위해 **"KProx"**라는 새로운 방법을 고안했습니다. 핵심 아이디어는 **"지도의 모양을 미리 정해진 규칙에 맞추지 말고, 목표에 맞춰 유연하게 변형하라"**는 것입니다.

비유: "유리창을 닦는 청소부" vs "점토를 빚는 도예가"

기존 방법 (유리창 청소): 미리 정해진 모양의 유리창 (정규 분포) 을 가지고 와서, 보이는 대로만 닦습니다. 하지만 유리창 모양이 실제 흙더미와 다르면, 구석구석은 깨끗이 닦아지지 않습니다.
새로운 방법 (KProx - 점토 빚기): 우리는 보이지 않는 흙더미 (실제 분포) 를 상상합니다. 그리고 **점토 (입자들, Particles)**를 한 덩어리로 시작합니다.
- 슬랙 (Slack) 더하기: "조금만 더 밀어보자!"라고 생각하며, 점토 덩어리를 **물 (Wasserstein 거리)**을 이용해 부드럽게 밀어냅니다.
- 속도장 (Velocity Field): 점토가 어디로 움직여야 흙더미 모양과 비슷해지는지, 마치 바람의 흐름처럼 방향을 잡아줍니다.
- 결과: 처음엔 뭉개진 점토였지만, 이 과정을 반복하면 결국 실제 흙더미와 똑같은 모양으로 변합니다.

이것이 논문의 핵심인 **"Wasserstein 거리를 이용한 근사 완화 (Proximal Relaxation)"**입니다. 즉, "어떤 모양이어야 한다"는 제약 (Relaxation) 을 풀고, 가장 자연스럽게 움직이는 경로를 찾아 정답에 도달하게 한 것입니다.

3. 작동 원리: "두 단계의 춤"

이 새로운 모델 (KProxNPLVM) 은 두 가지가 서로 춤을 추며 학습합니다.

해석자 (Decoder) 의 춤:
- 관찰된 데이터 (공장 데이터) 를 보고, "아마도 내부 상태는 이런 모양일 거야"라고 **점토 (입자)**를 움직여 정확한 모양을 만듭니다.
- 이때 기존처럼 "정해진 모양"을 강요하지 않고, **물리 법칙 (Wasserstein 거리)**에 따라 점토가 자연스럽게 퍼지도록 합니다.
예측자 (Encoder) 의 춤:
- 이제 "실제 데이터"를 보고 "내부 상태 (점토 모양)"를 추측하는 신경망을 훈련시킵니다.
- 이때 Sinkhorn 알고리즘이라는 도구를 써서, "내가 추측한 점토 모양"과 "해석자가 만든 완벽한 점토 모양" 사이의 거리를 재고, 그 차이를 줄이도록 학습합니다.

4. 왜 이것이 중요한가? (실제 효과)

이론적으로 증명하고 실험해 본 결과, 이 방법은 다음과 같은 장점이 있습니다.

정확도 향상: 복잡한 공장 데이터 (비선형, 다중 모드) 에서 기존 모델보다 훨씬 정확한 품질 예측을 합니다.
불확실성 파악: "이 예측은 90% 확신"인지 "50% 확신"인지도 알려줍니다. (공장에서는 이 불확실성 관리가 안전과 직결됩니다.)
빠른 수렴: 학습이 매우 빠르게 안정화됩니다.

5. 결론: "완벽한 지도는 없지만, 가장 가까운 길을 찾는다"

이 논문은 **"기존의 딱딱한 규칙 (정규 분포) 에 갇히지 말고, 데이터의 실제 모양에 맞춰 유연하게 움직이는 새로운 학습법"**을 제안합니다.

마치 구형의 접시로 불규칙한 흙더미를 덮으려다 실패하던 과거와 달리, 이제는 유연한 점토를 이용해 흙더미의 모양을 정확히 따라 빚어내는 기술을 개발한 것입니다. 이 기술은 화학 공장, 정유 시설 등 복잡한 산업 현장에서 제품 품질을 높이고 에너지를 절약하는 데 큰 도움을 줄 것입니다.

한 줄 요약:

"기존 AI 가 '정해진 모양'에 맞춰서만 예측하려다 틀렸다면, 이 새로운 방법은 '실제 모양'에 맞춰 유연하게 변형하며 더 정확하게 예측하는 기술을 개발했습니다."

Each language version is independently generated for its own context, not a direct translation.

1. 문제 정의 (Problem)

소프트 센서 (Soft Sensor) 모델링에서 **비선형 확률적 잠재 변수 모델 (NPLVMs)**은 데이터의 불확실성을 명시적으로 모델링할 수 있어 중요한 역할을 합니다. 그러나 기존 NPLVM 들은 **상환 변분 추론 (Amortized Variational Inference, AVI)**을 사용하여 학습됩니다.

근본적인 한계: AVI 는 신경망을 통해 변분 사후 분포 (Variational Posterior) 를 매개변수화합니다. 이는 무한 차원의 함수 공간에서 이루어져야 할 분포 최적화 문제를 유한 차원의 매개변수 공간으로 축소하는 과정입니다.
근사 오차 (Approximation Error Gap): 이 축소 과정은 필연적으로 근사 오차를 발생시킵니다. 특히, 실제 사후 분포가 복잡한 형태 (예: 다중 모드) 를 가질 때, 단순한 분포족 (예: 단일 가우시안) 으로 이를 근사하려는 시도는 큰 오차를 야기하며, 결과적으로 소프트 센서의 예측 정확도를 저하시킵니다.
기존 방법의 부족: 기존 Wasserstein 근사 기법들은 일반적인 측도 동역학에 초점을 맞추고 있어, KL 발산을 기반으로 한 잠재 변수 추론에 직접 적용하기 어렵거나 모델 특이적인 수렴 보장이 부족했습니다.

2. 방법론 (Methodology)

저자들은 위 문제를 해결하기 위해 Wasserstein 거리를 근사자 (Proximal Operator) 로 활용하여 KL 발산 최적화를 완화 (Relax) 하는 새로운 접근법을 제안합니다. 이를 KProxNPLVM이라고 명명했습니다.

가. 핵심 아이디어: Wasserstein Proximal Relaxation

목표: KL 발산을 직접 최소화하는 대신, Wasserstein 거리를 포함하는 정규화 항을 추가하여 최적화 문제를 완화합니다.
수식적 접근:
$\arg \min_{Q_T} D_{KL}[Q_T(z) \| P(z|D)] + \frac{1}{2\varepsilon} W_2^2(Q_T(z), Q(z))$
여기서 $W_2$ 는 2-Wasserstein 거리이며, $\varepsilon$ 은 근사자 계수입니다. 이를 통해 확률 분포 공간에서의 최적화 문제를 연속적인 흐름 (Flow) 문제로 변환합니다.

나. KProx 알고리즘 (Kernelized Proximal Gradient Descent)

입자 기반 추론: 잠재 변수 분포를 입자 (Particles) 집합으로 표현하고, 연속 방정식 (Continuity Equation) 을 기반으로 입자를 이동시켜 목표 분포에 점진적으로 수렴시킵니다.
RKHS 기반 근사: $\nabla \log Q_t(z)$ $\nabla lo g Q_{t} (z)$ (스케어 함수) 를 계산하는 것이 불가능하므로, **반복 Hilbert 공간 (RKHS)**과 커널 함수 (RBF) 를 사용하여 이를 근사합니다.
- 업데이트 규칙: $z_{t+1} = z_t + \varepsilon \{ \nabla \log P(z_t|D) + \mathbb{E}_{Q_t}[\nabla K(z', z)] \}$
수렴성 보장: 제안된 알고리즘은 적절한 조건 하에서 KL 발산이 0 으로 수렴함을 수학적으로 증명했습니다 (Theorem 2).

다. 전체 학습 프로세스 (KProxNPLVM)

생성 네트워크 (Decoder) 학습: KProx 알고리즘을 사용하여 관측 데이터 $D$ 에 대한 잠재 변수 $z$ 의 사후 분포를 추정하고, 이를 기반으로 생성 네트워크 파라미터 $\theta$ 를 업데이트합니다.
추론 네트워크 (Encoder) 학습: 인코더 $q_\phi(z|x)$ $q_{ϕ} (z ∣ x)$ 의 출력과 KProx 를 통해 얻은 근사 사후 분포 $Q_T(z)$ $Q_{T} (z)$ 사이의 Wasserstein-2 거리를 최소화하도록 파라미터 $\phi$ $ϕ$ 를 학습합니다.
- 이를 위해 Sinkhorn-Knopp 알고리즘을 사용하여 Wasserstein 거리의 기울기를 효율적으로 계산합니다.

3. 주요 기여 (Key Contributions)

이론적 분석: 유한 차원 매개변수 공간으로의 변분 분포 매개변수화가 유발하는 근사 오차의 하한을 이론적으로 규명했습니다.
새로운 추론 전략: KL 발산 최적화의 한계를 극복하기 위해 Wasserstein 거리를 근사자로 도입한 KProx 알고리즘을 개발하고, 이를 RKHS 에서 계산 가능하도록 유도했습니다.
수렴성 증명: 제안된 알고리즘이 점근적으로 국소 수렴함을 증명하여, 기존 방법론의 근사 오차 문제를 우회할 수 있음을 보였습니다.
실용적 알고리즘: 소프트 센서 모델링을 위한 전체적인 학습 프레임워크 (KProxNPLVM) 를 제안하고, 생성 및 추론 네트워크의 학습 절차를 구체화했습니다.

4. 실험 결과 (Results)

데이터셋: 합성 데이터 및 실제 산업 데이터 (Debutanizer Column, Carbon-dioxide Absorber Column, Catalysis Shift Conversion Unit) 를 사용했습니다.
성능 비교:
- 후분포 근사: KProx 알고리즘은 초기 분포가 목표 분포와 겹치지 않아도 (disjoint support) 다중 모드 (multimodal) 분포를 정확하게 근사하는 것을 시각적으로 확인했습니다.
- 소프트 센서 성능: 제안된 KProxNPLVM은 기존 NPLVM 들 (VAE, GMM-VAE 등) 과 비확률적 모델 (SAE, Transformer 등) 보다 R², RMSE, MAE, MAPE 모든 지표에서 우수한 성능을 보였습니다. 특히 통계적으로 유의미한 개선이 있었습니다.
민감도 분석:
- 근사자 계수 ( $\varepsilon$ ) 가 클수록 성능이 향상됨을 확인했습니다.
- 배치 크기 (Batch size) 가 너무 크면 성능이 저하되며, 입자 수 (Particle number) 는 적정 수준에서 최적화되어야 함을 보였습니다.
Ablation Study: KProx 알고리즘과 Wasserstein 기반 추론 네트워크 학습 전략을 제거했을 때 성능이 급격히 하락하여, 두 요소가 모두 모델 성능에 필수적임을 입증했습니다.
수렴성: 실험적으로 5 에포크 이내에 학습 목표 함수가 빠르게 수렴하고 안정적임을 확인했습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 소프트 센서 및 확률적 모델링 분야에서 **변분 추론의 근본적인 한계 (근사 오차)**를 해결하기 위한 새로운 패러다임을 제시합니다.

기술적 의의: 단순한 매개변수 최적화를 넘어, 확률 분포 공간에서의 최적화 (Optimization over Probability Measures) 를 실제 산업 문제에 적용 가능한 형태로 구현했습니다.
실무적 가치: 복잡한 비선형 공정 데이터를 처리할 때, 기존 모델이 놓치기 쉬운 불확실성과 다중 모드 특성을 정확히 포착하여 예측 정확도를 획기적으로 높였습니다.
향후 과제: RKHS 기반 근사가 고차원 잠재 변수에서 표현력이 제한될 수 있으므로, 신경망을 활용한 속도장 (Velocity Field) 근사 전략 개발 및 다른 거리 측정치 (Discrepancy Metrics) 탐구가 향후 연구 방향입니다.

요약하자면, "KProxNPLVM"은 Wasserstein 거리를 근사 도구로 활용하여 변분 추론의 근사 오차를 줄이고, 이를 통해 산업용 소프트 센서의 예측 정확도를 극대화한 혁신적인 프레임워크입니다.