Tensor-Based Reduced-Order Modeling for Optimization-Based Inverse Problems

기술 요약: 최적화 기반 역문제를 위한 텐서 기반 차수 축소 모델링

문제 정의
매개변수 의존적 동역학 시스템(PDE 또는 ODE)에 의해 지배되는 역문제는 미지의 매개변수를 간접적이고 노이즈가 섞인 측정값으로부터 추론하기 위해 고충실도 순방향 모델(Full-Order Model, FOM)의 반복적인 평가를 요구한다. 매개변수 차원이 중간에서 높거나, 디지털 트윈 응용 분야와 같이 서로 다른 데이터 실현(realization)에 대해 문제를 반복적으로 해결해야 하는 경우, FOM 평가 및 민감도 분석의 계산 비용은 매우 과도해진다. 전통적인 차수 축소 모델링(Reduced-Order Modeling, ROM) 기법은 주로 순방향 풀(solve)을 가속화하는 데 집중하지만, 전역 최적화를 위해 필요한 다차원 매개변수-관측치 사상(map)의 특성을 다루는 데는 어려움이 있다. 특히 국소 대리 모델(local surrogate)이 비볼록(nonconvex) 지형에서의 멀티 스타트(multi-start) 최적화에 필요한 강건성을 갖추지 못한 경우가 그러하다.

방법론
저자들은 관측치를 텐서 트레인(Tensor-Train, TT) 형식으로 직접 근사하는 텐서 차수 축소 모델링(Tensor Reduced-Order Modeling, TROM) 프레임워크를 제안한다. 상태 공간을 축소하는 기존의 ROM과 달리, 이 접근 방식은 매개변수에 대한 관측치의 결합 의존성을 압축한다.

1. 오프라인 구축:

   • 매개변수 영역을 격자로 이산화하며, 그 결과로 생성된 관측치들은 고차원 텐서 $T$를 형성한다.
   • TT-SVD: 전체 텐서를 구성하고 행렬화(matricization)의 절단된 SVD(truncated SVD)를 통해 압축한다. 이는 제어 가능한 근사 오차를 제공하지만, 모든 텐서 항목에 접근해야 하므로 고차원에서는 실행 불가능해진다.
   • TT-Cross: 전체 텐서 구성을 피하기 위해, 저자들은 AMEn(Alternating Minimal Energy) 보강(enrichment)이 결합된 TT-Cross 보간법을 채택한다. 이 방법은 압축된 표현을 구축하기 위해 텐서 항목의 작은 부분 집합을 적응적으로 샘플링하며, 이를 통해 $D \ge 6$인 높은 매개변수 차원에서도 실행 가능하게 만든다.
   • 전처리: 관측 공간이 큰 경우, TT 압축 전 관서 벡터에 대한 예비 차원 축소(SVD 또는 비선형 인코더를 통한)를 적용하여 오프라인 비용을 더욱 줄인다.

2. 온라인 역전 및 통합:
   TROM은 정규화된 비선형 최소제곱 공식($\min_\alpha \frac{1}{2}\|f(\alpha) - y_{obs}\|^2 + \frac{\lambda}{2}\|\alpha - \alpha_{ref}\|^2$) 내에서 네 가지 구체적인 방식으로 통합된다.

   • C1 (직접 근사): 목적 함수에서 FOM을 대리 모델 $\hat{f}$가 대체한다.
   • C2 (축소 좌표 가우스-뉴턴): 첫 번째 TT 코어를 직교화함으로써, 최소제곱 항을 차원 $r_2$(두 번째 TT 랭크)의 축소 좌표 공간으로 재구성한다. 이를 통해 전체 관측 공간의 야코비안(Jacobian)을 직접 형성하지 않고도 가우스-뉴턴(Gauss-Newton, GN) 양($J^T J$ 및 $J^T \eta$)을 직접 조립할 수 있다.
   • C3 (텐서 기반 최적화): TT 표현을 사용하여 이산 매개변수 격자 상에서 목적 함수를 직접 최소화한다. 이는 독립적인 근사 솔버 역할을 하거나, 더 효과적으로는 후속 GN 풀을 위한 데이터 기반 초기화 도구로 사용될 수 있다.
   • C4 (강건성 분석): 불일치 원리(discrepancy principle)를 통해 정규화 매개변수를 선택할 때 측정 노이즈와 TROM 근사 오차를 모두 고려한다.

수치 실험
프레임워크는 두 가지 구별된 역문제에 대해 평가되었다:

1. 역 열전달(Inverse Heat Transfer): 저전도성 포함물(inclusions)의 위치와 반경을 회복하는 이질적 매질 내의 포물선형 PDE 문제이다. 테스트된 매개변수 차원은 $D=3, 6, 9$이다.
2. FitzHugh–Nagumo 매개변수 추정: 흥분성 역학(excitable dynamics)을 모델링하는 비선형 ODE 시스템이다. 목적 함수 지형은 매우 비볼록하며 여러 국소 최솟값을 가져 초기화에 민감하다.

주요 결과

• 정확도 및 효율성: TROM 대리 모델(TT-SVD 및 TT-Cross 모두)은 FOM 기반 가우스-뉴턴 방법과 비교하여 온리 라인 비용을 대폭 줄이면서도 전체 역전 동작을 재현한다. 열전달 문제의 경우, 온라인 역전 시간은 밀리초(milliseconds) 단위이며, 이는 FOM 기반 GN 방법 대비 $10^3$에서 $10^4$ 배의 속도 향상을 나타낸다.
• 확장성: TT-Cross는 TT-SVD를 위한 전체 텐서 구성이 계산적으로 불가능한 $D=9$ 영역까지 접근 방식을 성공적으로 확장한다.
• 강건성:
  • 열전달 문제에서 이 방법은 측정 노이즈와 다양한 공간 이산화 하에서도 안정성을 유지한다.
  • FitzHugh–Nagumo 문제에서 텐서 기반 최적화 단계(C3)는 무작위 초기화보다 성능이 현저히 우수하다. 이는 무작위 시작을 사용하는 표준 GN 방법이 가짜 국소 최솟값으로 자주 수렴하는 것과 달리, 전역 최솟값 근처의 인력권(basin of attraction)을 식별해낸다.
  • 심층 통합의 이점: 축소 좌표 공식(C2)과 텐서 기반 초기화(C3)를 사용하면 "일반" TROM 역전(대리 모델을 순방향 평가에만 사용하고 유한 차분법으로 야코비안을 구하는 방식)보다 4~8배의 추가적인 속도 향상을 제공한다.

의의 및 주장
본 논문의 주요 기여는 TROM을 단순히 빠른 순방향 대리 모델로 사용하는 것을 넘어선다는 점에 있다고 주장한다. 대신, 저자들은 저계수(low-rank) 텐서 구조를 다음과 같이 역전 과정 전반에 걸쳐 활용할 수 있음을 입증한다:

1. 최적화 문제를 축소 좌표로 재구성하여, 전체 관측 차원으로부터 온리 라인 비용을 분리한다.
2. 명시적인 야코비안 형성 없이도 민감도 정보(Jacobian 곱)를 효율적으로 조립한다.
3. 비볼록 지형에서 비선형 솔버의 초기값 민감도를 완화하는 견고한 데이터 기반 초기화 전략을 제공한다.

저자들은 TROM 대리 모델의 오프라인 구축 과정에서 상당한 계산 비용(특히 고차원에서)이 발생하지만, 결과적으로 얻어지는 온라인 역전 솔브는 저렴하고 안정적이며 강건하다고 결론짓는다. 이는 오프라인 비용을 상쇄할 수 있는 디지털 트윈과 같이 반복적인 역전이 필요한 응용 분야에 이 방식이 매우 적합함을 시사한다. 이 방법은 안정적인 재구성을 생성하기 위해 근사 오차, 측정 노이즈 및 정규화를 효과적으로 균형 있게 조절한다.