완벽한 케이크를 굽고 싶다고 상상해 보세요. 하지만 레시피가 약간 수수께끼 같습니다. 필요한 밀가루의 양은 설탕이 얼마나 있는지에 따라 달라지고, 설탕의 양은 밀가루가 얼마나 있는지에 따라 달라집니다. 레시피를 제대로 맞추려면, 숫자들이 마침내 "딱 맞아떨어져서" 케이크의 균형이 잡힐 때까지 밀가루를 조절하고, 그다음 설탕을 조절하고, 다시 밀가루를 조절하는 과정을 계속 반복해야 합니다.

공학의 세계에서 이것을 **다학제간 설계 분석(Multidisciplinary Design Analysis)**이라고 부릅니다. 엔지니어들은 서로 의존하는 다양한 시스템(예: 공기역학, 구조, 엔진) 사이의 균형을 맞춰야 합니다. 보통 이러한 균형을 찾기 위해, 그들은 변수를 조정해가며 모든 것이 일치할 때까지 값비싼 컴퓨터 시뮬레이션을 반복해서 실행합니다. 이것은 숫자를 하나 바꿀 때마다 매번 새로운 케이크를 구워보며 수수께끼를 풀려고 노력하는 것과 같습니다. 작동은 하겠지만, 느리고 비용이 많이 들며 컴퓨터 자원을 엄청나게 소모합니다.

문제점: "추측-및-확인"의 덫
이 논문은 전통적인 방식을 "고정점 반복법(Fixed-Point Iteration)"이라고 부릅니다. 이것을 "뜨겁다-차갑다(Hot and Cold)" 게임이라고 생각해보세요. 값을 하나 추측하면 컴퓨터가 얼마나 틀렸는지 알려주고, 다시 추측하고, 또 반복하는 방식입니다. 만약 당신이 이 수수께끼를 1,000번 풀어야 한다면(예를 들어, 1,000개의 서로 다른 비행기 날개를 설계하는 경우), 이 "추측-및-확인" 과정을 1,000번 반복하는 것은 악몽이 될 것입니다.

해결책: REMAL ("지도 제작자")
저자들은 REMAL(Residual Equilibrium Manifold Active Learning)이라는 새로운 방법을 소개합니다. 매번 "뜨겁다-차갑다" 게임을 하는 대신, REMAL은 해답이 존재하는 곳의 지도를 그리는 것을 결정합니다.

작동 방식은 다음과 같은 간단한 비유를 통해 설명할 수 있습니다.

1. "잔차(Residual)" (오차 측정기)

완벽한 케이크 레시피를 직접 예측하려고 노력하는 대신, REMAL은 오차를 살펴봅니다. 현재의 추측이 얼마나 "틀렸는지" 정확히 알려주는 측정기가 있다고 상상해 보세요.

밀가루가 너무 많으면, 측정기는 "+5"라고 말합니다.
설탕이 너무 적으면, 측정기는 "-3"이라고 말합니다.
목표는 모든 항목에 대해 측정기가 0을 가리키는 지점을 찾는 것입니다. 이 "0"인 지점이 바로 완벽한 평형 상태입니다.

2. "매니폴드(Manifold)" (보이지 않는 산맥)

저자들은 이 모든 "0"인 지점들이 데이터 속에서 숨겨진 형태나 경로를 형성한다는 것을 발견했는데, 이를 **매니폴드(Manifold)**라고 부릅니다. 이것을 숨겨진 산맥이라고 생각해 보세요. 여기서 "계곡 바닥"은 완벽한 균형(오차 0)을 나타냅니다.

기존 방식: 새로운 설계를 할 때마다, 당신은 언덕 밑바닥에서 시작하여 계곡 바닥을 찾을 때까지 오르락내리락합니다.
REMAL 방식: REMAL은 그 전체 산맥의 3D 지도를 그리는 법을 배웁니다. 일단 지도가 그려지면, 당신은 힘들게 오를 필요 없이 지도만 보고 즉시 계곡 바닥을 찾을 수 있습니다.

3. "스마트 탐험가" (능동 학습)

전체 산맥의 지도를 그리는 것은 어렵습니다. 땅의 모든 인치를 다 측정하고 싶지는 않을 것입니다. REMAL은 스마트 탐험가(엔트로피 기반 능동 학습이라는 AI 전략)를 사용합니다.

탐험가는 가장 중요한 부분이 바로 0의 선(계곡 바닥)이라는 것을 알고 있습니다.
무작위로 지점을 측정하는 대신, 탐험가는 "내가 0의 선이 어디에 있는지 가장 헷갈려 하는 곳이 어디인가?"라고 묻습니다.
그런 다음 탐험가는 그 특정 지점으로 가서 측정을 수행합니다. 이것은 마치 탐정이 중요하지 않은 단서는 무시하고, 미스터리를 해결할 결정적인 단서에만 집중하는 탐정과 같습니다.

4. 결과: 재사용 가능한 도구

몇 번의 스마트한 측정만으로 이 지도를 그린 후, REMAL은 어떤 새로운 설계에 대해서도 완벽한 균형을 거의 즉시 예측할 수 있습니다.

새로운 입력값(새로운 날개 모양)을 줍니다.
그것이 지도를 봅니다.
지도에서 "0"인 지점을 찾습니다.
끝. 값비싼 재시뮬레이션은 필요 없습니다.

이것이 왜 중요한가

논문은 이 방법을 위성 모델부터 가스 터빈에 이르기까지 네 가지 다른 공학 문제에 테스트했습니다. 연구 결과는 다음과 같습니다:

더 빠릅니다: 일단 지도가 그려지면, 해답을 찾는 과정은 기존의 "추측-및-확인" 방식보다 훨씬 저렴합니다.
더 똑똑합니다: "스마트 탐험가"는 단순히 무작위 지점을 선택했을 때보다 훨씬 빠르게 해답을 찾아냈습니다.
복잡한 수수께끼에도 작동합니다: 이 방법은 시스템이 "피드백 루프"(A가 B에 영향을 주고, 다시 B가 A에 영향을 주는 구조)인 경우에도 작동하며, 이는 보통 해결하기 가장 어려운 유형입니다.

주의할 점
논문은 지도를 그리는 데 사전 작업이 필요하다는 점을 인정합니다. 만약 당신이 수수께끼를 단 한 번만 풀어야 한다면, 기존의 "추측-및-확인" 방식이 여전히 더 빠를 수 있습니다. 하지만 만약 당신이 이 문제를 여러 번 풀어야 한다면(예를 들어, 전체 항공기 함대를 최적화하거나 디지털 트윈을 업데이트하는 경우), REMAL은 빠르게 제값을 합니다. 왜냐하면 지도는 한 번만 그리면 되고, 그 이후에는 영원히 사용할 수 있기 때문입니다.

요약
REMAL은 엔지니어들이 똑같은 수수께끼를 반복해서 푸는 일을 멈추게 합니다. 대신, 솔루션의 "형태"를 학습하고 지도를 그림으로써, 어떤 새로운 설계가 던져지더라도 완벽한 균형을 즉시 찾을 수 있게 해줍니다.

기술 요약: REMAL - 잔차 평형 다양체 능동 학습 (Residual Equilibrium Manifold Active Learning)

문제 정의

결합된 공학 시스템의 다학제간 설계 분석(MDA)은 모든 학제 간 결합 변수가 서로 일치하는 평형 상태를 계산하는 과정을 필요로 한다. 수학적으로 이는 주어진 설계 파라미터 $x$ 에 대해 결합 변수 $y$ 를 구하기 위해 비선형 방정식계 $y_i = f_i(x, \{y_j\}_{j \neq i}$ 를 푸는 과정이다. 전통적인 방식은 매 설계 지점마다 이러한 일관성 제약 조건을 해결하기 위해 고정점 반복(FPI) 알고리즘(예: 뉴턴 방법, 가우스-사이델)에 의존한다.

학제적 평가가 고비용의 물리 기반 시뮬레이션(예: CFD, FEM)을 포함할 경우, 반복적인 FPI는 특히 다학제간 설계 최적화(MDO), 불확지성 정량화(UQ), 또는 디지털 트윈 업데이트와 같은 외부 루프 작업에서 계산 비용이 매우 과다해진다. 대리 모델(Surrogate models)이 비용 절감을 위해 사용되어 왔으나, 기존 방식들은 다음과 같은 한계에 직면해 있다:

Class-one 대리 모델은 입력을 수렴된 결합 변수로 매핑하지만, 출력을 복구하기 위해 원래의 시스템을 다시 평가해야 한다.
Class-two 대리 모델은 개별 학제를 대리 모델로 대체하고 대리 시스템 상에서 FPI를 다시 실행하는데, 이는 개별 하위 시스템 근사의 정확도에 민간감하며 여전히 반복적인 풀이 과정이 필요하다.

방법론: REMAL

본 논문은 REMAL(Residual Equilibrium Manifold Active Learning)을 제안하며, 이는 대리 모델링의 목표를 수렴된 상태를 예측하는 것에서 **잔차 평형 다양체(residual equilibrium manifold)**를 학습하는 것으로 전환하는 프레임워크이다.

1. 잔차 정식화 (Residual Formulation)

학제 맵 $f_i$ 나 수렴된 상태 $y^*$ 를 근사하는 대신, REMAL은 다학제간 일관성 잔차를 정의한다:
$r_i(x, y) = y_i - f_i(x, \{y_j\}_{j \neq i})$
평형 상태는 잔차 벡터 $R(x, y) = \mathbf{0}$ 인 근(root)으로 정의된다. 이 방법은 암시적 다양체 $\mathcal{M} = \{(x, y) : R(x, y) = 0\}$ 를 학습하는 문제로 취급한다.

2. 반복 없는 데이터 생성

REMAL의 핵심 특징은 고정점 반복을 수행하지 않고도 훈련 데이터를 생성한다는 점이다. 임의의 후보 증강 입력 $u = (x, y)$ 에 대해, 결합 변수 $y$ 는 각 학제에 독립적인 입력으로 제공된다. 이를 통해 잔차 $r_i$ 를 직접 계산할 수 있다. 이는 결합된 학제 평가로부터 훈련 데이터를 수집할 수 있게 하여, 훈련 단계에서 결합 시스템을 해결하기 위한 계산 비용을 피할 수 있게 한다.

3. 멀티태스크 가우시안 프로세스(MTGP) 대리 모델

REMAL은 잔차 벡터 $R(u)$ 를 모델링하기 위해 내재적 공동 지역화 모델(Intrinsic Coregionalization Model, ICM) 공분산 구조를 갖는 **멀티태스크 가우시안 프로세스(MTGP)**를 채택한다.

결합 모델링: 독립적인 GP와 달리, MTGP는 모든 잔차 성분에 대한 결합 사전 분포를 배치하여 학제 간 상관관계(교차 잔차 의존성)를 활용함으로써 예측 성능을 향상시킨다.
불확실성 정량화: 사후 분포는 예측된 잔차 평균(대리 방정식)과 공분산(불확실성)을 모두 제공하며, 이는 능동 학습 전략에 필수적이다.

4. 엔트로피 기반 능동 학습

효율적인 제로-잔차 윤곽(zero-residual contour) 학습을 위해, REMAL은 엔트로피 기반 획득 전략을 사용한다.

이진 분류: 주어진 점 $u$ 에 대해, 잔차 $r_i(u)$ 는 이진 상태인 $r_i \leq 0$ 또는 $r_i > 0$ 으로 취급된다.
엔트로피 최대화: 알고리즘은 GP 사후 분포를 사용하여 $r_i(u) \leq 0$ 일 확률 $p_i(u)$ 를 계산한다. 그 후 이 분포의 이진 엔트로피 $h_i(u)$ 를 계산한다.
선택: 새로운 평가 지점은 각 태스크 $i$ 에 대해 엔트로피 $h_i(u)$ 를 최대화하는 방향으로 선택된다. 이는 대리 모델이 잔차의 부호에 대해 가장 불확실한 영역(즉, 제로-윤곽 근처)을 타겟팅하여 탐색(exploration)과 활용(exploitation)의 균형을 맞춘다.

5. 고정점 복구

대리 모델이 훈련되면, 새로운 설계 지점 $x_0$ 에 대한 평형 상태는 다음의 비선형 최소제곱 최적화 문제를 풀어 복구한다:
$\hat{y}^* \in \arg \min_y \frac{1}{2} \| \hat{\mu}_D(x_0, y) \|_2^2$
여기서 $\hat{\mu}_D$ 는 MTGP의 사후 평균이다. 이는 값비싼 학제 코드를 재평가하지 않고도 예측된 제로-레벨 세트(zero-level sets)의 교점을 찾아낸다.

주요 기여

본 논문은 다섯 가지 구체적인 기여를 명시한다:

정식화: MDA를 잔차 평형 다양체 상의 대리 모델링 문제로 재구성하여, 새로운 설계 지점에서 학제 재훈련이나 재평가 없이 고정점 예측을 가능하게 한다.
데이터 구축: 결합된 평가로부터 잔차 훈련 데이터를 구성하는 방법을 제시하여, 데이터 생성 중 FPI를 피하면서도 시스템 일관성 방정식을 보존한다.
이론적 경계: 잔차가 평형으로부터 멀어질 때 선형적으로 증가한다는 완만한 가정하에, 대리 모델 기반 예측의 오차가 잔차 대리 모델 오차와 루트 컨디셔닝(root conditioning)에 의해 제한됨을 보여주는 증명을 제공한다.
능동 학습 전략: MTGP에 의해 학습된 잔차 간 상관관계를 활용하여 불확실한 제로-잔차 윤곽을 타겟팅하는 엔트로피 기반 획득 함수를 개발하였다.
실증적 검증: 위성, 에어로스트럭처, 순방향 터빈, 피드백 결합 터빈 등 4가지 벤치마크를 통해 반복 평가에서의 비용 효율성을 입증하였다.

실험 결과

이 방법은 네 가지 결합 시스템 벤치마크에서 평가되었다:

위성 모델 (Satellite Model): 2변수 피드백 시스템. REMAL은 총 300회의 잔차 평가 후 평균 고정점 오차를 $\sim 10^{-4}$ 로 줄였으며, 이는 무작위 획득 방식보다 우수한 성능을 보였다.
에어로스트럭처 모델 (Aerostructural Model): 양력과 피치 각도를 포함하는 2변수 피드백 시스템. REMAL은 200회의 평가로 유사한 정확도( $\sim 10^{-4}$ )를 달ian했다. 특히, OpenMDAO의 FPI가 거의 평행한 잔차 윤곽으로 인해 어려움을 겪는 구간에서도 대리 모델은 정확도를 유지했다.
순방향 터빈 (Feed-Forward Turbine): 피드백 루프가 없는 4변수 11차원 설계 시스템. REMAL은 수정 없이 일관된 상태를 성공적으로 복구하였으며, $\sim 10^{-3}$ 의 오차를 달성했다.
수정된 터빈 (피드백 포함): 순방향 모델에 피드백 결합을 추가하였다. REMAL은 증가된 비선형성을 처리하며 $\sim 10^{-3}$ 의 오차를 달성하였고, 약 10개의 테스트 지점 이후부터 OpenMDAO보다 더 높은 평가 효율성을 보였다.

비교: 모든 사례에서 엔트로피 기반 획득 방식이 무작위 획득 방식보다 일관되게 우수한 성능을 보였다. OpenMDAO FPI가 개별 분석을 기계 정밀도 근처까지 수렴시키는 반면, REMAL은 뛰어난 **분할 상환 효율성(amortized efficiency)**을 입증했다. 즉, 일단 훈련되면 대리 모델은 추가적인 학제 평가 없이도 많은 새로운 설계 변수에 대해 고정점을 예측할 수 있다.

의의 및 주장

본 논문은 많은 결합 시스템 분석이 요구되는 경우(예: MDO, 불확실성 전파, 또는 디지털 트윈 업데이트) REMAL이 고정점 반복의 유용한 대안이 될 수 있다고 주장한다.

통합적 처리: 이 방법은 피드백 결합 및 순방향 시스템 모두를 잔차 방정식으로 표현할 수 있으므로, 두 체계를 모두 아우르는 통합된 프레임워크를 제공한다.
비용 트레이드오프: 저자들은 "주요 비용은 훈련 단계에서 선불로 지불된다"는 점을 인정하며, 대리 모델이 단일 분석에 대한 단일 FPI 솔루션의 정밀도에는 미치지 못할 수 있음을 명시했다. 그러나 다운스트림 분석의 수가 충분히 많다면 훈련 노력을 상쇄할 만큼의 가치가 있다.
확장성: 현재 구현은 정확한 GP 추론을 사용하지만, 향후 더 큰 시스템을 위해 데이터 크기에 따른 정확한 추론의 낮은 확장성을 극복할 수 있는 확장 가능한 GP 근사 또는 로컬 대리 모델이 필요할 수 있음을 언급하였다.

REMAL의 코드는 공개되어 있어 추가적인 연구를 용이하게 한다.

REMAL: Residual Equilibrium Manifold Active Learning for Surrogate-Based Multidisciplinary Design Analysis