기술 요약: 매니폴드 가우시안 프로세스 회귀를 위한 능동 학습

문제 제기

표준 가우시안 프로세스 회귀 (GPR) 는 회귀 및 불확실성 정량화를 위한 강력한 비모수적 프레임워크입니다. 그러나 입력 차원이 증가함에 따라 '차원의 저주'에 직면합니다. 고차원 공간에서는 데이터가 희소해지고 계산 확장성이 악화되며, 표준 공분사 함수 (예: 제곱 지수 함수) 가 근본적인 데이터 구조를 포착하는 능력이 감소합니다. 이는 복잡하고 불연속적인 함수를 모델링하거나 내재적 저차원 기하학적 구조를 가진 데이터를 다룰 때 특히 문제가 됩니다.

고차원 데이터를 내재적 기하학을 보존하는 저차원 잠재 공간으로 투영함으로써 해결책으로 등장한 매니폴드 가우시안 프로세스 (mGP) 들은 있지만, 이러한 모델의 성능은 훈련 데이터의 품질과 대표성에 크게 의존합니다. 많은 과학 및 공학 응용 분야에서 레이블이 지정된 데이터를 획득하는 것은 비용이 많이 들거나 시간이 많이 소요됩니다. 기존 GPR 을 위한 능동 학습 전략들은 종종 잠재 공간 기하학과 고차원 입력이 역동적으로 상호작용하는 mGP 의 특정 과제에 맞춰지지 않았습니다. 따라서 전역 예측 오차를 최소화하면서 mGP 모델을 정제하기 위해 데이터 포인트를 효율적으로 선택하는 프레임워크가 필요합니다.

방법론

본 논문은 매니폴드 학습과 순차적 실험 설계를 통합한 능동 학습 매니폴드 가우시안 프로세스 (ALmGP) 라는 통합 프레임워크를 제안합니다. 방법론은 세 가지 핵심 구성 요소로 이루어집니다:

1. 매니폴드 가우시안 프로세스 (mGP) 모델

mGP 프레임워크는 회귀 작업 $F = G \circ M$을 분해합니다. 여기서:

• $M$ (매핑): 입력 공간 $\mathcal{X}$에서 잠재 특징 공간 $\mathcal{H} \subset \mathbb{R}^Q$로의 결정론적 매핑입니다. 이는 매개변수 $\theta_M$을 가진 다층 신경망을 사용하여 구현됩니다.
• $G$ (회귀기): 매개변수 $\theta_G$를 가지며 잠재 공간 $\mathcal{H}$ 내에서 작동하는 표준 GPR 모델입니다.

모델은 음의 로그 주변 가능도 (NLML) 를 최소화함으로써 $\theta_{mGP} = [\theta_M, \theta_G]$를 공동 최적화합니다. 이 지도 학습 접근 방식은 모델이 PCA 와 같은 비지도 변환이나 표준 커널보다 불연속성과 다중 스케일 패턴을 더 효과적으로 처리할 수 있는 작업 인식 특징 표현을 학습하도록 합니다.

2. 능동 학습 기준 (ALC)

가장 정보량이 많은 데이터 포인트를 선택하기 위해, 프레임워크는 입력 공간 전체에 걸친 통합 평균 제곱 오차 (IMSE) 를 최소화하는 것을 목표로 하는 능동 학습 코hn (ALC) 기준을 사용합니다.

• 목적: 사후 분산의 기대 감소량을 최대화하는 새로운 점 $x_{n+1}$을 선택합니다.
• 획득 함수: ALC 점수는 예측 분산 감소의 적분에 비례합니다.
• 근사화: 계산 실용성을 보장하기 위해, 적분은 라틴 초입방체 설계 (LHD) 를 통해 샘플링된 고정 참조 집합 $X_{ref}$를 사용하여 근사화됩니다.
• 선택 전략: 알고리즘은 두 단계 스크리닝 프로세스를 사용합니다:
  1. 사전 스크리닝: 후보 풀에서 예측 분산이 가장 높은 상위 $K$개의 후보를 식별합니다.
  2. 최적화: 이 $K$개의 점에 대해서만 ALC 점수를 계산하고 훈련 세트에 추가할 상위 $B$개의 점 (배치 크기) 을 선택합니다.

3. 최적화 및 훈련

프레임워크는 하이퍼파라미터 최적화를 위해 L-BFGS 알고리즘을 사용합니다. 안정성과 양수성을 보장하기 위해 길이 척도 및 출력 분산과 같은 하이퍼파라미터는 최적화 전에 제곱됩니다. 과정은 mGP 피팅, ALC 를 통한 새로운 점 선택, 그리고 수렴 임계값 또는 최대 예산에 도달할 때까지 재훈련을 반복합니다.

주요 기여

논문은 세 가지 주요 기여를 제시합니다:

1. 통합 프레임워크: 효율적인 데이터 획득과 차원 축소 간의 간극을 메우기 위해 mGP 에 특화되어 매니폴드 학습과 IMSE 기반 능동 학습을 통합합니다.
2. 전략적 효율성: 복잡한 기하학적 구조를 포착하는 mGP 의 능력을 활용하여 잠재 공간에서 전략적인 점 선택을 통해 효율성을 향상시킵니다.
3. 확장성: 고차원에서의 표준 GP 의 한계를 해결하기 위해 내재적 저차원 매니폴드에서 작동하는 고차원 데이터를 위한 확장 가능한 접근 방식을 제공합니다.

실험 결과

저자들은 ALmGP 프레임워크를 네 가지 벤치마크 실험을 통해 검증했으며, 무작위 순차 학습 (Random LHS) 과 비교했습니다. 각 실험은 통계적 견고성을 보장하기 위해 10 회 반복되었습니다.

• 조각별 삼각 함수 (1 차원): 불연속점을 가진 함수입니다. ALmGP 방법은 15 개의 새로운 샘플로 평균 RMSE 0.156을 달성하여 무작위 샘플링을 크게 능가했습니다. 학습된 2 차원 잠재 공간은 불연속 구조를 성공적으로 풀었습니다.
• 2 차원 결정론적 함수: 가우시안 성분을 가진 회전된 함수입니다. 이 방법은 50 회 반복 (총 100 개 샘플) 후 평균 RMSE 0.0152에 도달하여 기준선보다 우수한 수렴성을 보여주었습니다.
• 단위 구면 위의 3 차원 함수: 구면 매니폴드 위에 정의된 함수입니다. 프레임워크는 100 개의 샘플로 평균 RMSE $6 \times 10^{-3}$의 낮은 수치를 달성하여 구면 기하학을 효과적으로 모델링했습니다.
• 보어홀 함수 (8 차원): 여덟 가지 물리적 매개변수를 가진 표준 비선형 회귀 벤치마크입니다. ALmGP 방법은 150 개의 샘플로 평균 RMSE 0.6을 달성하여 고차원 물리 시뮬레이션에서 견고성을 보여주었습니다.

모든 경우에서 ALmGP 방법 (그림의 녹색 실선) 은 무작위 획득 (적색 점선) 보다 일관되게 낮은 평균 제곱근 오차 (RMSE) 와 더 빠른 수렴을 보여주었습니다.

중요성 및 주장

본 논문은 제안된 프레임워크가 데이터 획득 비용이 많이 들고 함수가 복잡하거나 불연속적인 과학 및 공학 응용 분야에 대한 실용적인 해결책을 제공한다고 주장합니다. 능동 학습 기준 하에서 차원 축소와 회귀기를 공동 최적화함으로써 이 방법은 다음과 같은 장점을 가집니다:

• 정확도 향상: 고차원 공간에서 수동 샘플링 및 표준 능동 학습 방법보다 우수한 예측 성능을 달성합니다.
• 복잡성 처리: 표준 GP 가 어려움을 겪는 불연속 함수와 복잡한 기하학적 구조를 효과적으로 관리합니다.
• 실용성 유지: 공동 최적화의 복잡성에도 불구하고 효율적인 스크리닝 전략과 하이퍼파라미터 최적화를 통해 계산적으로 실행 가능합니다.

저자들은 현재 프레임워크가 결정론적 매니폴드 매핑을 가정하지만, 향후 연구는 확장성, 불확실성 인식 매니폴드 학습 (예: 베이지안 신경망을 통한), 그리고 도메인 특정 제약을 통한 학습된 매니폴드의 해석 가능성 향상에 초점을 맞출 것이라고 언급했습니다.