On the Learnability of Offline Model-Based Optimization: A Ranking Perspective

이 논문은 오프라인 모델 기반 최적화 (MBO) 가 정확한 값 예측이 아닌 고품질 설계를 순위 매기는 문제임을 규명하고, 이를 위한 이론적 틀과 분산 인식 순위 기반 방법을 제안하여 기존 20 개 이상의 방법론보다 우수한 성능을 입증했습니다.

핵심

🍳 비유: "요리 레시피 찾기 대회"

상상해 보세요. 여러분은 새로운 요리를 개발해야 하는 셰프입니다. 하지만 실제 재료를 사서 요리해 볼 돈과 시간이 전혀 없습니다. 오직 과거에 다른 셰프들이 만들어낸 수천 개의 레시피와 그 결과 (맛 점수) 만이 있는 데이터만 있습니다.

이제 여러분은 이 데이터만 보고 "어떤 레시피가 가장 맛있을까?"를 추론해서 새로운 레시피를 만들어야 합니다. 이것이 바로 오프라인 최적화입니다.

1. 기존의 방법: "정확한 점수 맞추기" (Regression)

기존의 대부분의 연구자들은 이렇게 생각했습니다.

"과거 데이터에서 **맛 점수 (예: 85 점, 90 점)**를 얼마나 정확하게 예측하느냐가 중요하다. 점수 예측이 정확하면, 그 점수가 높은 레시피를 찾으면 되겠지!"

그래서 그들은 과거 데이터의 점수를 완벽하게 맞추는 AI 모델을 만들려고 노력했습니다. 하지만 문제는, 과거에 없던 새로운 레시피를 만들 때 AI 가 엉뚱한 점수를 매겨서 실패하는 경우가 많다는 것이었습니다.

2. 이 논문의 통찰: "점수보다 순위가 중요하다" (Ranking)

이 논문의 저자들은 **"아니야, 점수를 정확히 맞추는 건 중요하지 않아. 중요한 건 '누가 더 맛있는지'를 아는 거야!"**라고 말합니다.

• 비유: 여러분이 "이 레시피가 85.3 점, 저 레시피가 85.1 점이다"라고 정확한 점수를 맞추는 것보다, **"이 레시피가 저 레시피보다 맛있다"**는 **순서 (순위)**만 정확히 알면 됩니다.
• 핵심: 우리는 완벽한 점수 예측자가 아니라, **최고의 레시피를 골라내는 '심사위원'**이 되어야 합니다.

3. 왜 실패할까? "데이터의 편향" (Distributional Mismatch)

그런데 왜 순위만 맞추면 되는지 알면서도 실패할까요? 바로 데이터의 편향 때문입니다.

• 상황: 과거 데이터에는 "실패한 레시피"나 "평범한 레시피"는 많지만, **"진짜 천재적인 레시피"**는 거의 없습니다.
• 문제: AI 가 과거 데이터만 보고 학습했기 때문에, "천재적인 레시피"라는 영역은 AI 가 전혀 본 적이 없는 **미지의 세계 (Out-of-Distribution)**입니다.
• 결과: AI 는 "내가 본 적 없는 이 레시피는 아마 평범할 거야"라고 잘못 예측하거나, 반대로 "이건 내가 본 적 없는 신비한 거니까 점수를 무조건 높게 줘야지!"라고 과도하게 낙관적인 (Over-optimistic) 실수를 저지릅니다.

4. 이 논문의 해결책: "DAR (데이터 인식 순위 학습)"

저자들은 이 문제를 해결하기 위해 DAR이라는 새로운 방법을 제안했습니다.

• 방법: AI 를 훈련시킬 때, 평범한 레시피와 실패한 레시피를 섞어서 가르치는 대신, 데이터 중에서 상위 20% 의 '좋은 레시피'들을 특별히 강조해서 가르칩니다.
• 효과: AI 가 "천재적인 레시피"가 있을 법한 영역을 더 잘 이해하도록, 학습 데이터의 구성을 바꿔주는 것입니다. 마치 요리 대회에서 "평범한 요리만 보여주고 심사위원을 훈련시키는 게 아니라, '최고의 요리'들을 집중적으로 보여주며 훈련시키는" 것과 같습니다.

---

📊 실험 결과: "왜 이 방법이 더 좋은가?"

저자들은 다양한 시뮬레이션 (로봇 다리 설계, 신소재 개발, 단백질 설계 등) 에서 이 방법을 테스트했습니다.

1. 순위 학습이 승리: 점수를 정확히 맞추는 방법 (회귀) 보다, 누가 더 좋은지 순위를 매기는 방법이 훨씬 더 좋은 결과를 냈습니다.
2. 데이터 거리 문제: 만약 "최고의 레시피"가 과거 데이터와 너무 멀다면 (기하학적으로 멀리 떨어져 있다면), 어떤 AI 도 그걸 찾아내기 어렵다는 본질적인 한계를 발견했습니다. 하지만 DAR 는 이 거리를 최대한 줄여주어 성능을 극대화했습니다.
3. 성적표: 기존에 있던 20 가지 방법보다 DAR 가 1 위를 차지하며 가장 좋은 성과를 보였습니다.

---

💡 한 줄 요약

"과거 데이터를 바탕으로 미래를 예측할 때, '정확한 점수'를 맞추려고 애쓰지 말고, '누가 더 좋은지'를 구분하는 순위를 배우고, 특히 '좋은 것들'에 집중해서 데이터를 재구성하라."

이 논문의 결론은, **완벽한 예측보다는 올바른 판단 (순위)**이 더 중요하며, 데이터의 구성을 잘 바꾸는 것이 문제를 해결하는 열쇠라는 것입니다.

기술 요약

1. 문제 정의 (Problem)

**오프라인 모델 기반 최적화 (Offline Model-Based Optimization, MBO)**는 과거의 평가 데이터셋만 사용하여 블랙박스 목적 함수를 최대화하는 입력 설계를 찾는 문제입니다. 단백질 공학, 신약 개발, 재료 발견 등 실험 비용이 매우 높거나 데이터 수집이 제한적인 분야에서 중요합니다.

기존의 대부분의 오프라인 MBO 방법론은 회귀 (Regression) 기반의 대리 모델 (Surrogate Model) 학습에 의존합니다. 즉, 주어진 데이터에서 목적 함수 값을 정확히 예측하기 위해 평균 제곱 오차 (MSE) 를 최소화하는 모델을 학습한 후, 이 모델을 최적화하여 좋은 설계를 찾습니다.

핵심 문제:
기존 접근법은 "높은 예측 정확도 (낮은 MSE) 가 곧 좋은 최적화 성능으로 이어진다"는 가정을 내포하고 있습니다. 그러나 저자들은 이 가정이 근본적으로 잘못되었음을 지적합니다. 오프라인 MBO 의 궁극적인 목표는 모든 설계에 대한 정확한 값 예측이 아니라, 최적에 가까운 설계 (Near-optimal designs) 와 비최적 설계 (Suboptimal designs) 를 올바르게 순위 매기는 것입니다. 또한, 훈련 데이터와 최적 설계 영역 사이의 **분포 불일치 (Distributional Mismatch)**가 최적화 실패의 주된 원인임을 지적합니다.

2. 방법론 (Methodology)

저자들은 오프라인 MBO 를 **순위 학습 (Learning to Rank)**의 관점에서 재정의하고, 이를 기반으로 한 이론적 프레임워크와 새로운 알고리즘을 제안합니다.

가. 이론적 프레임워크 (Theoretical Framework)

• 순위 기반 위험 (Optimization-oriented Ranking Risk): 목적 함수 값의 절대적 정확도보다는, 최적에 가까운 설계와 비최적 설계 간의 순위를 올바르게 유지하는 능력을 평가하는 새로운 위험 함수를 정의합니다.
• 일반화 한계 (Generalization Bounds):
  • 순위 vs 회귀: 순위 기반 손실 함수가 MSE 기반 회귀 손실보다 **엄격하게 더 좁은 일반화 한계 (Tighter Generalization Guarantees)**를 가진다는 것을 수학적으로 증명했습니다. 이는 최적화 관점에서는 정확한 값 예측보다 순위 유지가 더 중요함을 의미합니다.
  • 분포 불일치의 영향: 훈련 데이터 분포와 최적 설계 분포 간의 불일치 (Distributional Mismatch) 가 최적화 오차의 주된 원인을 규명했습니다. 이를 Wasserstein 거리 등을 통해 정량화했습니다.
  • 기하학적 분리 (Geometric Separation): 최적 설계가 훈련 데이터의 매니폴드 (Manifold) 에서 얼마나 멀리 떨어져 있는지에 따라 오프라인 최적화의 근본적인 한계가 결정됨을 보였습니다. 데이터와 너무 멀리 떨어진 영역에서는 어떤 오프라인 방법으로도 과잉 추측 (Over-optimistic Extrapolation) 을 피할 수 없습니다.

나. 제안 알고리즘: 분포 인식 순위 학습 (Distribution-Aware Ranking, DAR)

이론적 통찰을 바탕으로, 훈련 데이터의 분포를 최적 설계 영역에 가깝게 재구성하는 DAR 방법을 제안했습니다.

1. 데이터 재구성 (Dataset Construction): 오프라인 데이터셋을 목적 함수 값에 따라 '최적에 가까운 부분집합 ($S_\epsilon$)'과 '비최적 부분집합 ($S_{>\epsilon}$)'으로 나눕니다.
2. 순위 손실 학습 (Ranking Loss Learning):
   • 교차 영역 쌍 (Cross-region pairs): 최적에 가까운 설계 ($S_\epsilon$) 와 비최적 설계 ($S_{>\epsilon}$) 를 짝지어 학습합니다. 이는 이론적으로 필요한 타겟 분포를 모방하여 순위 오차를 직접 최소화합니다.
   • 내부 영역 쌍 (Intra-region pairs): 최적 영역 내의 설계들끼리도 일부 짝을 지어 학습함으로써, 최적 영역 내에서의 일관된 순위를 보장합니다.
3. 최적화 적응 (Optimization Adaptation): 순위 모델은 절대적 값의 스케일이 불확실하므로, 학습 후 예측값을 정규화 (Z-score) 하여 경사 기반 최적화 (Gradient-based Optimization) 시 안정적인 탐색을 가능하게 합니다.

3. 주요 기여 (Key Contributions)

1. 이론적 전환: 오프라인 MBO 를 '값 예측'이 아닌 '순위 학습' 문제로 재정의하고, 순위 기반 접근법이 회귀 기반 접근법보다 이론적으로 더 강력한 일반화 보장을 가진다는 것을 증명했습니다.
2. 오차 원인 규명: 최적화 실패의 주된 원인이 모델의 복잡도나 과적합이 아니라, 훈련 데이터와 최적 설계 간의 분포 불일치임을 밝혔습니다.
3. 근본적 한계 규명: 최적 설계가 훈련 데이터 영역에서 기하학적으로 너무 멀리 떨어져 있을 경우, 오프라인 MBO 는 본질적으로 신뢰할 수 없음을 이론적으로 규명했습니다.
4. 성능 향상 알고리즘: 분포 불일치를 줄이기 위한 DAR 알고리즘을 개발하여, 기존 20 개 이상의 방법론을 압도하는 성능을 입증했습니다.

4. 실험 결과 (Results)

• Branin 함수 분석:
  • 훈련 데이터가 최하위 60% 로 구성된 경우, 기존 MSE 기반 모델은 최적점을 찾지 못하거나 평탄한 지형을 예측했으나, DAR 는 실제 다중 극점 (Multi-modal) 구조를 정확하게 복원하고 외삽 (Extrapolation) 능력을 입증했습니다.
  • 데이터 매니폴드에서의 거리 ($d$) 가 증가할수록 순위 오차가 증가하는 경향을 보이며, 이는 이론적으로 예측된 오프라인 MBO 의 한계를 실험적으로 확인시켜 주었습니다.
• Design-Bench 벤치마크:
  • Ant Morphology, D'Kitty, Superconductor, TF-Bind-8/10 등 5 가지 다양한 연속 및 이산 설계 태스크에서 평가되었습니다.
  • 성능: 제안된 DAR 는 100 번째 백분위수 정규화 점수에서 평균 랭크 1.6을 기록하여, 기존 최강 모델인 RaM (2.6) 과 ROOT (3.0) 를 능가했습니다. 특히 이산 설계 태스크 (TF-Bind) 에서 압도적인 성능을 보였습니다.
  • 비교 대상: PGS, FGM, Match-OPT, GTG 등 20 개 이상의 최신 오프라인 MBO 방법론을 비교했습니다.

5. 의의 및 결론 (Significance)

이 논문은 오프라인 모델 기반 최적화 분야에서 다음과 같은 중요한 통찰을 제공합니다:

• 패러다임 전환: 단순한 회귀 모델링을 넘어, **순위 학습 (Ranking)**이 오프라인 최적화의 핵심 열쇠임을 이론적으로 입증했습니다.
• 실용적 가이드: 데이터의 분포를 최적 설계 영역에 맞게 재구성 (Reshaping) 하는 것이 모델 구조 변경보다 더 효과적임을 보여주었습니다.
• 현실적 한계 인식: 데이터가 충분히 커버하지 않는 영역 (OOD) 에서는 최적화가 본질적으로 불가능할 수 있음을 경고함으로써, 오프라인 최적화의 적용 범위와 한계를 명확히 했습니다.

결론적으로, 이 연구는 오프라인 MBO 의 성공 요인이 "정확한 값 예측"이 아니라 "고품질 설계 간의 올바른 순위 매기기"에 있으며, 이를 위해 **분포 인식 순위 학습 (DAR)**이 가장 효과적인 접근법임을 입증했습니다.