🤖 machine learning

Support-Proximity Augmented Diffusion Estimation for Offline Black-Box Optimization

본 논문은 분포 외 문제를 효과적으로 해결하고 최첨단 성능을 달성하기 위해 보정된 추정과 지지-근접 정규화가 강화된 확산 기반 순방향 대리 모델을 활용하는 오프라인 블랙박스 최적화를 위한 새로운 프레임워크인 SPADE 를 소개합니다.

원저자: Yonghan Yang, Ye Yuan, Zipeng Sun, Linfeng Du, Bowei He, Haolun Wu, Can Chen, Xue Liu

게시일 2026-05-13

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yonghan Yang, Ye Yuan, Zipeng Sun, Linfeng Du, Bowei He, Haolun Wu, Can Chen, Xue Liu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

세상에서 가장 효율적인 다리를 설계하려는 건축가가 되어 상상해 보세요. 이미 건설된 다리들의 설계도가 가득 차 있고, 각 다리의 성능을 평가한 점수표가 있는 거대하고 먼지 쌓인 도서관을 가지고 있습니다. 하지만 새로운 다리를 직접 건설하여 테스트할 수는 없습니다. 오직 과거의 설계도들로부터만 배울 수 있을 뿐입니다. 이것이 **오프라인 블랙박스 최적화 (Offline Black-Box Optimization)**의 과제입니다. 즉, 과거 시도들의 정적 기록만을 사용하여 최상의 새로운 설계를 찾는 것입니다.

이 논문은 이를 해결하기 위해 SPADE(Support-Proximity Augmented Diffusion Estimation, 지지근접성 증강 확산 추정)라는 새로운 방법을 소개합니다. 간단한 비유를 통해 그 작동 원리를 설명하겠습니다.

문제: "환각"을 일으키는 건축가

오래된 설계도들을 학습하여 새로운 것을 설계하려 할 때, 당신은 두 가지 주요 함정에 빠집니다:

"맞추기 게임" 함정: "완벽한 점수"에서 역으로 설계를 추론하려 하면, 종이상으로는 훌륭해 보이지만 물리적으로 불가능한 설계도 (예: 유리로 만든 다리) 를 발명할 수 있습니다. 이를 "잘못 설정된 (ill-posed)" 문제라고 합니다.
"과신" 함정: 기존 설계도를 바탕으로 새로운 설계의 점수를 예측하려 할 때, 컴퓨터가 과도하게 자신감을 가질 수 있습니다. 도서관의 다리들과 전혀 닮지 않은 기이하고 터무니없는 설계를 보면서도 "이건 10 점 만점에 10 점이야!"라고 말할 수 있습니다. 왜냐하면 그런 것을 본 적이 없기 때문입니다. 실제로는 그 설계가 무너질 가능성이 높습니다. 이것이 "분포 외 (Out-of-Distribution)" 문제입니다.

해결책: SPADE

SPADE 는 컴퓨터에게 똑똑하고 신중하며 정확한 "점수 예측자"가 되도록 가르치는 새로운 방식입니다. 단순히 하나의 숫자를 추측하는 대신, **확산 모델 (Diffusion Model)**을 사용합니다.

확산 모델을 소음 덩어리로 시작해 천천히 먼지를 깎아내어 형태를 드러내는 조각가라고 생각해보세요. 이 경우, 컴퓨터는 점수에 대한 무작위 추측으로 시작해 당신이 제시한 설계와 일치할 때까지 점수를 서서히 정제합니다.

SPADE 는 이 조각가를 최적화에 완벽하게 적합하도록 만들기 위해 두 가지 특별한 "규칙"을 추가합니다:

1. "현실 확인" 규칙 (Calibrated Diffusion Estimation)

선생님이 학생의 시험을 채점한다고 상상해 보세요. 일반적인 컴퓨터는 단순히 "이 설계는 90 점이다"라고 말할 수 있습니다. 하지만 그 90 점이 정확한 것일까요? 다른 설계들과 일관성이 있을까요?
SPADE 는 보정 (Calibration) 단계를 추가합니다. 이는 컴퓨터에게 다음을 강요합니다:

평균을 정확히 맞추기: 컴퓨터가 어떤 설계를 좋다고 말한다면, 그것은 운이 좋아서가 아니라 실제로 평균적으로 좋은 것이어야 합니다.
순위를 정확히 맞추기: 옛 설계도에서 설계 A 가 설계 B 보다 좋았다면, 컴퓨터는 새로운 설계에서도 A 가 B 보다 좋다고 예측해야 합니다.
비유: 이는 선생님이 무작위로 점수를 주는 것이 아니라, 실제로 'A' 등급 논문과 'C' 등급 논문의 차이를 이해하도록 보장하는 것과 같습니다.

2. "도서관에 머무르기" 규칙 (Support-Proximity Regularization)

이 부분이 가장 중요합니다. 컴퓨터는 알려진 설계도에서 너무 멀리 벗어나고 있는지 알아야 합니다.

개념: 이 논문은 **k-최근접 이웃 (k-Nearest Neighbors, kNN)**이라는 기법을 사용합니다. 좋은 설계들의 도서관이라는 붐비는 방에 서 있다고 상상해 보세요. 주변에 사람들이 많다면 당신은 안전합니다. 하지만 빈 들판에 혼자 서 있다면 위험합니다.
메커니즘: 컴퓨터가 알려진 설계도들과 멀리 떨어진 설계를 평가하려 하면 (빈 들판에 서 있는 경우), SPADE 는 자동으로 "중지! 이건 위험하다"라고 말합니다.
페널티: 이는 예측된 점수를 낮추고 "불확실성"을 높여 컴퓨터를 처벌합니다 (컴퓨터가 "이건 확실하지 않아, 끔찍할지도 몰라"라고 말하게 함).
비유: 이는 절벽으로 걸어가는 것을 막는 안전 요원과 같습니다. 경치가 아무리 훌륭해도, 요원은 "당신은 길에서 너무 멀어졌어. 거기로 가지 마라"라고 말합니다.

최상의 설계를 찾는 방법

컴퓨터가 이 두 가지 규칙으로 훈련되면, 단순히 하나의 설계를 추측하지 않습니다. 대신 가장 높은 "하한 신뢰구간 (Lower Confidence Bound)"을 가진 설계를 찾기 위해 (유전 알고리즘과 같은) 탐색을 수행합니다.

이는 가장 안전한 높은 점수를 찾는 것과 같습니다. 컴퓨터는 다음을 만족하는 설계를 찾습니다:

예측된 점수가 높음 (높은 보상).
알려진 설계도와 가까움 (낮은 위험).

높은 점수를 보이지만 도서관에서 멀리 떨어진 설계들은 무시합니다. 왜냐하면 그런 것들은 현실 세계에서 실패할 가능성이 높은 "환각"일 수 있기 때문입니다.

결과

저자들은 SPADE 를 다음을 포함한 여섯 가지 실제 세계 문제에 대해 테스트했습니다:

로봇의 몸을 더 잘 설계하여 걷거나 기어가는 능력을 향상시킴.
전기 저항이 제로인 전기를 전도하는 초전도체 설계.
대규모 언어 모델 (LLM) 학습을 위한 데이터 혼합 방식 최적화.

모든 경우에서 SPADE 는 이전의 최선 방법들을 능가했습니다. 원래 도서관에 있던 어떤 것보다 높은 점수를 받은 설계를 찾았지만, 다른 방법들과 달리 "가짜" 높은 점수에 속지 않았습니다. 그것은 진정한 "승자"들을 찾아냈습니다.

요약

SPADE는 오직 오래된 데이터만을 사용하여 최상의 새로운 설계를 찾는 데 도움을 주는 똑똑한 도구입니다. 이는 예측을 정확하게 하라는 것과 알고 있는 것에서 너무 멀리 벗어나지 말라는 두 가지를 가르치는 "조각가"(확산 모델) 를 사용함으로써 이를 달성합니다. 이를 통해 제안되는 새로운 설계들은 단순히 수학적으로 영리한 것이 아니라, 실제로 신뢰할 수 있고 안전하도록 보장됩니다.

기술 요약: 오프라인 블랙박스 최적화를 위한 지지 근접성 증강 확산 추정 (SPADE)

문제 제기
오프라인 블랙박스 최적화 (BBO) 는 검증용 실제 오라클에 접근할 수 없는 상태에서 과거 평가 데이터의 정적 데이터셋만을 사용하여 높은 속성 점수를 가진 새로운 설계를 발견하는 것을 목표로 한다. 이러한 설정은 단백질 설계, DNA 서열 최적화, 하드웨어 가속기 튜닝과 같이 온라인 데이터 수집이 과도하게 비용이 많이 들거나 위험한 분야에서 널리 나타난다. 오프라인 BBO 의 핵심 과제는 데이터 분포 밖 (OOD) 외삽 문제이다: 최적화 알고리즘은 대리 모델의 인식론적 오류를 악용하여 성능이 과대평가되는 적대적 영역으로 기울어지는 경향이 있다.

기존 접근법은 일반적으로 다음과 같은 고유한 한계를 가진 두 가지 패러다임으로 분류된다:

역방향 방법 (Inverse Methods): 높은 목표 점수를 위한 후보를 생성하기 위해 조건부 설계 분포 $p(x|y)$ 를 모델링한다. 그러나 역방향 매핑을 학습하는 것은 종종 ill-posed 한 일대다 문제이므로, 학습의 어려움과 모드 붕괴를 초래한다.
순방향 방법 (Forward Methods): 탐색을 안내하기 위해 대리 모델 $y \approx f_\theta(x)$ 를 학습한다. 표준 회귀 모델 (예: 결정론적 신경망) 은 종종 OOD 위험을 감지하는 데 필요한 복잡한 분포 불확실성을 포착하지 못한다. 앙상블 또는 베이지안 방법이 존재하지만, 계산 집약적이며 확장하기 어렵다. furthermore, 단순히 회귀 모델을 확산 모델로 대체하는 것만으로는 부족하다. 왜냐하면 표준 확산 학습은 훈련 분포를 포착하는 데 중점을 두지만, 효과적인 최적화에 필요한 보정된 기대값이나 전역 순위 정확성을 보장하지 않기 때문이다.

방법론: SPADE
저자들은 **SPADE(Support-Proximity Augmented Diffusion Estimation, 지지 근접성 증강 확산 추정)**를 제안한다. 이는 조건부 생성 모델링을 통해 순방향 대리 모델링을 재해석하는 통합 프레임워크이다. SPADE 는 확산 모델을 사용하여 순방향 가능도 $p(y|x)$ 를 모델링하며, 최적화의 특정 요구 사항을 해결하기 위해 두 가지 시너지 모듈로 강화된다:

보정된 확산 추정 (Calibrated Diffusion Estimation):
확산 모델이 신뢰할 수 있는 대리 모델로 기능하도록 하기 위해, 이 모듈은 통계적 모멘트와 쌍별 순위에서 전역 일관성을 강제한다. 여기에는 다음을 포함하는 보정 손실이 도입된다:
- 1 차 모멘트 매칭: 예측 평균을 실제 값에 고정한다.
- 순위 일관성: 설계의 잘못된 쌍별 순서를 패널티로 부과함으로써 대리 모델의 위상이 실제 목적 함수 지형과 정렬되도록 강제한다.
  이는 표준 노이즈 예측 목표와 최적화에 필요한 전역 통계 간의 격차를 해소한다.
지지 근접성 정규화 (Support-Proximity Regularization):
OOD 문제를 해결하기 위해, SPADE 는 별도의 생성 모델을 학습하지 않고 데이터 매니폴드 제약 $p(x)$ 를 가능도 모델 내부에 직접 내재화한다. 이를 위해 비모수적 k-최근접 이웃 (kNN) 밀도 추정기를 사용하여 데이터 지지를 측정한다.
- 메커니즘: 데이터 매니폴드에서 멀리 떨어진 설계 (낮은 밀도) 의 경우, 정규화는 평균 축소(더 낮은 점수 예측) 와 분산 팽창(불확실성 증가) 을 유도하여 대리 모델을 명시적으로 패널티화한다.
- 이론적 동등성: 저자들은 이 기하학적 정규화가 베이지안 사후확률 $p(x|y) \propto p(y|x)p(x)$ 를 최대화하는 것과 1 차적으로 동등함을 증명한다. 구체적으로, 지지 인식 획득 함수를 최대화하는 것은 효용 (가능도) 과 사전 확률의 결합 목적 함수를 최적화하는 것과 동등함이 입증되었다.

최적화 전략
대리 모델이 학습된 후, 프레임워크는 획득 기반 최적화 전략을 채택한다. 경사 상승을 사용하는 결정론적 방법과 달리, SPADE 는 전역 탐색을 가능하게 하기 위해 확률적 대리 모델을 활용한다. 기대 성능과 인식론적 불확실성 사이의 균형을 맞추는 **하한 신뢰 구간 (LCB)**을 획득 함수로 사용한다. 최적화는 데이터셋에서 높은 점수를 받은 시드 (seed) 로 초기화된 진화 알고리즘 (EA) 을 사용하여 수행된다.

주요 기여

순방향 확산 모델링: 이 논문은 오프라인 BBO 를 위한 복잡한 예측 분포 (이분산성과 다중 모드) 를 포착하는 데 있어 결정론적 회귀보다 우월함을 입증하며, 순방향 대리 모델링 ( $p(y|x)$ ) 에 대한 확산 모델의 잠재력을 탐구한다.
보정된 확산 추정: 모멘트 매칭과 쌍별 순위 정규화를 통합한 모듈을 도입하여, 확산 학습 목적을 최적화 요구 사항에 효과적으로 맞춤화한다.
지지 근접성 정규화: kNN 기반 밀도 추정을 통해 데이터 매니폴드 제약을 강제하는 새로운 메커니즘이며, 이는 효용과 사전 확률의 결합을 최대화하는 것과 동등함을 보여주는 이론적 증명을 제공한다.
최첨단 성능: 다양한 벤치마크에서 SPADE 가 우수한 결과를 달성함을 보여주는 실증적 검증.

실험 결과
저자들은 Design-Bench 스위트의 여섯 가지 작업 (Superconductor, Ant Morphology, D'Kitty Morphology 와 같은 연속 도메인과 TF Bind 8, TF Bind 10 과 같은 이산 도메인 포함) 과 LLM Data Mixture 최적화 벤치마크에서 SPADE 를 평가했다.

성능: SPADE 는 24 개 평가 방법 중 평균 순위 (2.8) 와 중앙값 순위 (1.5) 에서 최고의 성과를 거두며 최첨단 성능을 달성했다. 6 개 작업 중 5 개에서 상위 2 위 이내의 정규화된 최대 점수를 달성했다.
강건성: 연속 작업에서 SPADE 는 CMA-ES 와 같은 방법에서 관찰된 불안정성을 피하면서 낮은 분산으로 뛰어난 외삽 능력을 보여주었다. 이산 작업에서는 모드 붕괴를 자주 겪는 역방향 생성 방법과 표준 앙상블 방법, 특히 복잡한 TF Bind 10 작업에서 이를 능가했다.
절제 연구 (Ablation Studies): 실험은 보정된 확산 추정과 지지 근접성 정규화 모듈 모두 필수적이며 상호 보완적임을 확인했다. 어느 하나를 제거하면 전체 프레임워크에 비해 성능이 저하되었다.

의의 및 주장
이 논문은 SPADE 가 엄격한 지지 근접성 제약과 고점수 영역 탐색 사이의 균형을 효과적으로 맞춤으로써 오프라인 BBO 에서 새로운 최첨단 벤치마크를 확립한다고 주장한다. 기하학적 정규화를 통해 순방향 모델링과 베이지안 추론 원리를 통합함으로써, 이 프레임워크는 높은 성능을 발휘할 뿐만 아니라 물리적으로나 생물학적으로 타당한 설계를 생성하여 "보상 해킹 (reward hacking)"을 완화하고 OOD 영역에서의 신뢰성을 향상시킨다. 저자들은 이 작업을 과학적 발견과 공학 설계를 위한 더 안전하고 강건한 최적화 시스템으로 나아가는 한 걸음으로 위치시킨다.