Conservative quantum offline model-based optimization

본 논문은 고정된 사전 데이터만을 사용하여 과도한 낙관적 외삽을 방지하고 고성능 솔루션을 신뢰성 있게 식별하기 위해 양자 극단 학습과 보수적 목적 함수 모델을 결합한 하이브리드 오프라인 모델 기반 최적화 알고리즘인 COM-QEL을 소개한다.

핵심

세계에서 가장 훌륭한 새로운 요리를 만들어보려는 셰프가 되어 상상해 보세요. 당신은 이미 테스트한 20 가지 레시피가 담긴 요리책을 가지고 있으며, 각 레시피의 맛을 정확히 알고 있습니다. 당신의 목표는 요리책에 있는 가장 훌륭한 레시피보다 더 맛있는 새로운 레시피를 발명하는 것입니다.

하지만 함정이 하나 있습니다: 새로운 아이디어를 맛볼 수는 없습니다. 당신은 '맛보기 금지' 구역에 있습니다. 추측을 잘못하면 되돌아가서 수정할 수 없으며, 그저 당신의 추측이 맞기를 바랄 뿐입니다. 이것이 오프라인 모델 기반 최적화 (Offline Model-Based Optimization) 의 도전 과제입니다.

이 논문은 구식 신중함과 미래지향적 양자 컴퓨팅을 결합하여 이 문제를 어떻게 해결하는지 보여줍니다.

문제: "과신"하는 셰프

과거 과학자들은 이 문제를 해결하기 위해 '대리 모델 (surrogate model)'—즉, 맛보기 테스트의 디지털 쌍둥이—을 구축했습니다. 그들은 이 모델을 20 가지 알려진 레시피로 훈련시킨 후, 새로운 레시피가 어떻게 맛볼지 추측하도록 요청했습니다.

문점은 무엇일까요? 이러한 모델들은 종종 과신합니다.

• 비유: 맑은 날만 본 날씨 앱을 상상해 보세요. 만약 당신이 본 적이 없는 폭풍우 지역에서 날씨를 예측하라고 요청하면, 더 잘 알지 못하기 때문에 자신 있게 "맑음!"이라고 예측할 수 있습니다.
• 결과: 최적화 도구는 모델이 맛있다고 말하는 '새로운 레시피'를 선택하지만, 실제로는 끔찍합니다. 이를 '모델 악용 (model exploitation)'이라고 합니다. 즉, 시스템이 나쁜 아이디어를 훌륭한 것으로 착각하도록 속이는 것입니다.

해결책: "신중한" 양자 셰프

저자들은 COM-QEL이라는 새로운 방법을 제안합니다. 이는 두 가지 아이디어를 결합한 것입니다:

1. 양자 극단 학습 (Quantum Extremal Learning, QEL): 이는 셰프의 두뇌 역할을 하는 양자 컴퓨터(구체적으로 '매개변수 양자 회로') 를 사용합니다. 양자 컴퓨터는 표준 컴퓨터보다 훨씬 빠르고 창의적으로 복잡한 맛의 조합을 탐색할 수 있는 초강력 계산기처럼 작동합니다. 그들은 '맛의 정점'을 찾는 데 탁월합니다.
2. 신중한 목적 함수 모델 (Conservative Objective Models, COM): 이는 '신중함' 부분입니다. 양자 두뇌에 안전 브레이크를 추가하는 것과 같습니다.

"안전 브레이크"의 작동 방식:
저자들은 양자 모델에 새로운 규칙을 가르칩니다: "본 적이 없는 레시피에 대해 추측할 때는 비관적으로 생각하라."

• 훈련 트릭: 훈련 동안 컴퓨터는 요리책에 있는 레시피와 매우 다른 '가짜' 또는 '적대적' 레시피를 의도적으로 생성합니다.
• 페널티: 모델이 이러한 기이하고 가짜인 레시피가 맛있다고 예측하면 처벌을 받습니다. 이는 모델이 너무 기이하거나 낯선 것에 대해 기대치를 낮추도록 학습시킵니다.
• 결과: 모델은 검증되지 않은 야릇한 아이디어에 흥분하는 것을 멈춥니다. 대신, 이미 알고 있는 것을 바탕으로 가능성이 높은 새로운 레시피에 집중합니다. 이는 약간의 '야릇한 참신함'을 희생하여 훨씬 더 높은 '신뢰성'을 얻는 것입니다.

"비밀 재료": 주방 배치 파악하기

이 논문은 소금이 산에 영향을 주지만 설탕에는 영향을 주지 않는 것처럼, 재료가 특정 방식으로 상호작용하는 복잡한 문제를 처리하는 기발한 방법도 소개합니다.

• 비유: 주방에 두 개의 분리된 섬이 있다고 상상해 보세요. 한 섬은 베이킹 (밀가루, 달걀, 설탕) 을 위한 것이고, 다른 섬은 그릴링 (고기, 향신료, 불) 을 위한 것입니다. 당신은 밀가루를 불과 섞지 않을 것입니다.
• 혁신: 저자들은 양자 그래프 신경망 (Quantum Graph Neural Network, QGNN) 을 사용합니다. 이는 양자 컴퓨터가 이러한 '섬'을 존중하도록 배선하는 방법입니다. 베이킹 재료를 나타내는 양자 비트 (큐비트) 들끼리만, 그리고 그릴링 비트들끼리만 서로 대화할 수 있도록 합니다.
• 결과: 문제의 자연스러운 구조를 존중함으로써, 양자 셰프는 모든 것을 거대한 블렌더에 던져 넣는 것보다 훨씬 더 나은 해결책을 찾습니다.

그들이 발견한 것

연구자들은 두 가지 유형의 도전 과제를 가진 컴퓨터 시뮬레이션 (합성 벤치마크) 에서 이를 테스트했습니다:

1. 부드러운 함수 (쉬운 지형): 부드러운 언덕과 같습니다. 새로운 방법 (COM-QEL) 은 이전 양자 방법 (QEL) 보다 더 나은 해결책을 찾았으며, 최상의 고전적 방법만큼 좋았지만 끔찍한 해결책을 선택할 위험은 훨씬 적었습니다.
2. 거친 함수 (어려운 지형): 많은 봉우리들과 깊은 계곡이 있는 산맥과 같습니다. 여기서 이전 양자 방법은 너무 흥분하여 깊은 계곡 (나쁜 해결책) 에 빠지는 경우가 많았습니다. 새로운 방법은 안전하고 높은 지대에 머무르며 해결책을 찾았습니다. 이는 약간 덜 '참신한'(원래 데이터에서 덜 먼) 해결책이었지만 훨씬 더 유용한(실제로 맛이 좋은) 해결책이었습니다.

결론

이 논문은 양자 컴퓨팅(힘을 위해) 과 신중한 정규화(신중함을 위해) 를 결합함으로써, 실제 세계에서 테스트할 수 없는 새로운 것을 설계할 때 더 안전하고 신뢰할 수 있는 하이브리드 알고리즘을 만들었다고 주장합니다.

이는 양자 슈퍼컴퓨터에 '안전벨트'와 '주방 지도'를 제공하여, 실수로 톱밥 한 그릇을 서빙하지 않고 최고의 새로운 레시피를 찾도록 보장하는 것과 같습니다.

기술 요약

기술 요약: 보수적 양성 오프라인 모델 기반 최적화

문제 정의
오프라인 모델 기반 최적화 (MBO) 는 새로운 실험을 수행할 수 없는 상태에서 오직 이전 평가의 고정된 정적 데이터셋만을 사용하여 블랙박스 목적 함수를 최대화하는 구성을 식별하는 것을 목표로 합니다. 이 설정은 온라인 쿼리가 과도하게 비용이 들거나 불가능한 분자 설계 및 항공기 공학과 같은 고위험 분야에서 중요합니다. 오프라인 MBO 의 주요 과제는 외삽 불확실성입니다. 학습된 대리 모델은 미탐색 영역 (데이터 분포 밖 입력) 에서 목적 함수 값을 잘못 예측할 수 있으며, 이는 "모델 악용" 또는 "목적 함수 값 해킹"으로 알려진 현상입니다. 이로 인해 모델 하에서는 최적처럼 보이지만 실제로는 성능이 낮은 솔루션이 선택됩니다. 양자 극단 학습 (QEL) 은 이러한 작업을 위해 변분 양자 회로의 표현력을 활용하기 위해 제안되었으나, 원래의 QEL 방법은 미관측 입력에서의 과대평가를 방지하기 위한 구체적인 메커니즘이 부족합니다.

방법론: COM-QEL
저자들은 QEL 을 보수적 목적 함수 모델 (COM) 과 통합하는 하이브리드 알고리즘인 **보수적 양성 오프라인 모델 기반 최적화 (COM-QEL)**를 제안합니다. 이 방법론은 세 가지 핵심 구성 요소로 이루어져 있습니다:

1. 양자 대리 모델링: 알고리즘은 대리 함수 $f_\theta(x)$로 매개변수화 된 양자 회로 (PQC) 를 사용합니다. 이 회로는 매개변수화 된 유니타리 행렬 $W^l(\theta)$와 데이터 인코딩 유니타리 $S^l(x)$의 레이어로 구성됩니다. 출력은 관측 가능 행렬 $M$의 기댓값입니다.
2. 적대적 정규화: 과도한 낙관주의를 해결하기 위해, 훈련 목적 함수는 보수적 패널티를 포함하도록 수정됩니다. 알고리즘은 현재 대리 모델을 사용하여 훈련 데이터 포인트에 경사 상승을 몇 단계 적용하여 "적대적 데이터셋" $D_{\theta, T_p}$를 생성합니다. 훈련 과정은 원래 데이터에서의 평균 제곱 오차를 최소화하면서, 적대적 입력에 대한 평균 예측값이 원래 데이터에 대한 평균값을 임계값 $\tau$ 이상 초과하지 않도록 제약합니다.
   • 형식적으로, 이는 쌍대 변수 $\alpha$를 사용하여 쌍대 최적화 문제로 변환된 제약 최적화 문제로 풀립니다.
   • 최적화는 기울기 추정을 위한 파라미터 시프트 규칙과 쌍대 경사 하강 - 상승 알고리즘을 활용합니다.
3. 구조적 안사 (QGNN): 변수 부분집합 간의 기능적 독립성과 같은 알려진 구조적 특성을 가진 문제의 경우, 저자들은 기능적 그래픽 모델 (FGM) 을 통합합니다. 그들은 두 큐비트 얽힘 게이트 (CNOT) 를 동일한 기능적 클릭 내의 변수에 해당하는 큐비트들로 제한하는 양자 그래프 신경망 (QGNN) 안사를 제안함으로써, 문제 구조를 양자 회로에 직접 인코딩합니다.

주요 기여
본 논문은 세 가지 주요 기여를 제시합니다:

• 보수적 모델링의 통합: 저자들은 훈련 데이터 지지 영역 밖의 입력에 대한 예측을 낮추는 패널티 메커니즘을 도입하여 QEL 알고리즘을 일반화함으로써, 양자 대리 모델을 오프라인 보수주의 원칙과 정렬시켰습니다.
• 구조적 양자 대리 모델: 이 연구는 QGNN 안사를 통해 FGM 구조를 QEL 에 통합하는 것을 보여주어, 양자 모델이 알려진 기능적 의존성을 활용할 수 있게 합니다.
• 실증적 검증: 합성 벤치마크를 통해, COM-QEL 이 표준 QEL 과 고전적 COM 에 비해 유용성 (최고 데이터셋 솔루션 대비 개선) 과 새로움 (기존 데이터와의 거리) 간의 우수한 균형을 달성함을 입증했습니다.

결과
저자들은 세 가지 유형의 합성 벤치마크에서 COM-QEL 을 평가했습니다:

1. 저대역폭 함수: 2 차원 코사인 기반 함수에서 COM-QEL 은 표준 QEL 일관적으로 능가했습니다. 결과는 COM-QEL 이 과도하게 낮은 유용성을 가진 솔루션을 피하면서 더 나은 솔루션을 도출할 수 있음을 보여주었습니다. 알고리즘은 특정 범위 내에서 하이퍼파라미터 $\tau$에 대해 강건함을 입증했습니다.
2. 고대역폭 함수: 큰 변동을 특징으로 하는 까다로운 Ackley 함수에서 COM-QEL 은 유용성이 낮은 솔루션을 성공적으로 피했습니다. 연구는 유용성을 향상시키면서 새로움을 유지하는 데 있어 정규화 목적 함수에서 적대적 데이터셋과 초기 집합 모두를 고려하는 두 가지 패널티 항을 모두 유지하는 것이 중요함을 강조했습니다.
3. 구조적 함수: Rosenbrock 과 Ackley 구성 요소를 결합한 복합 함수에서 저자들은 표준 하드웨어 효율적 안사 (HEA) 와 구조 인식 QGNN 을 비교했습니다. QGNN 기반 COM-QEL 은 유용성과 새로움 모두에서 HEA 버전을 능가하여, 문제 구조를 양자 회로에 인코딩함으로써 성능이 향상됨을 확인했습니다.

의의 및 주장
본 논문은 COM-QEL 이 샘플 외 영역에 대한 탐색과 신중한 접근 필요성 사이의 균형을 효과적으로 유지한다고 주장합니다. 잘 정의된 함수의 경우 효과적으로 탐색하며, 많은 국소 최적점을 가진 고변동 함수의 경우 데이터셋에서 너무 멀리 이동하지 않도록 하여 모델 악용의 위험을 완화합니다. 저자들은 보수적 정규화를 도입하고 문제의 근본적인 구조를 양자 회로 아키텍처에 인코딩함으로써 양자 오프라인 최적화의 성능을 크게 향상시킬 수 있다고 주장합니다. 이 연구는 양자 최적화 알고리즘을 오프라인 환경의 엄격한 요구 사항에 적응시키는 한 걸음으로 자리매김하지만, 저자들은 향후 실제 양자 장치에 대한 실험적 검증과 오프라인 강화 학습으로의 확장이 필요하다고 지적합니다.