🤖 machine learning

Discount Model Search for Quality Diversity Optimization in High-Dimensional Measure Spaces

본 논문은 고차원 측정 공간에서의 정체성을 극복하고 이미지 기반 영역을 포함한 벤치마크에서 효과적인 탐색과 우수한 성능을 가능하게 하기 위해 이산 히스토그램 기반 할인 방식을 연속 모델로 대체하는 새로운 품질 다양성 최적화 알고리즘인 할인 모델 탐색 (DMS) 을 소개합니다.

원저자: Bryon Tjanaka, Henry Chen, Matthew C. Fontaine, Stefanos Nikolaidis

게시일 2026-05-04

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Bryon Tjanaka, Henry Chen, Matthew C. Fontaine, Stefanos Nikolaidis

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 등산객들의 사진으로 거대한 갤러리를 채우려는 미술관 큐레이터라고 상상해 보세요. 당신의 목표는 단순히 한 장의 완벽한 사진을 찾는 것이 아니라, 고품질(훌륭한 사진) 이면서도 다양성(눈 덮인 산, 햇살 가득한 해변, 비 내리는 숲 등 가능한 모든 환경의 등산객) 을 갖춘 전체 컬렉션을 만드는 것입니다.

이것이 품질 다양성 (Quality Diversity, QD) 최적화의 과제입니다.

문제: "혼잡한 방" 효과

과거에는 컴퓨터가 이 문제를 해결하기 위해 갤러리를 작은 고정된 상자들 (그리드와 유사) 로 나누었습니다. 만약 "눈 덮인 산" 환경의 등산객 사진이 어떤 상자에 들어오면, 컴퓨터는 그 상자를 "채워졌다"고 표시했습니다.

그러나 환경이 복잡해지면 (모든 특정 유형의 풍경을 포착하려는 시도처럼), 그 "상자"들이 거대해집니다. 갑자기 알프스 산맥의 등산객 사진과 로키 산맥의 등산객 사진이 모두 같은 거대한 상자 안에 들어갈 수 있습니다. 컴퓨터는 "아, 이 상자는 이미 꽉 찼구나"라고 생각하며 새로운 독특한 등산객을 찾는 것을 멈춥니다. 모든 것을 찾았다고 생각하며 실제로는 그렇지 않은 상태에서 고착됩니다. 이를 왜곡 (distortion) 이라고 합니다.

구해법: "할인 목록"

기존의 가장 훌륭한 방법 (CMA-MAE) 은 각 상자마다 "할인" 목록을 유지했습니다. 상자가 비어 있으면 할인은 높았으며 (컴퓨터가 그 상자를 채우도록 장려), 상자가 꽉 차면 할인은 낮았습니다.

결함: 상자가 너무 커서 다양한 등산객들이 같은 상자 안에 들어갔습니다. 그들은 모두 같은 "할인" 점수를 받았습니다. 컴퓨터는 알프스의 등산객과 로키 산맥의 등산객을 구분할 수 없었기 때문에 새로운 등산객을 찾으려는 시도를 멈췄습니다.

새로운 해법: 할인 모델 탐색 (Discount Model Search, DMS)

저자들은 할인 모델 탐색 (Discount Model Search, DMS) 이라는 새로운 방법을 제안합니다. DMS 는 고정된 할인 목록과 경직된 상자 대신 스마트하고 매끄러운 지도(신경망) 를 사용합니다.

이렇게 생각해 보세요:

구 방식: 크고 블록처럼 구획된 구역이 있는 지도입니다. A 구역에 있으면 평평하게 "5 점"을 받습니다. A 구역의 북쪽 가장자리에 있든 남쪽 가장자리에 있든 상관없이 같은 점수를 받습니다.
새 방식 (DMS): 매끄럽고 구불구불한 지형입니다. 두 등산객이 서로 매우 가깝더라도, 지도는 그들의 정확한 위치에 기반하여 약간 다른 점수를 줄 수 있습니다. 이를 통해 컴퓨터는 미세한 차이들을 파악하고, 겉보기에 혼잡해 보이는 지역에서도 새로운 등산객들을 계속 찾을 수 있습니다.

큰 도약: "데이터셋으로서의 측정치"

이 논문은 컴퓨터에게 "다양성"이 무엇인지 알려주는 새로운 방식을 제시합니다. 보통은 등산객의 나이, 옷차림, 날씨 등을 설명하기 위해 복잡한 공식을 작성해야 합니다. 이는 어렵고 지루합니다.

DMS 를 사용하면 컴퓨터에게 이미지 데이터셋을 보여주기만 하면 됩니다.

비유: "숲속의 등산객"에 대한 레시피를 작성하는 대신, 컴퓨터에게 숲의 사진 앨범을 건네주는 것입니다. 컴퓨터는 그런 특정 사진에 맞는 등산객들을 생성하려고 노력합니다.
결과: 컴퓨터는 단순히 그런 풍경들의 사진을 보여줬을 뿐인데, 눈 덮인 산을 위한 두꺼운 재킷을 입은 등산객과 햇살 가득한 해변을 위한 가벼운 옷을 입은 등산객들을 성공적으로 생성해냈습니다.

그들이 발견한 것

저자들은 이 새로운 방법을 기존 방법들과 두 가지 방식으로 비교 테스트했습니다:

표준 테스트: "혼잡한 방" 효과가 발생하는 것으로 알려진 수학 문제에서, DMS 는 기존 방법들보다 더 많은 고유한 해법과 더 높은 품질의 결과를 찾았습니다.
이미지 테스트: 새로운 "데이터셋" 설정에서, DMS 는 다른 방법들이 실패하거나 고착되었던 다양한 풍경 속의 다양한 등산객 이미지들을 생성할 수 있었습니다.

트레이드오프

약간의 비용이 따릅니다: DMS 는 탐색하는 동안 매끄러운 지도를 "학습"해야 하므로 더 많은 컴퓨팅 전력을 필요로 합니다. 그러나 논문은 이 추가적인 노력이 특히 복잡하고 고차원적인 공간에서 다른 방법들이 완전히 놓쳐버리는 해법들을 찾아냄으로써 보상을 준다고 보여줍니다.

요약하자면: DMS 는 경직되고 블록 같은 체크리스트를 매끄럽고 지능적인 지도로 대체하여, 탐색 공간이 극도로 복잡할지라도 컴퓨터가 훨씬 더 풍부하고 다양한 해법 컬렉션을 찾을 수 있도록 합니다.

기술 요약: 고차원 측정 공간에서의 품질 다양성 최적화를 위한 할인 모델 탐색

문제 정의

품질 다양성 (QD) 최적화는 사용자가 지정한 벡터 값 측정 함수 $m$ 으로 정의된 다양한 출력 범위를 포괄하면서 동시에 목적 함수 $f$ 를 최대화하는 솔루션 집합을 발견하는 것을 목표로 합니다. $m$ 의 상 (image) 은 측정 공간 $S$ 를 구성합니다. Covariance Matrix Adaptation MAP-Annealing (CMA-MAE) 과 같은 최첨단 방법을 포함한 현대의 QD 알고리즘의 중요한 한계는 고차원 측정 공간으로 효과적으로 확장하지 못한다는 점입니다.

고차원 공간에서 알고리즘은 **왜곡 (distortion)**이라는 현상으로 고통받는데, 이는 솔루션 공간의 큰 부피가 측정 공간의 작은 영역으로 매핑되는 현상입니다. CMA-MAE 는 $\Delta(\theta) = f(\theta) - f_A(m(\theta))$ 로 정의된 "아카이브 개선 (archive improvement)"을 최대화함으로써 QD 목적을 달성하며, 여기서 $f_A$ 는 할인 함수입니다. CMA-MAE 는 $f_A$ 를 이산형 히스토그램 (셀의 테셀레이션) 으로 표현합니다. 고차원 환경에서 왜곡은 많은 서로 다른 솔루션이 동일한 히스토그램 셀에 속하게 하여 동일한 할인 값을 부여하게 만듭니다. 결과적으로 알고리즘은 유사한 측정을 가진 솔루션들을 구별하지 못하게 되어 부정확한 개선 신호와 탐색 정체를 초래합니다. 또한, 복잡한 도메인 (예: "등산객이 위치한 곳"을 지정하는 것) 에 대한 저차원 측정 함수를 설계하는 것은 종종 번거롭고 직관적이지 않습니다.

방법론: 할인 모델 탐색 (Discount Model Search, DMS)

이러한 한계를 극복하기 위해 저자들은 **할인 모델 탐색 (DMS)**을 제안합니다. DMS 는 이산형 히스토그램 대신 신경망을 사용하여 할인 함수 $f_A$ 의 부드러운 연속 표현을 학습합니다.

핵심 구성 요소

할인 모델 ( $\hat{f}_A$ ): 측정 값 $s = m(\theta)$ 을 입력으로 받아 스칼라 할인 값을 출력하는 신경망으로, $\psi$ 로 매개변수화됩니다. 아키텍처는 유연합니다: 저차원 벡터 측정에는 다층 퍼셉트론 (MLP) 이 사용되며, 이미지와 같은 고차원 데이터에는 합성곱 네트워크나 트랜스포머가 적합합니다.
아카이브 및 에미터: DMS 는 MAP-Elites 스타일의 아카이브를 유지하여 발견된 최상의 솔루션을 저장합니다. 가우시안 분포에서 솔루션을 샘플링하는 CMA-ES 기반 에미터를 사용합니다. CMA-MAE 와 달리 아카이브는 이산형 할인 값을 저장하지 않으며, 대신 할인 모델을 쿼리하여 개선 값 $\Delta_i = f(\theta_i) - \hat{f}_A(m(\theta_i))$ 을 계산합니다.
할인 모델 학습: 모델은 CMA-MAE 에서 사용하는 임계값 업데이트 규칙을 근사하도록 학습됩니다. 학습 데이터셋 $D_A$ $D_{A}$ 는 두 가지 소원으로 구성됩니다:
- 에미터 샘플: 각 샘플링된 솔루션 $\theta$ 에 대해, 솔루션의 목적 $f(\theta)$ 가 현재 모델의 예측 $\hat{f}_A(s)$ 를 초과하는지 여부에 따라 목표 할인 값 $t_A$ 가 업데이트됩니다. $f(\theta) > \hat{f}_A(s)$ 인 경우, 목표 값은 아카이브 학습률 $\alpha$ 에 의해 제어되는 목적 함수와 현재 할인 값의 선형 결합이 됩니다.
- 빈 포인트: 모델이 측정 공간의 미탐색 영역에 임의의 높은 값을 할당하는 것을 방지하기 위해, 알고리즘은 비어 있는 아카이브 셀의 중심을 샘플링하고 목표 값을 $f_{min}$ (최소 목적 함수 값) 으로 할당합니다. 이는 미탐색 영역에서 모델을 "제한 (clamp down)"하여 에미터가 새로운 영역을 탐색하도록 유도합니다.

이론적 통찰

이산형 히스토그램을 연속 함수로 대체함으로써 DMS 는 고차원 공간에서 유사한 측정으로 매핑되더라도 솔루션에 서로 다른 할인 값을 할당할 수 있습니다. 이를 통해 알고리즘은 개선 신호의 기울기를 유지하여 정체를 방지하고, 히스토그램 기반 방법이 실패했을 때도 지속적인 탐색을 가능하게 합니다.

주요 기여

할인 모델 탐색 (DMS): 왜곡된 고차원 측정 공간에서 탐색을 안내하는 부드러운 연속 할인 모델을 활용하는 새로운 QD 알고리즘.
측정 데이터셋을 통한 품질 다양성 (QDDM): 저자들은 사용자가 측정 함수를 수동으로 설계하는 대신 데이터셋 (예: 이미지 컬렉션) 을 통해 원하는 측정을 지정하는 새로운 설정을 도입했습니다. 이는 데이터셋의 고차원 공간 (예: 이미지 공간) 을 측정 공간으로 간주합니다.
새로운 도메인: 두 가지 QDDM 도메인이 제안되고 평가되었습니다:
- 삼각형 배치 (Triangle Arrangement, TA): MNIST 또는 Fashion MNIST 의 이미지와 일치하도록 삼각형을 배치하는 작업.
- 잠재 공간 조명 (Latent Space Illumination, LSI) (Hiker): StyleGAN3 를 사용하여 다양한 풍경 속 등산객의 얼굴 이미지를 생성하는 작업. 여기서 측정 공간은 풍경 이미지 공간입니다.
실증적 검증: 표준 벤치마크와 새로운 QDDM 도메인 전반에 걸쳐 DMS 가 CMA-MAE, DDS, MAP-Elites 변형보다 우수함을 보여주는 광범위한 벤치마크.

실험 결과

저자들은 DMS 를 9 개의 표준 벤치마크 (선형 투영 및 암 레퍼토리 포함) 와 3 개의 QDDM 도메인에서 평가했습니다.

벤치마크 도메인: DMS 는 대부분의 고차원 설정 (예: 10D, 20D, 50D LP 벤치마크) 에서 QD 점수 (아카이브 내 목적 함수의 합) 와 커버리지 (채워진 아카이브 셀의 비율) 측면에서 모든 베이스라인을 크게 능가했습니다. 특히 10D LP (구) 벤치마크에서 CMA-MAE 의 커버리지는 6.95% 로 떨어졌으나, DMS 는 89.21% 를 달성했습니다.
QDDM 도메인:
- **TA (F-MNIST)**에서 DMS 는 두 가지 지표 모두에서 모든 베이스라인을 크게 능가했습니다.
- **TA (MNIST)**에서 DMS 는 커버리지 측면에서 CMA-MAE 와 비슷했으나, QD 점수 측면에서 MAP-Elites 변형보다 크게 우수했습니다. 저자들은 여기서 DMS 가 QD 점수에서 CMA-MAE 를 크게 능가하지는 않았다고 언급하며, 신경망 근사로 인한 노이즈가 왜곡이 적고 정밀도가 요구되는 작업에서 세밀한 목적 함수 최적화를 방해할 수 있다고 추측했습니다.
- **LSI (Hiker)**에서 DMS 는 CMA-MAE 를 크게 능가하여 QD 점수 214.91 (CMA-MAE 는 14.61) 과 3.77% 의 커버리지 (377 개의 고유한 등산객 이미지) 를 달성했습니다. 저자들은 MAP-Elites 변형이 높은 커버리지를 달성했으나 생성기가 학습한 분포 밖의 이미지를 생성하여 큰 음의 QD 점수를 기록했다고 지적했습니다.
계산 비용: 할인 모델 학습으로 인해 DMS 는 특히 저차원 벤치마크에서 CMA-MAE 보다 높은 계산 비용을 incur 합니다. 그러나 이미지 생성이 병목 현상이 되는 QDDM 도메인에서는 오버헤드가 덜 두드러집니다.

중요성과 주장

본 논문은 DMS 가 두 가지 주요 이점을 제공한다고 주장합니다:

성능 향상: DMS 는 고차원 측정 공간을 괴롭히는 왜곡 효과를 극복함으로써 현재 QD 응용 프로그램의 성능을 향상시키고, 최첨단 블랙박스 알고리즘보다 우수한 성과를 냅니다.
접근성과 새로운 응용: QDDM 설정을 도입함으로써 DMS 는 QD 를 더 접근 가능하게 만듭니다. 이는 수동으로 설계된 측정 함수의 필요성을 완화하여 사용자가 데이터셋을 제공함으로써 단순히 다양성 목표를 지정할 수 있게 합니다. 이는 저차원 벡터로 표현하기 어려운 복잡한 고차원 측정 (예: 시각적 스타일 또는 의미적 위치) 을 지정할 수 있게 합니다.

저자들은 기계 학습에서 데이터셋의 보편성을 고려할 때, 문제를 QDDM 으로 프레임하고 DMS 로 해결하는 것이 유망한 방향이라고 결론지었습니다. 그들은 모델 학습의 계산 오버헤드와 근사 노이즈가 정밀 최적화에 영향을 미칠 수 있다는 한계를 인정하며, 더 발전된 모델 아키텍처와 대체 학습 목표에 대한 향후 연구를 제안합니다.