AutoQD: Automatic Discovery of Diverse Behaviors with Quality-Diversity Optimization

이 논문은 마르코프 결정 과정의 정책 점유 측도를 임베딩하여 사전 정의된 행동 기술자가 필요 없는 자동 행동 발견을 가능하게 하는 이론적으로 정립된 품질 - 다양성 최적화 방법인 AutoQD 를 제안하고, 이를 통해 연속 제어 작업에서 다양한 정책을 성공적으로 발견함을 입증합니다.

핵심

AutoQD: 로봇에게 '창의성'을 가르치는 새로운 방법

이 논문은 인공지능이 새로운 일을 배울 때, 단순히 "가장 잘하는 방법" 하나만 찾는 것이 아니라, "다양하고 훌륭한 방법" 여러 가지를 동시에 찾아내는 기술에 대해 설명합니다.

이 기술을 AutoQD라고 부릅니다. 이걸 이해하기 위해 몇 가지 쉬운 비유를 들어보겠습니다.

---

1. 문제: "오직 한 가지 정답"만 찾는 함정

전통적인 인공지능 학습은 마치 수능 시험을 보는 것과 비슷합니다.

• 목표: 점수를 가장 많이 받는 '정답' 하나를 찾는 것.
• 결과: 모든 학생이 똑같은 방식으로 문제를 풀게 됩니다. 만약 시험지가 바뀌거나 (예: 비가 와서 미끄러운 길), 그 '정답'이 통하지 않으면 모든 학생이 실패합니다.

로봇이 걷는 법을 배울 때도 마찬가지입니다. 기존 방법들은 "가장 빠르게 걷는 법" 하나만 찾아냈습니다. 하지만 만약 로봇이 다리를 다치거나, 바닥이 미끄러우면 그 '최고의 걷기'는 무용지물이 됩니다. 우리는 로봇이 다리를 절뚝거리며 걷는 법, 점프하며 걷는 법, 엎드려 기어가는 법 등 다양한 상황을 대비한 '대안책'들을 모두 알고 싶어 합니다.

2. 기존 방법의 한계: "사람이 직접 지시하는 나침반"

기존의 '품질 - 다양성 (QD)' 알고리즘은 이 문제를 해결하려 했지만, 사람이 직접 나침반을 만들어줘야 했습니다.

• 비유: 로봇에게 "발이 땅에 닿는 횟수"나 "어느 방향으로 움직였는지"를 기준으로 다양성을 측정하라고 사람이 직접 지시하는 것입니다.
• 문제점: 사람이 "발이 닿는 횟수"를 기준으로 다양성을 재면, 로봇은 그 기준에 맞는 행동만 찾습니다. 하지만 로봇이 실제로 할 수 있는 아주 기발하고 예상치 못한 새로운 행동 (예: 발을 뒤로 차며 미끄러지는 행동) 은 사람이 미리 생각하지 못했기 때문에 찾아낼 수 없습니다.

3. AutoQD의 해결책: "로봇의 발자국을 지도로 그리기"

AutoQD는 사람이 나침반을 만들지 않아도 됩니다. 대신 로봇이 환경에서 걸어 다니며 남긴 '발자국' (경로) 자체를 분석해서 나침반을 스스로 만들어냅니다.

핵심 아이디어 1: "발자국" (Occupancy Measure)

로봇이 어떤 행동을 할 때, 어떤 상태를 거쳐 어떤 행동을 했는지의 기록을 **'발자국'**이라고 생각해보세요.

• 비유: 두 사람이 다른 길로 산을 올랐다고 칩시다.
  • A 는 숲을 지나고, B 는 바위 위를 갑니다.
  • 기존 방법은 "누가 더 빨리 갔나?"만 봅니다.
  • AutoQD는 **"두 사람의 발자국이 얼마나 다른가?"**를 수학적으로 계산합니다. 발자국이 완전히 다르면, 두 사람의 행동 방식도 완전히 다르다고 판단합니다.

핵심 아이디어 2: "창의적인 지도 만들기" (Embedding)

AutoQD는 이 복잡한 발자국 데이터를 **컴퓨터가 이해할 수 있는 간단한 지도 (벡터)**로 변환합니다.

• 비유: 이 지도는 "왼쪽으로 갈수록 걷는 속도가 빠르고, 위로 갈수록 다리를 많이 들어 올린다"는 식의 자연스러운 규칙을 찾아냅니다.
• 중요한 점은, 사람이 "왼쪽은 빨라야 한다"고 정한 것이 아니라, 로봇이 실제로 보여준 다양한 행동들을 분석해서 지도가 스스로 규칙을 찾아냈다는 것입니다. 그래서 사람이 상상하지 못했던 기발한 행동도 이 지도 위에 자연스럽게 위치하게 됩니다.

핵심 아이디어 3: "최고의 지도사" (CMA-MAE)

이렇게 만들어진 지도를 바탕으로, CMA-MAE라는 강력한 탐색 알고리즘이 작동합니다.

• 비유: 이 알고리즘은 "이 지도의 모든 구석구석을 채우기 위해" 로봇들을 훈련시킵니다.
• "여기엔 아직 로봇이 없네? 그럼 새로운 로봇을 만들어서 저기 (다양한 행동) 를 하게 해보자!"라고 끊임없이 시도합니다.
• 그 결과, 가장 잘하는 로봇부터 가장 독특한 로봇까지, 지도의 모든 구석에 다양한 로봇들이 채워지게 됩니다.

---

4. 왜 이것이 중요할까요? (실생활 예시)

이 기술이 있으면 어떤 일이 일어날까요?

• 상황: 로봇이 갑자기 바닥이 미끄러운 환경에 놓였습니다.
• 기존 로봇: "가장 빠르게 걷는 법"만 배웠으므로, 미끄러져서 넘어집니다.
• AutoQD 로봇: "다양한 걷기"를 이미 배웠습니다.
  • "아, 미끄러지네? 그럼 **'엎드려 기어가는 법'**을 써볼까?" (성공!)
  • "아니면 **'발끝으로 살짝 살짝 걷는 법'**을 쓸까?" (성공!)
  • "혹시 **'한 발로 점프하는 법'**도 있나?" (성공!)

즉, 예상치 못한 위기 상황에서도 로봇이 당황하지 않고, 이미 배운 다양한 '대안' 중 하나를 골라 문제를 해결할 수 있게 됩니다.

5. 결론: "창의성"의 자동화

AutoQD는 인간이 "무엇이 다양하다"고 정의할 필요 없이, 로봇이 스스로 경험을 쌓으며 가장 의미 있고 다양한 행동들을 찾아내게 합니다.

• 기존: 사람이 "다양해라"라고 지시하고, 로봇이 그 지시만 따름.
• AutoQD: 로봇이 "내가 할 수 있는 모든 일을 해보자"고 시도하고, 그 결과물 중 가장 가치 있는 것들을 스스로 정리하여 보관함.

이 기술은 로봇이 새로운 환경에 적응하는 능력을 키우는 것은 물론, 게임, 의료, 예술 등 인간의 상상력을 넘어서는 새로운 아이디어를 자동으로 발견하는 데에도 큰 역할을 할 것으로 기대됩니다.

한 줄 요약:

"AutoQD는 로봇에게 '정답' 하나만 외우게 하지 않고, '다양한 해결책'을 스스로 찾아내어 창의적인 문제 해결 능력을 키워주는 기술입니다."

기술 요약

1. 문제 정의 (Problem)

품질 - 다양성 최적화 (Quality-Diversity, QD) 알고리즘은 높은 성능을 내면서도 행동적 다양성을 가진 해의 집합을 발견하는 데 탁월한 성과를 보여왔습니다. 그러나 기존 QD 방법론, 특히 순차적 의사결정 (Sequential Decision Making) 및 강화학습 (RL) 분야에서는 다음과 같은 근본적인 한계가 존재합니다.

• 수동 설계된 행동 기술자 (Hand-crafted Behavior Descriptors, BDs) 에 대한 의존성: 기존 알고리즘은 정책 (Policy) 의 행동을 저차원 벡터로 매핑하기 위해 인간이 직접 정의한 BDs(예: 로봇의 발 접촉 패턴, 이동 거리 등) 를 필요로 합니다.
• 탐색의 제약: 수동으로 정의된 BDs 는 사전에 정의된 다양성 개념에 탐색을 제한하여, 사전에 예상하지 못했던 흥미롭거나 유용한 행동 변이 (Behavioral Variations) 를 놓칠 수 있습니다.
• 도메인 지식의 필요성: 복잡한 작업일수록 적절한 BDs 를 설계하기 위한 도메인 지식이 필요해지며, 이는 자동화 및 오픈 엔디드 (Open-ended) 학습의 장벽이 됩니다.

이 논문은 수동 설계 없이 자동으로 행동 기술자를 생성하여 QD-RL 을 수행하는 방법을 제안합니다.

---

2. 방법론 (Methodology: AutoQD)

저자들은 정책 (Policy) 과 점유 측정 (Occupancy Measure) 사이의 등가성을 활용하여 이론적으로 근거를 둔 자동 행동 기술자 생성 프레임워크인 AutoQD를 제안합니다.

핵심 아이디어

1. 점유 측정 (Occupancy Measure) 을 행동 표현으로 사용:

   • MDP 에서 정책 $\pi$의 점유 측정 $\rho_\pi$는 상태 - 행동 쌍 $(s, a)$의 기대 할인 방문 빈도 분포를 나타냅니다.
   • 완전 관측 가능한 환경에서 정책과 점유 측정 간에는 1:1 대응 관계가 존재하므로, 점유 측정은 정책을 완전히 특징짓는 이상적인 표현입니다.

2. 무작위 푸리에 특징 (Random Fourier Features, RFF) 을 통한 임베딩:

   • 점유 측정 간의 차이를 정량화하기 위해 **최대 평균 불일치 (Maximum Mean Discrepancy, MMD)**를 사용합니다.
   • MMD 는 가우시안 커널을 사용할 경우 무한 차원의 특징 공간에 대응되므로, **무작위 푸리에 특징 (RFF)**을 사용하여 이를 유한 차원의 벡터 공간으로 근사화합니다.
   • 정책 $\pi$에서 샘플링된 $n$개의 상태 - 행동 쌍에 대해 RFF 를 적용한 후 평균을 내어 정책 임베딩 $\psi_\pi$를 생성합니다.
   • 이론적 보장 (Theorem 1): 샘플 수 $n$과 임베딩 차원 $D$가 증가함에 따라, 생성된 임베딩 간의 유클리드 거리가 점유 측정 간의 실제 MMD 거리에 확률적으로 수렴함을 증명합니다.

3. 보정된 가중치 PCA (Calibrated Weighted PCA, cwPCA):

   • 고차원 임베딩 공간 ($D$) 을 QD 알고리즘이 처리할 수 있는 저차원 행동 기술자 ($k \ll D$) 로 축소합니다.
   • 가중치 (Weighting): 성능 (Return) 이 높은 정책일수록 주성분 분석 (PCA) 에 더 큰 영향을 미치도록 가중치를 부여합니다. 이는 고품질 행동 간의 변이를 포착하도록 유도합니다.
   • 보정 (Calibration): 축소된 차원의 축을 $[-1, 1]$ 범위로 스케일링하여 QD 아카이브의 경계를 일정하게 유지하고 안정적인 탐색을 보장합니다.

4. 반복적 최적화 알고리즘:

   • AutoQD는 CMA-MAE(최첨단 블랙박스 QD 알고리즘) 와 결합되어 작동합니다.
   • 루프:
     1. 현재 행동 기술자를 사용하여 CMA-MAE 로 다양한 정책을 탐색하고 아카이브를 업데이트합니다.
     2. 아카이브에 저장된 정책들의 임베딩을 수집하여 cwPCA 를 통해 행동 기술자 (A, b) 를 갱신합니다.
     3. 이 과정을 반복하여 행동 공간과 정책 집합을 동시에 진화시킵니다.

---

3. 주요 기여 (Key Contributions)

1. 이론적으로 근거 있는 자동 행동 기술자 생성: 점유 측정을 기반으로 한 임베딩을 통해 수동 설계 없이도 의미 있는 행동 차이를 포착하는 방법을 제시했습니다.
2. MMD 근사 수렴 증명: 샘플링된 궤적과 임베딩 차원을 기반으로 한 임베딩 거리가 실제 MMD 거리에 확률적으로 수렴함을 수학적으로 증명했습니다 (Theorem 1).
3. 반복적 정제 알고리즘: QD 최적화와 행동 기술자 정제 (cwPCA) 를 번갈아 수행하는 알고리즘을 제안하여, 발견된 정책 집합에 맞춰 행동 공간을 동적으로 적응시킵니다.
4. 실증적 검증: 다양한 연속 제어 작업 (MuJoCo 등) 에서 수동 설계 BDs 를 사용하는 기존 방법 및 다른 무감독 RL 방법론보다 우수한 성능을 입증했습니다.

---

4. 실험 결과 (Results)

논문은 Gymnasium/MuJoCo 의 6 가지 연속 제어 작업 (Ant, HalfCheetah, Hopper, Swimmer, Walker2d, BipedalWalker) 에서 AutoQD 를 평가했습니다.

• 비교 대상 (Baselines):

  • RegularQD: 수동 설계 BDs 사용.
  • Aurora / LSTM-Aurora: 오토인코더를 통해 상태/궤적을 인코딩하여 BDs 학습.
  • DvD-ES: 진화 전략 기반 다양성 최적화.
  • SMERL: RL 기반 기술 (Skill) 발견.

• 주요 성과 지표:

  • Ground-Truth QD Score (GT QD Score): 전문가가 정의한 BDs 기준 아카이브 점수.
  • Vendi Score (VS): 분포의 다양성 (유효 개체군 크기).
  • Quality-Weighted Vendi Score (qVS): 성능과 다양성을 모두 고려한 지표.

• 결과 요약:

  • Ant, Swimmer, BipedalWalker: AutoQD 가 모든 지표 (QD Score, qVS, VS) 에서 압도적으로 우세한 성능을 보였습니다. 특히 Ant 환경에서는 RegularQD 대비 QD Score 가 약 2 배 이상 높았습니다.
  • HalfCheetah: AutoQD 는 매우 다양한 정책을 발견했으나 (높은 VS), 일부 정책이 미끄러지는 (sliding) 비효율적인 행동을 보여 평균 성능이 다소 낮았습니다.
  • Walker2d: RegularQD 가 가장 높은 다양성 점수를 기록했으나, AutoQD 는 2 위를 차지하며 모든 베이스라인을 능가하는 성능을 보였습니다.
  • 적응성 (Adaptability): 환경 변화 (마찰 계수, 질량 변화) 에 대한 실험에서, AutoQD 가 발견한 정책 집합은 단일 최선 정책뿐만 아니라 다수의 정책이 환경 변화에 성공적으로 적응하는 것을 보여주었습니다. 이는 다양성이 가진 강건성 (Robustness) 을 입증합니다.

---

5. 의의 및 결론 (Significance & Conclusion)

• 도메인 지식 불필요: AutoQD 는 특정 작업에 대한 도메인 지식이 없어도 자동으로 행동 공간을 발견하고 최적화할 수 있어, 오픈 엔디드 학습 (Open-ended Learning) 의 가능성을 크게 확장했습니다.
• 이론적 엄밀성: 단순한 경험적 접근이 아닌, 점유 측정과 커널 방법론에 기반한 이론적 수렴 보장을 제공하여 QD-RL 분야의 방법론적 기반을 강화했습니다.
• 미래 지향성: 이 접근법은 로봇 공학, 게임 레벨 생성, 단백질 설계 등 다양한 분야에서 자동화된 행동 발견을 가능하게 하며, 강화학습의 한계를 넘어 새로운 능력을 지속적으로 발견하는 시스템 구축에 기여합니다.

결론적으로, AutoQD는 수동 설계의 제약을 극복하고, 이론적으로 타당한 임베딩을 통해 고품질이며 다양한 정책 집합을 자동으로 발견하는 강력한 프레임워크로 평가됩니다.