🤖 machine learning

PB $^2$ : Preference Space Exploration via Population-Based Methods in Preference-Based Reinforcement Learning

이 논문은 선호도 기반 강화 학습을 위한 인구 기반 방법론인 PB $^2$ 를 소개하며, 이는 다양한 에이전트 집단을 유지함으로써 선호도 공간을 더 잘 탐색하고, 구별 가능한 행동을 통해 보상 모델 학습을 개선하며, 복잡한 환경에서 인간의 라벨링 오류에 대해 강건한 성능을 달성함으로써 단일 에이전트 접근 방식의 한계를 극복한다.

원저자: Brahim Driss, Alex Davey, Riad Akrour

게시일 2026-08-04

📖 6 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Brahim Driss, Alex Davey, Riad Akrour

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 걷는 법을 가르치려 한다고 상상해 보세요. 하지만 당신에게는 매뉴얼이 없고, "왼발을 10센티미터 들어 올려라"와 같은 규칙 목록을 적어줄 수도 없습니다. 대신, 당신은 엄격하지만 도움이 되는 코치 역할을 해야 합니다. 로봇이 몇 걸음 내디딜 때마다, 당신은 두 가지 시도를 지켜본 뒤 단순히 "두 번째 것이 더 좋았어요"라고 말합니다. 이것이 **선호도 기반 강화 학습(Preference-Based Reinforcement Learning, PbRL)**의 핵심입니다. 이는 기계가 미리 작성된 점수표 없이도 인간의 의견을 듣는 것만으로 복잡한 행동을 배울 수 있게 하는 방법입니다.

하지만 이 코칭 방식에는 까다로운 문제가 하나 있습니다. 만약 로봇이 계속해서 똑같은 행동만을 반복한다면, 당신은 결국 지루함을 느끼게 될 것입니다. 당신은 "음, 둘 다 괜찮았어요"라거나 "차이를 모르겠어요"라고 말하게 될지도 모릅니다. 왜냐하면 로봇이 당신에게 새로운 것을 보여주지 않고 있기 때문입니다. 로봇이 비슷하고 안전한 동작만을 보여준다면, 당신은 로봇에게 진정으로 훌륭하거나 독특한 것을 하는 법을 가르칠 수 없습니다. 로봇은 새로운 것을 시도하는 것을 두려워하여, 평범한 행동을 반복하는 굴레에 갇히게 됩니다. 이 논문은 바로 이 '지루함'의 문제를 다룹니다. 어떻게 하면 로봇이 더 넓은 범위의 움직임을 보여주게 하여, 우리가 더 효과적이고, 빠르고, 정확하게 가르칠 수 있을까요?

문제점: 로봇의 "에코 체임버(Echo Chamber)"

AI의 세계에서 연구자들은 정교한 수학을 사용하여 인간이 무엇을 좋아할지 추측함으로써 이 "지루함" 문제를 해결하려 노력해 왔습니다. 하지만 이 논문의 저자인 브라힘 드리스(Brahim Driss), 알렉스 데이비(Alex Davey), 리아드 아크루르(Riad Akrour)는 이상한 점을 발견했습니다. 이러한 고급 수학 기술을 사용했음에도 불구하고, 로봇들은 여전히 똑같이 생긴 쌍둥이 합창단처럼 행동했습니다. 그들은 모두 똑같은 몇 가지 동작만을 시도하고, 인간 코치에게 보여주고, 똑같은 피드백을 받았습니다.

이 논문은 로봇이 당신이 무엇을 좋아하는지 파악하기 위해 단 하나의 "뇌"(단일 에이전트)만을 가지고 있을 때, 국소적인 함정(local trap)에 빠지게 된다고 제안합니다. 로봇은 어떤 경로가 '괜찮다'는 것을 찾아내면, "이 정도면 됐어!"라고 생각하며 그 경로를 떠나기를 거부합니다. 하지만 그들은 바로 옆에 훨씬 더 좋은 경로가 있다는 사실을 깨닫지 못합니다. 이는 마치 작은 평평한 초원을 발견한 등산객이, 그저 편안한 곳을 떠나는 것이 두려워 산 정상에 올라가 경치를 보는 대신 그곳에 영원히 캠프를 치기로 결정한 것과 같습니다.

해결책: 다양한 탐험가 팀

이 문제를 해결하기 위해 저자들은 PB²(Population-Based Preference-Based Reinforcement Learning)라는 새로운 방법을 제안합니다. 한 명의 로봇을 보내 배우게 하는 대신, 한 팀의 탐험가들을 보냅니다.

당신이 차세대 대스타를 찾는 재능 있는 스카우트라고 상상해 보세요.

기존 방식: 당신은 한 명의 무용수를 고용합니다. 그들은 루틴을 보여줍니다. 당신은 "회전이 좋았어요"라고 말합니다. 무용수는 회전을 다시, 또 다시 반복하며, 회전 기술은 점점 좋아지지만 점프나 슬라이드 같은 다른 동작은 전혀 시도하지 않습니다. 당신은 지루해지고, 무용수는 전체 춤을 배우지 못합니다.
PB² 방식: 당신은 세 명의 무용수로 구성된 팀을 고용합니다. 한 명은 약간 거칠고, 한 명은 매우 정교하며, 한 명은 그 중간 어디쯤에 있습니다. 당신은 그들에게 동작을 보여달라고 요청합니다. 그들은 서로 다르기 때문에 회전, 점프, 슬라이드를 각각 보여줍니다. 이제 당신은 "점프가 정말 좋았어요!"라고 말하거나 "슬라이드는 괜찮았지만, 회전은 지루했어요"라고 말할 수 있습니다.

팀이 다양하기 때문에, 그들은 더 넓은 영역을 커버합니다. 그들은 더 다양한 행동을 보여주며, 이는 당신(인간)이 더 명확하고 유용한 피드백을 줄 수 있도록 돕습니다. 이 논문은 이러한 다양성이 비결이라고 주장합니다. 다양성은 로봇이 평범한 해결책에 갇히게 되는 "국소 최적해(local optima)"의 함정을 방지합니다.

작동 원리: "앵커(Anchor)"와 "보너스(Bonus)"

PB²의 마법은 단순히 팀을 구성하는 것에 그치지 않고, 그들이 어떻게 궤도를 유지하느냐에 달려 있습니다. 만약 당신이 로봇 팀을 제멋대로 달리게 내버려 둔다면, 그들은 과업과 전혀 상관없는 엉뚱한 행동을 하기 시작할 수도 있습니다. 이를 막기 위해 저자들은 영리한 두 부분의 시스템을 사용합니다.

앵커(The Anchor): 팀 내의 한 로봇은 "앵커" 역할을 합니다. 이 로봇의 유일한 임무는 지금까지 당신이 말해준 내용을 바탕으로 최선을 다하는 것입니다. 이 로봇은 팀이 목표를 잊지 않도록 해주는 믿음직하고 평범한 일꾼입니다.
탐험가(The Explorers): 나머지 로봇들은 "탐험가"입니다. 이들은 독특하고 다른 것들을 시도할 수 있지만, 오직 앵커만큼은 아니더라도 '거의' 잘 해내고 있을 때만 허용됩니다.

이 논문은 "다양성 보너스"를 도입합니다. 이것은 마치 탐험가들이 독특해질수록 추가 점수를 받는 게임과 같습니다. 만약 탐험가가 다른 로봇들과 매우 다르게 보이는 동작을 시도하면 보너스를 받습니다. 하지만 여기에는 조건이 있습니다. 만약 탐험가가 너무 많은 이상한 행동을 해서 점수가 너무 낮아지면, 보너스는 사라지고 다시 본래의 과업에 집중해야 합니다. 이는 팀이 창의적이면서도 책임감을 갖게 만듭니다.

실험 결과

저자들은 이 아이디어를 두 가지 주요 방식으로 테스트했습니다. 간단한 2D 내비게이션 게임(미로를 통과하는 점)과 동물의 걷기(치타가 달리거나 개가 걷는 것)를 구현한 복잡한 3D 시뮬레이션입니다.

1. 함정 탈출하기:
미로 테스트에서 기존의 단일 로봇 방식은 구석에 갇혔습니다. 그들은 "적당히 괜찮은" 경로를 찾아냈고 그곳을 떠나기를 거부했습니다. 그러나 PB² 팀은 서로 다른 구성원들을 서로 다른 경로로 보냈습니다. 그중 한 명이 결국 출구로 가는 비밀 지름길을 찾아냈습니다. 논문은 동일한 양의 인간 피드백을 사용했을 때, 팀 방식이 단일 로봇보다 훨씬 빠르게 최선의 해결책을 찾아냈음을 보여줍니다.

2. 인간의 실수 처리하기:
인간은 완벽하지 않습니다. 때때로 우리는 매우 유사한 두 동작 사이의 차이를 구분하지 못해 혼란스러운 답변을 줄 수도 있습니다. 논문은 "인간 코치"가 동작이 너무 비슷할 때 가끔 동전 던지기를 하듯 무작위로 결정하도록 설정하여 이를 시뮬레이션했습니다.

단일 로봇 방식은 코치가 혼란스러워할 때 무너졌습니다. 그들은 혼란이 동작이 나빠서인지, 아니면 코치의 컨디션이 안 좋아서인지 구분하지 못했습니다.
PB² 팀은 훨씬 더 강인했습니다. 그들은 매우 다른 동작들을 보여주었기 때문에, 코치는 대개 차이점을 쉽게 식별할 수 있었습니다. 코치가 실수를 하더라도, 팀의 다양성이 결국 올바른 경로를 찾아내는 데 도움을 주었습니다. 이 논문은 다양한 그룹을 갖는 것이 인간의 오류에 대해 학습 과정을 훨씬 더 견고하게 만든다는 것을 시사합니다.

3. "앙상블(Ensemble)"의 신화:
흥미로운 발견 중 하나는 다른 연구자들이 사용하는 인기 있는 기법에 관한 것이었습니다. 일부 팀은 로봇에게 "신경 앙상블(neural ensemble)", 즉 보상을 약간씩 다르게 예측하는 여러 개의 내부 뇌를 부여하여 다양성 문제를 해결하려 했습니다. 저자들은 이를 테스트했고, 실제로 이 내부 뇌들이 매우 빠르게 똑같이 생각하기 시작한다는 것을 발견했습니다. 이들은 다양성을 만드는 데 충분한 효과를 내지 못했습니다. 이는 단순히 수학적 트릭에 의존해서는 다양성을 만들 수 없으며, 로봇이 다르게 행동하도록 강제하는 실제적이고 명시적인 메커니즘(예: 탐험가 팀)이 필요하다는 것을 시사합니다.

결론

이 논문은 로봇을 효과적으로 가르치기 위해서는, 우리가 무엇을 원하는지 추측하려고 애쓰는 외롭고 단일한 에이전트에 의존하는 것을 멈춰야 한다고 결론짓습니다. 대신, 우리는 다양한 에이전트의 집단을 유지해야 합니다.

다르게 행동하도록 권장되는(하지만 너무 튀지는 않는) 탐험가 팀을 유지함으로써, 우리는 다음과 같은 성과를 얻을 수 있습니다:

인간에게 더 넓은 범위의 옵션을 보여줄 수 있습니다.
더 명확하고 덜 혼란스러운 피드백을 받을 수 있습니다.
로봇이 평범한 해결책에 갇히는 "국소적 함정"에서 벗어날 수 있습니다.
인간이 실수를 하더라도 더 빠르게 학습할 수 있습니다.

저자들은 이 접근 방식이 특히 인간의 피드백이 비싸거나, 제한적이거나, 혹은 조금은 불완전한 상황에서 AI가 우리로부터 더 효율적으로 배울 수 있게 하는 실질적인 진전이라고 제안합니다. 이는 학습 과정을 단조로운 독백에서 활기차고 다양한 대화로 바꾸어 놓습니다.

=== 요약 ===

기술적 요약: PB² – 집단 기반 방법을 통한 선호 공간 탐색

문제 정의

선호 기반 강화학습(Preference-based Reinforcement Learning, PbRL)은 사람이 직접 보상 함수를 설계할 필요 없이, 궤적 비교를 통해 에이전트가 인간의 피드백으로부터 행동을 학습할 수 있게 해줍니다. 그러나 기존의 PbRL 방식은 심각한 **선호 탐색 문제(preference exploration problem)**를 겪습니다. 단일 에이전트 프레임워크 내에서 작동하는 기존 방식들은 인간 선호의 좁은 부분집합만을 포착하며 조기에 최적해가 아닌 정책(suboptimal policies)으로 수렴하는 경향이 있습니다.

이러한 한계는 크게 두 가지 방식으로 나타납니다:

질의 모호성(Query Ambiguity): 현재의 보상 모델에 최적화된 정책들은 인간 평가를 위한 매우 유사한 궤적 쌍을 생성합니다. 궤적이 너무 유사하면 인간 평가자가 일관되지 않거나 노이즈가 섞인 피드백을 제공하게 되어, 학습 신호가 저하됩니다.
지역 최적점 함정(Local Optima Traps): 단일 에이전트 방식은 선호 공간 내의 지역 최적점에 갇히기 쉽습니다. 고급 질의 선택 전략(예: 불확실성 기반 또는 정책 정렬 방식)을 사용하더라도, 행동의 다양성 부족으로 인해 특히 복잡한 보상 구조를 가진 환경에서 대안적이고 잠재적으로 더 우수한 행동을 발견하지 못합니다.

나아가, 본 논문은 선호 불확실성을 포착하기 위해 흔히 사용되는 표준 신경망 앙상블 보상 모델링이 실제로는 충분한 행동 다양성을 유도하지 못한다는 점을 지적합니다. 앙상블 구성원들이 빠르게 유사한 정책으로 수렴하면서, 불확실성 추정치가 탐색에 효과적으로 작용하지 못하게 됩니다.

방법론: PB²

저자들은 선호 공간을 더 효과적으로 탐색하면서도 인간의 의도에 부합하도록 유지하기 위해, 다양한 에이전트의 집단을 유지하는 프레임워크인 **PB² (Population-Based Preference-Based RL)**를 제안합니다. 핵심 메커니즘은 명시적인 다양성 보너스(diversity bonus)에 의해 유도되어 여러 개의 서로 다른 정책을 동시에 학습시키는 것입니다.

핵심 구성 요소

집단 구조 (Population Structure):
- 앵커 정책 ( $\pi_{ref}$ ): 학습된 보상 모델( $r_\phi$ )을 순수하게 최대화하도록 훈련된 참조 에이전트입니다. 이는 성능 기준( $R_{ref}$ )을 설정하고 집단이 비효율적인 행동으로 이탈하지 않도록 보장합니다.
- 다양한 정책 ( $\{\pi_i\}$ ): 학습된 보상과 다양성 보너스를 결합하여 최대화하도록 훈련된 에이전트 집단입니다.
성능 제약 기반 다양성 (Performance-Constrained Diversity):
전문가 정책이나 고정된 목적 함수를 요구하는 기존의 다양성 방법과 달리, PB²는 비정상 상태(non-stationary)인 PbRL 설정에 맞춰 성능 제약 기반 다양성 개념을 적용합니다. 다양한 에이전트 $\pi_i$ 는 기대 수익( $R_i$ )이 앵커 대비 특정 임계값을 충족할 때만 다양성 보너스를 받습니다:
$\pi_i^* \in \arg\max_{\pi_i} \mathbb{E}_{s,a \sim \pi_i} \left[ r_\phi(s, a) + \lambda \cdot \mathbb{1}[R_i \ge \alpha \cdot R_{ref}] \cdot \log q_\psi(i|s) \right]$
여기서 $\lambda$ 는 트레이드오프를 조절하고, $\alpha$ 는 성능 임계값이며, $q_\psi$ 는 판별기(discriminator)입니다.
적응형 판별기 (Adaptive Discriminator):
판별기 $q_\psi$ 는 주어진 상태 $s$ 를 생성한 에이전트를 예측하도록 훈련됩니다. 이는 정책과 상태 분포 사이의 상호 정보량을 최대화하여, 에이전트가 서로 구별되는 상태 영역을 탐색하도록 장려합니다. 결정적으로, 판별기는 새로운 인간 피드백에 따라 보상 모델 $r_\phi$ 가 진화함에 따라 지속적으로 적응합니다.
안정화 메커니즘 (Stability Mechanisms):
- 정책 상속 (Policy Inheritance): 보상 모델 업데이트 후, 앵커의 크리틱(critic) 및 액터(actor) 네트워크가 모든 다양한 에이전트로 전달됩니다. 이를 통해 집단이 다양성 인센티브를 다시 가동하기 전에 새로운 선호 신호에 빠르게 적응할 수 있도록 합니다.
- 일시적 중단 (Temporary Suspension): 보상 모델 업데이트 직후에는 다양성 보너스를 일시적으로 비활성화하여, 에이전트가 탐색에 앞서 새로운 목표에 안정화될 수 있도록 합니다.
질의 생성 (Query Generation):
집단은 다양한 정책을 통해 궤적 세그먼트를 생성합니다. 인간 피드백은 이러한 세그먼트 쌍에 대해 수집됩니다. 집단이 구별되는 행동을 유지하기 때문에, 결과적인 질의들은 더 뚜렷하게 구분되며, 이는 인간 평가자의 모호성을 줄여줍니다.

주요 기여

본 논문은 네 가지 주요 기여를 주장합니다:

선호 탐색 문제의 규명: 저자들은 단일 에이전트 PbRL 방식이 선호 공간의 지역 최적점에 수렴하여 전체 범위의 인간 선호를 탐색하는 데 실패함을 실증적으로 보여줍니다.
PB² 제안: 전문가 정책 없이도 성능 제약 메커니즘과 명시적 다양성 보너스를 통해 선호 공간의 커버리지를 넓히는 집단 기반 프레임 much 프레임워크를 제안합니다.
앙상블의 한계에 대한 실증적 증거: 신경망 앙상블 보상 모델링(PbRL에서 흔 \text{히 사용됨})이 실제로는 행동 다양성을 거의 유도하지 못하며, 단일 에이전트 방식과 유사한 성능을 보이고 보상 사후 분포(reward posterior)를 효과적으로 표현하지 못함을 보여줍니다.
강건성 및 효율성 입증: 실험 결과, PB²는 더 구별 가능한 질의를 생성하여 보상 학습 효율을 높이고, 유사성 임계값(similarity thresholds)을 통해 시뮬레이션된 일관되지 않은 피드백에 대해서도 최신 베이스라인 대비 높은 강건성을 보였습니다.

실험 결과

저자들은 세 가지 실험 환경에서 PB²를 평가했습니다:

지역 최적점 탈출 (내비게이션 작업):
제한된 피드백 예산(N=4 ~ N=20)이 있는 2D Navigation 및 PointMaze 환경에서, PB²는 단일 에이전트 베이스라인(QPA, PEBBLE, RUNE)이 갇혀 있던 지역 최적점을 성공적으로 탈출했습니다. PB²는 낮은 피드백 시나리오에서 QPA보다 최대 50% 높은 성능을 보이며 우수한 탐색 효율성을 입증했습니다.
일관되지 않은 피드백에 대한 강건성 (DMControl):
DMControl 로코모션 작업(Cheetah_run, Walker, Quadruped)을 사용하여, 궤적이 유사할 때 피드백이 무작위가 되는 유사성 임계값( $\epsilon$ )을 도입하여 인간의 불일치를 시뮬레이션했습니다.
- $\epsilon$ 이 증가함에 따라(노이즈가 많은 평가자 시뮬레이션), 단일 에이전트 방식과 듀얼링 포스테리어 샘플링(TS) 베이스라인은 성능이 크게 저하되었습니다.
- PB²는 특히 Quadruped_walk 및 Walker_walk와 같은 복잡한 작업에서 견고한 성능을 유지하며, 노이즈가 있는 조건에서도 베이스라인보다 현저히 높은 수익을 달성했습니다.
구별 가능성 및 다양성:
시각화를 통해 PB² 집단이 단일 에이전트 방식에 비해 더 넓은 상태 공간 영역을 커버하는 궤적을 생성함을 확인했습니다. 다양성 보너스는 필수적이었으며, 이것이 없으면 집단은 순수하게 착취적인 QPA와 유사하게 비슷한 행동으로 붕괴되었습니다.

의의 및 주장

본 논문은 PB²를 인간의 피드백 비용이 높고 제한적이며, 잠재적으로 일관되지 않은 시나리오를 위한 실질적인 해결책으로 제시합니다. 단일 에이전트에서 집단 기반 패러다임으로 전환함으로써, PB²는 PbRL의 근본적인 한계인 "선호 공간 탐색" 문제를 해결합니다.

저자들은 다음과 같이 주장합니다:

모호성 감소: 명확히 구별되는 행동을 생성함으로써 인간 평가자의 인지 부하를 줄이고 라벨링 오류의 영향을 최소 최소화합니다.
샘플 효율성 향 향상: 더 적은 피드백 쿼리로 더 나은 성능을 달 수 있어, 실제 인간 참여형(human-in-the-loop) 애플리케이션에 적합합니다.
지역 최적점 극복: 전통적인 단일 에이전트 PbRL 방식을 가두는 하위 최적 정책에서 벗어날 수 있는 메커니즘을 제공합니다.

이 연구는 명시적인 행동 다양성을 유지하는 것이 단순히 부차적인 목표가 아니라, 복잡한 환경에서 효과적인 선호 학습을 위한 필수 조건임을 시사하며, 표준 앙상블 방법이 탐색을 위해 충분하다는 가설에 도전합니다.

문제점: 로봇의 "에코 체임버(Echo Chamber)"

해결책: 다양한 탐험가 팀

작동 원리: "앵커(Anchor)"와 "보너스(Bonus)"

실험 결과

결론

기술적 요약: PB² – 집단 기반 방법을 통한 선호 공간 탐색

문제 정의

방법론: PB²

핵심 구성 요소

주요 기여

실험 결과

의의 및 주장

유사한 논문