🤖 machine learning

Conservative Query and Adaptive Regularization for Offline RL Under Uncertainty Estimation

본 논문은 불확실성 추정 하에서의 보수적 쿼리 및 적응형 정규화라고 불리는 경량 프레임워크를 제안하며, 이는 정보가 풍부한 선호도 쿼리를 유도하고 데이터 수준의 제약을 동적으로 조정하기 위해 모스 네트워크(Morse network)를 활용하여 행동 불확실성을 추정함으로써 D4RL 벤치마크에서의 오프라인 강화 학습 성능을 향상시킨다.

원저자: Li-Rong Zhou, Qin-Wen Luo, Sheng-Jun Huang

게시일 2026-07-22

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Li-Rong Zhou, Qin-Wen Luo, Sheng-Jun Huang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 걷는 법을 가르치려 한다고 상상해 보세요. 하지만 로봇이 실제 세상에서 연습하게 할 수는 없습니다. 아마도 비용이 너무 많이 들거나, 너무 위험하거나, 혹은 로봇이 무언가를 부술 수도 있기 때문일 것입니다. 대신, 여러분은 로봇에게 다른 누군가가 걷는 모습이 담긴 거대한 비디오 라이브러리를 제공합니다. 이것이 바로 **오프라인 강화 학습(Offline Reinforcement Learning)**의 세계입니다. 로봇은 스스로 한 걸음도 내디뎌 보지 못한 채, 오직 기존의 영상들을 관찰하는 것만으로 전략을 배워야 합니다. 까다로운 점은, 로봇이 영상에서 본 동작을 따라 하려고 할 때, 만약 영상에 없던 약간 다른 동작을 시도하게 되면 혼란에 빠지거나 넘어질 수 있다는 것입니다. 이것을 "분포 변화(distribution shift)" 문제라고 부릅니다: 로봇이 자신이 본 적 없는 것들에 대해 추측하고 있는 상태를 말합니다.

로봇을 더 똑똑하게 만들기 위해, 과학자들은 때때로 인간 전문가에게 도움을 요청하도록 허용합니다. 예를 들어 로봇이 "왼쪽으로 발을 내디딜까요, 오른쪽으로 내디딜까요?"라고 물으면, 전문가는 "왼쪽이 더 낫다"라고 답하는 식입니다. 이것을 **행동 선호도 질의(action preference query)**라고 합니다. 이는 실제로 그 동작을 직접 해보지 않고도 힌트를 얻는 것과 같습니다. 하지만 주의할 점이 있습니다. 만약 로봇이 영상에서 본 것과 너무 다르거나 아주 기괴한 동작에 대해 질문한다면, 전문가의 조언이 오히려 로봇의 내부 수학 계산을 혼란스럽게 만들어 잘못된 것을 배우게 할 수도 있습니다. 큰 문제는, 어떻게 하면 로봇을 곤경에 빠뜨리지 않으면서도 '올바른 종류'의 도움을 요청할 것인가 하는 점입니다.

이 논문은 정확히 이 문제를 해결하기 위해 CQ2L(Conservative Query Q-Learning)이라는 영리한 새로운 시스템을 소개합니다. 저자인 난징 항공 우주 대학교의 주리롱(Li-Rong Zhou), 루오친원(Qin-Wen Luo), 셩준황(Sheng-Jun Huang)은 기존 방식들이 다소 무모했다는 점을 깨달았습니다. 기존 방식들은 로봇이 생각한 동작이라면 무엇이든 질문을 던졌는데, 그 동작이 훈련 영상과는 전혀 상관없는 것이라 할지라도 말입니다. 이는 종종 로봇이 나쁜 조언에 취해 비틀거리게 만들었습니다.

저자들은 이를 해결하기 위해 두 단계의 안전망을 제안합니다. 첫째, 그들은 **모스 신경망(Morse neural network)**이라는 특별한 도구를 사용합니다. 이것을 "이상함 감지기(weirdness detector)"라고 생각해 보세요. 로봇이 도움을 요청하기 전에, 이 감지기는 "이 새로운 동작이 우리가 이전에 봤던 것인가, 아니면 완전히 생소한 것인가?"를 확인합니다. 만약 동작이 너무 생소하다면(분포 외 데이터라면), 시스템은 "안 돼, 그건 묻지 마. 너무 위험해"라고 말합니다. 즉, 영상 라이브러리에 있는 동작들과 가까운 동작에 대해서만 질문하도록 허용하는 것입니다. 이것이 바로 **보수적 질의(Conservative Query)**입니다.

둘째, 로봇이 좋은 조언을 얻었을 때조차, 시스템은 그 조언을 얼마나 받아들여야 할지 알아야 합니다. 저자들은 적응형 정규화(Adaptive Regularization) 시스템을 만들었습니다. 로봇에게 전문가의 조언을 듣는 '볼륨 조절 손잡이'가 있다고 상상해 보세요. 로봇이 매우 익숙한 동작(안전한 상황)을 하고 있다면, 영상 데이터만으로도 충분히 잘 배울 수 있으므로 볼륨을 낮춥니다. 하지만 로봇이 약간 새롭지만 여전히 안전한 동작을 시도하고 있다면, 전문가의 조언이 길잡이가 될 수 있도록 볼륨을 높입니다. 만약 로봇이 위험한 동작을 시도한다면, 시스템은 볼륨을 끝까지 높여서 로봇을 다시 안전한 상태로 강제 복귀시킵니다. 이러한 동적인 조절은 로봇이 너무 고집을 피우거나 너무 쉽게 휘둘리는 것을 방지합니다.

연구진은 가상 치타를 달리게 하거나 개미가 미로를 통과하게 하는 과제가 포함된 유명한 벤치마크인 D4RL에서 이 아이디어를 테스트했습니다. 그들은 이 방법을 다른 최상위 알고리즘들과 비교했습니다. 결과는 그들의 "스마트한 질문하기" 방식이 표준적인 오프라인 학습보다 더 효과적임을 보여주었습니다. 실제로, 이 방식은 실제 환경에서 오랫동안 연습할 수 있는 방법들보다 훨씬 적은 질문(다른 방법들이 250,000번의 실제 단계 과정을 거치는 동안 단 90,000번의 선호도 질의만 수행함)만으로도 대등하거나 때로는 더 나은 성능을 보였습니다.

이 논문은 무작위적인 동작에 대해 단순히 조언을 구하는 기존 방식이 학습을 불안정하게 만들고 나쁜 결과를 초래한다는 점을 명시적으로 반박합니다. 저자들은 무엇을 질문하고 어떻게 경청할지를 주의 깊게 결정함으로써, 정적인 라이브러리의 안전함과 전문가 가이드의 상승 효과라는 두 마리 토끼를 모두 잡을 수 있다고 제격합니다. 즉, 로봇이 충돌할 위험 없이 오프라인 학습을 더 똑똑하고 안전하게 만드는 방법입니다. D4RL 벤치마크에 대한 실험은 이 접근 방식이 오프라인 학습을 더 스마트하고 안전하게 만드는 견고하고 신뢰할 수 있는 방법임을 시사합니다.

기술 요약: 불확실성 추정 하에서의 오프라인 RL을 위한 보수적 쿼리 및 적응형 정규화

1. 문제 정의

오프라인 강화학เรียน(RL)은 추가적인 환경 상호작е션 없이 정적 데이터셋으로부터 효과적인 정책을 학습하는 것을 목표로 한다. 그러나 성능은 근본적으로 데이터셋의 커버리지에 의해 제한된다. 주요 과제는 **분포 변화(distribution shift)**로, 학습된 정책이 데이터 분포 외(out-of-distribution, OOD)의 행동을 선택함으로써 부정확한 가치 추정과 오차 전파를 유발하는 것이다.

행동 선호도 쿼리(action preference query) 메커니즘은 온라인 상호작션 없이도 전문가의 피드백(행동 쌍 비교)을 통해 정책을 개선할 수 있는 방법을 제공하지만, 기존 방식(예: OAP [41])은 두 가지 결정적인 한계에 직면해 있다:

쿼리 시프트(Query Shift): 기존 전략은 유클리드 거리에만 기반하여 쿼리할 행동을 선택한다. 이는 데이터셋에서 매우 멀리 떨어진 OOD 행동을 선택하게 만들 수 있다. 가치 정규화 방법론에서 이는 부정확한 가치 추정과 불안정한 정책 업데이트를 유발하는데, 정규화 항이 OOD 행동의 Q-값을 잘못 높일 수 있기 때문이다.
비효율적 활용(Inefficient Exploitation): 현재의 접근 방식은 쿼리된 선호도를 훈련 내내 정적인 제약 조건으로 취급한다. 이들은 정책이 개선됨에 따라 이러한 선호도에 대한 의존도를 동적으로 조절하지 못하며, 신뢰할 수 있는 행동에 불필요한 제약을 가하거나 인-디스트리뷰션(in-distribution) 행동에 대한 벨만 업데이트의 낙관적 잠재력을 활용하지 못하는 경우가 많다.

2. 방법론

저자들은 불확실성 추정 하에서의 **보수적 쿼리(Conservative Query)**와 **적응형 정규화(Adaptive Regularization)**를 통합하는 경량 프레임워크를 제안한다. 핵심 구성 요소는 다음과 같다:

A. Morse 신경망을 통한 불확실성 추정
이 방법은 사전 학습된 불확실성 추정기로서 Morse 신경 네트워크 [10, 4, 45, 33]를 사용한다.

학습: 네트워크는 오프라인 데이터셋 $D$ 에 대해 학습되어 "Morse 점수" $M_\phi(s, a) \in [0, 1]$ 를 출력한다. 점수가 1이면 해당 행동이 데이터 분포의 모드 서브매니폴드(mode submanifold)에 있음을 나타내며, 점수가 낮을수록 편차(높은 불확실성/OOD 정도)가 큼을 의미한다.
메커니즘: 네트워크는 데이터 분포와 네트워크 출력 사이의 KL 발산을 최소화하여, 상태-행동 쌍이 오프라인 데이터셋에서 유래되었는지에 대한 확신도를 효과적으로 정량화한다.

B. 불확실성 기반 보수적 쿼리
쿼리 시프트를 방지하기 위해, 본 프레임워크는 오라클(예: 더 강력한 정책의 Q-함수)에 쿼리하기 전에 후보 행동을 필터링한다.

선택 전략: 단순 거리 기반 선택 대신, 데이터셋으로부터의 발산 정도에 따라 후보 행동의 순위를 매기되, 데이터셋 인식 임계값 $\delta = \mu - n\sigma$ (여기서 $\mu$ 와 $\sigma$ 는 데이터셋 상의 Morse 점수의 평균과 표준편차)를 사용하여 필터링한다.
제약: $M_\phi(s, \hat{a}) > \delta$ 인 행동만이 선호도 쿼리를 위해 유지된다. 이는 쿼리된 행동이 데이터셋 분포 근처에 머물도록 보장하여, 벨만 업데이트의 안정성을 유지하고 OOD 값의 과대평가를 방지한다.

C. 불확실성 인지 적응형 정규화
선호도 정보를 효과적으로 활용하기 위해, 본 방법은 고정된 정규화 계수를 데이터 의존적 계수로 대체한다.

동적 변조: 정규화 강도 $\alpha(s, a)$ $α (s, a)$ 는 현재 정책의 행동에 대한 Morse 점수에 따라 동적으로 조정된다.
- 높은 인-디스트리뷰션 확신: 행동이 데이터셋에 가까우면(높은 Morse 점수), 정규화 강도가 감소하여(0에 근접) 정책이 낙관적인 벨만 업데이트로부터 충분한 이득을 얻을 수 있게 한다.
- 낮은 인-디스트리뷰션 확신: 행동이 OOD인 경우(낮은 Morse 점수), 더 강한 정규화를 적용하여 정책이 데이터셋 분포로 돌아오도록 유도한다.
비선형 스케일링: 선형 스케일링이 약한 제약만을 초래하는 경우가 많으므로, 차별적 능력을 확보하기 위해 Morse 점수의 분포를 바탕으로 정규화 강도를 조절하는 비선형 스케일링 함수를 도입한다.

D. CQL과의 통합
이 프레임워크는 대표적인 가치 정규화 알고리즘인 **Conservative Q-Learning (CQL)**에 통합된다. 결과물인 **Conservative Query Q-Learning (CQ2L)**은 적응형 정규화 항을 포함하도록 CQL 목적 함수를 수정하며, 보수적 쿼리 메커니즘을 통해 선호되는 행동 $\tilde{a}$ 를 업데이트한다.

3. 주요 기여

Morse 기반 불확실성 추정: 후보 행동이 오프라인 데이터셋에 대해 갖는 OOD 정도를 정량화하기 위해 Morse 신경 네트워크를 도입하였으며, 이는 쿼리 및 정규화 모두의 기초 역할을 한다.
불확실성 기반 보수적 쿼리: 쿼리 후보를 필터링하여 이들이 데이터셋 분포 내에 머물도록 보장함으로써, 쿼리 시프트를 완화하고 가치 정규화 프레임워크에서의 가치 추정을 안정화하는 메커니즘을 제공한다.
불확실성 인지 적응형 정규화: 현재 정책 행동의 신뢰도에 따라 비관적 정규화와 낙관적 벨만 업데이트 사이의 균형을 동적으로 맞추어, 신뢰할 수 있는 행동에 대한 비효율적인 제약을 피하는 동적 제약 메커로니즘을 제공한다.
가치 정규화로의 확장: 행동 선호도 쿼리 패러다임을 기존에 어려움을 겪었던 영역인 가치 정규화 방법론(특히 CQL)으로 성공적으로 확장하였다.

4. 실험 결과

본 방법은 MuJoCo 로코모션 및 AntMaze 내비게이션 작업을 포함하는 D4RL 벤치마크에서 평가되었다.

오프라인 성능: CQ2L은 최첨단 오프라인 RL 베이스라인(AWAC, IQL, CQL, TD3+BC 포함) 및 이전의 행동 선호도 쿼리 방식인 OAP와 비교하여 우수하거나 경쟁력 있는 성능을 달성했다. 특히, MuJoCo 작업에서 91.4, AntMaze 작업에서 75.8의 평균 정규화 점수를 기록하여, 오프라인 스킴에서 각각 89.9와 69.3를 기록한 OAP를 능가했다.
오프라인-투-온라인(O2O) 효율성: O2O 설정에서 CQ2L은 단 90,000회의 선호도 쿼리만을 사용했다(이는 파인튜닝 베이스라인들이 사용하는 250,000회의 온라인 상호작션 단계나 OAP의 100,000회 쿼리보다 현저히 적은 수치이다). 그럼에도 불구하고, 광범한 온라인 파인튜닝을 거친 대부분의 베이스라인보다 뛰어난 성능을 보였으며, 파인튜닝된 CQL과 대등하거나 더 나은 결과를 달성했다.
절제 연구(Ablation Studies): 실험을 통해 보수적 쿼리(CQ)와 적응형 정규화(AR) 구성 요소가 모두 필수적임을 확인했다.
- 밀집 보상(dense-reward), 저차원 작업(MuJoCo)에서는 적응형 정규화가 벨만 업데이트를 활용하는 데 결정적이었다.
- 희소 보상(sparse-reward), 고차원 작업(AntMaze)에서는 보수적 쿼리가 OOD 행동의 과대평가를 방지하고 데이터 매니폴드 내에서의 "궤적 스티칭(trajectory stitching)"을 촉진하는 데 필수적이었다.

5. 의의 및 주장

본 논문은 제안된 프레임워크가 행동 선호도 쿼리를 가치 정규화 방법론에 통합할 때 발생하는 근본적인 불안정성을 해결한다고 주장한다. 불확실성 추정을 활용함으로써, 이 방법은 다음을 달 수 있다:

쿼리 시프트 완화: 쿼리를 인-디스트리뷰션 영역으로 제한함으로써 선호도 쿼리가 가치 함수를 불안정하게 만들지 않도록 보장한다.
정보 활용 최적화: 보수적 제약과 낙관적 벨만 업데이트 사이의 트레이드오프를 동적으로 조절하여, 신뢰할 수 있는 행동에 대한 학습을 방해하지 않으면서 선호도 정보가 효과적으로 사용되도록 한다.
적용 범위 확대: 행동 선호도 쿼리가 가치 정규화 알고리즘에도 성공적으로 적용될 수 있음을 입증하여, 온라인 상호작션의 비용과 위험 없이 오프라인 RL 성능을 향상시킬 수 있는 새로운 방향을 제시한다.

저자들은 자신들의 방법이 다양한 작업에서 우수한 성능을 달성하는 견고하고 경량화된 솔루션을 제공하며, 불확실성 기반 쿼리와 적응형 정규화의 결리 효과를 검증했다고 결론짓는다.