🤖 AI

Reward Learning through Ranking Mean Squared Error

이 논문은 인간의 궤적 평점에 기반하여 보상 함수를 추론하기 위해 순위 평균 제곱 오차 손실을 활용하는 새로운 보상 학습 방법인 R4(Ranked Return Regression for RL)를 소개하며, 이는 최소성과 완결성에 대한 공식적인 보장을 제공하는 동시에 로봇 벤치마크에서 기존의 선호 기반 접근 방식보다 경험적으로 더 우수한 성능을 보여준다.

원저자: Chaitanya Kharyal, Calarina Muslimani, Matthew E. Taylor

게시일 2026-06-05

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Chaitanya Kharyal, Calarina Muslimani, Matthew E. Taylor

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 걷기, 달리기 또는 컵 집는 법을 가르치고 있다고 상상해 보세요. 인공지능(특히 강화 학습)의 세계에서 로봇은 무언가를 시도하고, 잘했을 때 점수(보상)를 받으며 학습합니다. 하지만 문제는 완벽한 점수 체계를 설계하는 것이 매우 어렵다는 점입니다.

만약 당신이 로봇에게 "앞으로 이동하면 점수를 줄게"라고 말한다면, 로봇은 실제로 걷는 대신 점수를 얻기 위해 바닥에서 다리를 꿈틀거리는 방법을 찾아낼 수도 있습니다. 이것을 "보상 오설계(reward misspecification)"라고 부르며, 이는 마치 학생이 과목을 배우는 대신 정답지를 외워서 시험을 치는 것과 같습니다.

옛날 방식: "더 나은가, 더 나쁜가?"

이를 해결하기 위해 연구자들은 인간의 도움을 받기 시작했습니다. 코드를 작성하는 대신, 인간이 로봇을 관찰하며 "이 걸음걸이가 저것보다 더 낫다"라고 말하는 방식입니다. 이것을 **선호 기반 학습(Preference-Based Learning)**이라고 합니다.

블라인드 테스트를 생각해보세요. 심사위원에게 커피 두 잔을 주고 "어느 것이 더 나은가?"라고 묻습니다. 심사위원는 하나를 선택합니다.

문제점: 이 방식은 오직 한 가지 작은 정보(예/아니오)만을 제공합니다. 즉, 커피가 얼마나 더 나은지는 알려주지 않습니다. 또한, 두 잔 모두 형편없다면 심사위원은 "둘 다 똑같이 별로다"라고 말할 수는 있지만, 둘 다 정말 끔찍하다는 것을 표현할 수는 없습니다. 인간이 계속해서 비교 작업을 수행하는 것은 많은 노력이 필요하며, 전체적인 그림을 포착하지 못합니다.

새로운 방식: "커피 점수 매기기"

더 새로운 아이디어는 **평점 기반 학습(Rating-Based Learning)**입니다. 두 대상을 비교하는 대신, 인간에게 한 가지 대상만 보여주고 1점에서 5점 사이의 별점을 주도록 요청하는 것입니다.

장점: 이는 인간에게 더 쉽고(정신적 노력이 적음) 더 풍부한 정보를 제공합니다. 별점 1점은 커피가 최악임을 알려주고, 별점 5점은 최고임을 알려줍니다. 이는 상대적인 비교가 아닌 절대적인 품질을 포착합니다.

R4의 등장: "순위 점수" 코치

이 논문은 **R4 (Ranked Return Regression for RL)**라는 새로운 방법론을 소개합니다. R4를 인간의 별점으로부터 학습하는 특별한 점수 체계를 사용하는 스마트한 코치라고 생각해 보세요.

R4가 작동하는 방식은 다음과 같은 간단한 비유를 통해 이해할 수 있습니다:

설정: 로봇의 걸음걸이 뭉치가 있다고 상상해 보세요. 인간은 여기에 "나쁨", "보통", "좋음"이라는 평점을 매겼습니다.
기존 방식 (RbRL): 이전 방식들은 로봇의 내부 점수가 "좋음" 그룹의 정확한 중간값에 일치하도록 강제하려고 했습니다. 이는 마치 "등급이 '좋음'이라면 점수는 반드시 정확히 75점이어야 한다"라고 말하는 것과 같습니다. 이는 어떤 "좋음"은 겨우 좋은 수준이고, 어떤 것은 정말 놀라운 수준일 수 있다는 사실을 무시합니다. 즉, 모든 "좋음"을 똑같아 보이게 만듭니다.
R4 방식: R4는 **순위 평균 제곱 오차(rMSE)**라는 영리한 기술을 사용합니다.
- 특정 숫자에 점수를 맞추려고 하는 대신, R4는 다음과 같이 묻습니다. "내가 '나쁨' 걸음 하나, '보통' 걸음 하나, '좋음' 걸음 하나를 가져왔을 때, 이들을 올바른 순서로 나열할 수 있는가?"
- R4는 컴퓨터에 의해 조정 가능한 특별한 수학적 도구("소프트 소터(soft sorter)")를 사용합니다. 이 도구는 로봇이 예측한 세 가지 걸음걸이의 점수를 살펴보고, "너는 '좋음' 걸음이 '나쁨' 걸음보다 높다고 순위를 매겼는가?"라고 묻습니다.
- 만약 로봇이 순위를 잘못 매겼다면, 시스템은 로봇의 뇌를 부드럽게 자극하여 순위를 수정하도록 유도합니다.

왜 이것이 더 나은가요?

임의적인 경계선이 없음: "보통"이 어디서 끝나고 "좋음"이 어디서 시작되는지 결정할 필요가 없습니다. 그저 "이것이 저것보다 낫다"라고 말하기만 하면 됩니다.
다양성 유지: "좋음" 걸음이 90점이 될 수도, 95점이 될 수도 있게 해줍니다. 이를 통해 모든 "좋음"을 85점으로 강제하지 않고 자연스러운 차이를 보존합니다.
유연함: 만약 인간이 "매우 좋음"과 같은 새로운 카테고리를 추가하고 싶다면, 시스템은 망가지지 않고 이를 처리할 수 있습니다.

증명: 이론과 현실

저자들은 단순히 이것이 작동할 것이라고 추측한 것이 아니라, 수학적으로 증명했습니다.

보장: 그들은 만약 인간의 평점이 논리적이라면(즉, "좋음" 걸음이 "나쁨" 걸음보다 실제로 더 낫다면), R4는 해당 평점에 부합하는 최적의 보상 체계를 찾는 데 있어 보장된 성능을 가진다는 것을 보여주었습니다. 이는 유효한 솔루션을 놓치지 않고 문제를 해결하는 가장 효율적인 방법입니다.

실험: 로봇과 인간

연구팀은 두 가지 방식으로 R4를 테스트했습니다.

시뮬레이션된 인간: 로봇의 걸음걸이를 평가하는 척하는 컴퓨터 프로그램을 사용했습니다. R4는 기존 방식들보다 로봇이 더 잘 움직이고 더 빠르게 움직이도록 일관되게 가르쳤습니다.
실제 인간: 화면 속의 로봇 걸음걸이를 평가할 8명의 실제 사람을 고용했습니다.
- 결과: 인간들은 서로 매우 달랐음에도 불구하고(어떤 사람은 4점을 주고 어떤 사람은 12점을 주었으며, 엄격한 사람도 있고 관대한 사람도 있었습니다), R4는 여전히 기존 방식들보다 로봇이 더 잘 움직이도록 가르쳤습니다.
- 체감: 인간들은 로봇을 평가하는 것이 매우 쉽고 노력이 많이 들지 않는다고 보고했습니다(낮은 인지 부하).

핵심 요약

이 논문은 R4가 인간의 평점을 사용하여 로봇을 가르치는 더 스마트하고 유연하며 수학적으로 증명된 방법이라고 주장합니다. 인간에게 "이것이 저것보다 낫다"라는 식의 비교를 강요하는 대신, 단순한 평점을 내리게 하고, R4는 특별한 순위 기술을 사용하여 그 평점을 로봇을 위한 완벽한 스승으로 변환합니다. 이는 이전 방식들보다 더 잘 작동하고, 인간의 특이성을 잘 처리하며, 사람들이 사용하기에도 쉽습니다.

기술 요약: 순위 평균 제곱 오차(R4)를 통한 보상 학습

문제 정의
실제 문제에 강화 학습(RL)을 적용할 때, 보상 설계의 어려움은 빈번한 병목 현상이 됩니다. 수동적인 보상 엔지니어링은 오류가 발생하기 쉽고 시행착오를 거치는 과정이며, 이는 에이전트가 의도하지 않은 행동을 학습하게 만드는 보상 오설계(reward misspecification)로 이어질 수 있습니다. 보상 학습(인간의 피드백으로부터 보상을 추론하는 것)이 대안을 제시하지만, 기존 방법론들은 한계가 있습니다. 이진 비교에 의존하는 선호 기반 RL(PbRL)은 샘플 효율성이 낮고 절대적인 품질 평가 없이 상대적인 정보만을 제공합니다. 반대로, 최근의 등급 기반 RL(RbRL) 접근 방식은 인간이 이산적인 다중 클래스 등급(예: "나쁨", "보통", "좋음")을 부여할 수 있게 하여 더 풍부한 피드백을 제공합니다. 그러나 교차 엔트로피 손실(cross-entropy loss)을 사용하는 것과 같은 기존의 RbRL 방법들은 보상 모델링에 엄격한 제약을 가합니다. 즉, 명시적인 클래스 경계를 요구하며, 동일한 등급 클래스 내의 궤적들이 반드시 동일한 예측 수익(predicted returns)을 가져야 한다고 강제함으로써 클래스 내 다양성을 무시합니다.

방법론: RL을 위한 순위 반환 회귀 (R4)
저자들은 순위 평균 제곱 오차(rMSE) 손실을 사용하여 궤적-등급 쌍으로부터 보상 함수를 학습하는 새로운 등급 기반 RL 알고리즘인 R4를 제안합니다.

핵심 메커니즘: R4는 인간이 제공한 이산 등급을 서수적 타겟(ordinal targets)으로 취급합니다. 학습 중에 알고리즘은 각 등급 클래스에서 하나의 궤적을 샘플링합니다. 그 후 현재 보상 모델( $\hat{r}_\theta$ ) 하에서의 이 궤적들에 대한 예측 할인 반환(discounted returns)을 계산합니다.
미분 가능한 순위 지정: 등급을 독립적인 분류 레이블로 취급하는 대신, R4는 미분 가능한 정렬 연산자(구체적으로 Blondel et al., 2020의 soft ranks)를 사용하여 예측된 반환의 순위를 매깁니다. 이는 샘플링된 궤적들에 대응하는 소프트 랭크(soft ranks) 벡터( $\hat{R}$ )를 생성합니다.
손실 함수: 목적은 소프트 랭크와 인간이 제공한 등급 클래스( $c$ ) 사이의 평균 제곱 오차를 최소화하는 것입니다:
$L_{rMSE} = \frac{1}{n} \sum_{i=0}^{n-1} (\hat{R}(\tau_i) - c(\tau_i))^2$
이 접근 방식은 순위 연산을 통해 그래디언트(gradient)가 전파될 수 있도록 하여, 예측되는 반환의 상대적 순서가 서수적 인간 등급과 일치하도록 보상 모델을 조정할 수 있게 합니다.

주요 기여

알고리즘 혁신: 명시적인 클래스 경계를 정의할 필요 없이 서수적 등급으로부터 보상 함수를 학습하기 위해 새로운 rMSE 손실을 활용하는 R4를 도입했습니다.
이론적 보장: 저자들은 완만한 가정(결정론적 인간 보상, 가설 클래스 커버리지, 하드 랭크를 근사하는 미분 가능한 랭킹) 하에서 rMSE 목적 함수의 해 집합이 **최소(minimal)이자 완전(complete)**함을 입증했습니다. 이는 rMSE 손실을 만족하는 보상 함수의 집합이 인간의 등급에 의해 부과된 서수적 제약을 완벽하게 만족하는 보상 함수의 집합과 동일함을 의미합니다. 이와 대조적으로, 저자들은 기존 RbRL 목적 함수의 해 집합에는 인간의 실제 보상 함수가 포함되지 않을 수 있음을 증명했습니다.
실증적 검증: R4는 시뮬레이션된 등급과 인간 사용자 연구를 통해 오프라인 및 온라인 설정 모두에서 검증되었습니다. R4는 로봇 벤치마크(OpenAI Gym 및 DeepMind Control Suite)에서 기존의 등급 기반(RbRL) 및 선호 기반(PEBBLE, SURF, QPA) 방법들보다 일관되게 우수한 성능을 보이거나 대등한 성능을 보였습니다.
인간 연구: 8명의 참가자를 대상으로 한 윤리 승인 연구 결과, R4는 참가자들의 등급 행동에서 나타나는 상당한 상호 변동성에도 불구하고 RbRL보다 우수한 성능을 보였습니다. 참가자들은 낮은 인지적 부하(평균 NASA TLX 점수 2.05/7)를 보고하여, 등급 기반 피드백의 실현 가능성을 뒷받침했습니다.

결과

오프라인 설정: OpenAI Gym 도메인(Reacher, Inverted Double Pendulum, Half Cheetah)에서 R4로 학습된 보상 함수는 Soft Actor-Critic (SAC) 에이전트를 훈련할 때 RbRL에 비해 통계적으로 더 빠른 학습과 더 높은 최종 수익을 이끌어냈습니다.
온라인 설정: 6개의 DeepMind Control Suite 환경에서 R4로 학습된 에이전트는 3개 환경에서 모든 베이스라인보다 훨씬 빠르게 학습했으며, 4개 환경에서 더 높은 최종 수익을 달了했습니다.
인간 피드백: 사용자 연구에서 R4는 참가자들이 사용하는 등급 클래스의 수나 클래스 불균형이 존재함에도 불구하고, Reacher 및 Hopper 작업 모두에서 RbRL보다 유의미하게 빠른 학습과 높은 수익을 달성했습니다.
절제 실험(Ablation): 본 연구는 R4가 다양한 등급 빈(bin) 수에 대해 안정적으로 유지되는 반면, RbRL의 성능은 빈의 수가 최적 범위를 벗어날 때 저하됨을 확인했습니다.

의의
본 논문은 R4가 이론적으로 근거가 있을 뿐만 아니라 실질적으로 효과적인 보상 학습 방법을 제공함으로써 보상 학습의 중요한 진전을 이루었다고 주장합니다. 랭킹 기반 손실을 통해 인간 등급의 서수적 특성을 활용함으로써, R4는 기존의 등급 기반 방법들이 가진 제한적인 가정(고정된 경계 및 클래스 내 동질성 등)을 피합니다. 최소성 및 완전성에 대한 이론적 증명은 알고리즘 설계에 대한 엄격한 정당성을 제공하며, 인간 연구를 포함한 실증적 결과는 실제 피드백의 가변성에 대한 R4의 견고함과 선호 기반 대안에 비해 인간 평가자의 인지적 부담을 줄일 수 있는 능력을 입증합니다.