🤖 AI

Max-Q Selective Imitation for Human-in-the-Loop Online Robot Learning

이 논문은 MC Q-chunk 비평가(critic)와 강력한 승자 독식(winner-take-all) 액터 업데이트를 결합하여 인간의 개입을 신속하게 통합하는 동시에 자율적 자기 개선을 가속화하는 인간 참여형 온라인 강화 학습 방법인 Max-Q Selective Imitation을 소개하며, 이는 기존 베이스라인들과 비교했을 때 실제 및 시뮬레이션 로봇 작업에서 현저히 빠른 수렴 속도와 더 높은 성공률을 달성한다.

원저자: Zihang Wang, Yishan Wang

게시일 2026-08-18

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zihang Wang, Yishan Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

직접 해보며 배우는 로봇들은 오랫동안 어려운 역설에 직면해 왔습니다. 더 나아지기 위해서는 시도를 해야 하지만, 시도는 종종 비용이 많이 들거나 위험한 실수를 초래할 수 있다는 점입니다. 로봇이 섬세한 전자 부품을 조립하거나 복잡한 방을 통과해야 하는 실제 환경에서, 단 한 번의 실수로 부품이 부서지거나 기계가 손상될 수 있습니다. 이를 해결하기 위해 엔지니어들은 '인간 참여형 학습(human-in-the-loop learning)'이라는 안전망을 개발했습니다. 이 방식에서 로봇은 스스로 작업을 시도하지만, 인간이 면밀히 관찰하다가 로봇이 경로를 벗어날 때마다 개입하여 교정해 줍니다. 그러면 로봇은 이러한 교정의 순간들을 자신의 성공적인 시도와 함께 저장하여 나중에 학습합니다. 목표는 로봇이 인간의 도움으로부터 빠르게 배우면서도, 결국에는 그 도움 없이도 스스로 충분히 숙련될 만큼 실력을 키우는 것입니다. 그러나 인간의 조언을 흡수하면서도 그 조언에 의존하지 않게 만드는 것, 그리고 인간의 기술 수준 이상으로 발전하게 만드는 이 두 가지 필요 사이의 균형을 맞추는 법을 가르치는 것은 까다로운 과제로 남아 있었습니다.

연구자 Zihang Wang과 Yishan Wang의 새로운 연구는 이 균형을 다루는 신선한 방법을 제시합니다. 그들은 로봇이 이전 시스템보다 훨씬 빠르게 인간의 교정으로부터 배울 수 있으면서도, 로봇이 유능해진 이후에는 자신의 기술을 계속해서 정교하게 다듬을 수 있도록 하는 훈련 방법을 개발했습니다. 그들 접근법의 핵심은 로봇이 경험을 처리하는 방식에 두 가지 구체적인 변화를 주는 것입니다. 첫째, 연구진은 로봇이 다음에 일어날 일에 대한 추측을 바탕으로 행동의 미래 가치를 예측하는 대신, 완료된 작업의 실제 결과에 주목하게 했습니다. 그들은 행동을 작고 의미 있는 순서인 '청크(chunks)'로 묶고, 실제로 일어난 일을 바탕으로 해당 순서의 진정한 성공 여부를 계산합니다. 이는 로봇에게 어떤 인간의 교정이 진정으로 도움이 되었는지에 대해 불확실한 예측으로 정보를 희석하지 않고, 명확하고 정직한 그림을 제공합니다.

두 번째이자 아마도 더 영리한 부분은 로봇이 다음에 무엇으로부터 배울지 결정하는 방식입니다. 많은 시스템에서 로봇은 인간의 조언과 자신의 현재 행동을 평균화하려고 시도할 수 있는데, 이는 때때로 혼란이나 집중력 저하를 야기할 수 있습니다. 대신, 연구진은 로봇이 엄격한 판사처럼 행동하도록 프로그래밍했습니다. 모든 상황에 대해 로봇은 두 가지 옵션을 비교합니다. 즉, 지금 당장 자신이 취할 행동과 인간 또는 과거의 시도로부터 배운 특정 행동입니다. 그런 다음 로봇은 간단한 질문을 던집니다. "이 두 행동 중 어느 것이 더 나은가?" 만약 인간의 교정이 더 낫다면 로봇은 그것을 복제합니다. 만약 로라의 현재 행동이 더 낫다면, 자신의 계획을 고수합니다. 이는 자연스러운 전환을 만들어냅니다. 로봇이 아직 배우는 단계일 때는 인간의 리드를 따르지만, 로봇이 인간의 과거 교정보다 더 나아지는 즉시 인간의 데이터를 보는 것을 멈추고 자신의 성능을 개선하는 데 전적으로 집중합니다. 이는 로봇이 이미 자신의 수준을 넘어섰음에도 불구하고 구식 조언을 모방하려다 정체되는 것을 방지합니다.

연구진은 이 방법을 두 가지 방식으로 테스트했습니다. 첫째는 구멍에 핀을 삽ert하는 작업과 정사각형을 그리는 작업 같은 컴퓨터 시뮬레이션에서의 테스트였고, 둘 다음은 USB 드라이브를 집어 컴퓨터에 꽂는 임무를 맡은 실제 물리적 로봇 팔에서의 테스트였습니다. 시뮬레이션에서 이 새로운 방법은 약 30분의 훈련만으로 96%에서 99%의 성공률에 도달했습니다. 반면, HIL-SERL로 알려진 선도적인 기존 방식은 유사한 수준의 성공률에 도달하는 데 약 3~4시간이 걸렸습니다. 실제 세계 테스트에서의 차이는 더욱 극적이었습니다. 물리적 로봇에서 이 새로운 방법은 단 30분 만에 99%의 성공률을 달enc했습니다. 기존 방식은 최고 성능에 도달하기 위해 약 5시간의 훈련이 필요했습니다. 이는 로봇을 높은 신뢰 수준으로 훈련하는 데 필요한 시간을 10분의 1로 단축한 것입니다.

또한 연구진은 이 접근 방식을 여러 다른 기존 기술들과 비교했으며, 대부분의 기술이 동일한 시간 내에 높은 성공률에 도달하는 데 어려움을 겪는다는 것을 발견했습니다. 일부 방법은 인간과 로봇의 데이터가 섞인 데이터로부터 효과적으로 배우지 못해 낮은 성공률에서 정체되었고, 다른 방법들은 훨씬 더 오래 걸렸습니다. 연구진은 자신들의 방법이 로봇이 더 이상 관련이 없는 데이터로부터 배우려고 시도하는 흔한 함정을 피하기 때문에 작동한다고 언급했습니다. 인간의 조언과 자신의 성장하는 전문성 사이에서 선택하는 '승자 독식(winner-take-all)' 규칙을 사용함으로써, 로봇은 학습을 늦추는 혼란을 피할 수 있습니다. 결과는 인간의 지도로부터 빠르게 흡수하고 나서 스스로 과업을 마스터할 수 있는 이 특정한 조합이 복잡한 물리적 과업을 위한 매우 효율적인 방법임을 시사합니다. 연구진은 이 방법이 로봇의 내부 평가 품질에 의존하며, 행동 순서의 특정 길이는 각 작업에 맞춰 조정되어야 한다는 점을 인정하면서도, 시뮬레이션과 실제 하드웨어 모두에서 나타난 성능 향상은 상당하다고 밝혔습니다. 이 연구는 적절한 학습 전략이 있다면 로봇이 인간의 지도를 빠르게 흡수하고 나서 스스로 과업을 완수할 수 있음을 보여주며, 유능하고 자율적인 기계로 가는 길을 크게 앞당길 수 있음을 입증합니다.

기술 요약: 인간 참여형 온라인 로봇 학습을 위한 Max-Q 선택적 모방 (Max-Q Selective Imitation for Human-in-the-Loop Online Robot Learning)

1. 문제 정의

실제 환경에서의 로봇 강화 학습(RL)은 상호작용 비용, 접촉이 빈번한 실패 모드(contact-rich failure modes), 그리고 안전이 제한된 탐색과 같은 상당한 제약에 직면해 있습니다. 인간 참여형(Human-in-the-Loop, HIL) 프로토콜은 자율적인 롤아웃(rollout)과 인간의 개입을 결합하여 이를 완화하고자 시도합니다. 그러나 이러한 체제에서 효과적인 학습을 위해서는 두 가지 상충하는 요구 사항 사이의 균형을 맞추는 것이 필요합니다:

유용한 인간의 수정 사항(개입)을 신속하게 흡수하는 것.
인간의 시연이나 개입 수준을 넘어서는 지속적인 개선을 이루는 것.

기존 방식들은 이 두 가지를 동시에 만족시키는 데 어려움을 겪습니다. 개입에 대한 행동 복제(Behavioral Cloning)는 안정적이지만 보수적입니다. 제약 없는 Q-최대화(Q-maximization)는 분포 외(out-of-distribution, OOD) 과대평가를 초래합니다. IQL(Implicit Q-Learning)이나 AWR(Advantage-Weighted Regression)과 같은 방법들은 업데이트를 데이터의 서포트(support) 내에 유지하지만, 혼합된 HIL 버퍼 하에서는 정책( $\pi$ )을 이질적인 샘플 모드(개입 vs 자율 행동)로 반복적으로 끌어당깁니다. 이는 정책 분포(로봇이 실행하는 것)와 타겟-샘플 분포(학습 대상이 되는 것) 사이에 지속적인 간극을 만들어내며, 결과적으로 실행 시점의 분포 변화(distribution shift)와 추적 오차를 유발합니다. 반대로, SAC 스타일의 HIL 시스템(예: HIL-SERL)은 현재 정책에 따라 TD 백업을 수행하기 때문에, 샘플 평균 행동이 아닌 현재 정책에 종속되어 개입의 리턴(return)을 충분히 활용하지 못합니다.

2. 방법론

저자들은 두 가지 구성 요소인 MC Q-Chunk Critic과 Max-Q Selective Imitation을 제안합니다.

2.1 MC Q-Chunk Critic

현재 정책 하에서의 TD 백업(현재 $\pi$ 에 의해 가치 추정을 편향시키는 방식) 대신, 크리틱은 **샘플 평균 행동 평가(sample-average behavior evaluation)**를 수행합니다.

청크 레벨 스코어링(Chunk-Level Scoring): 액션 공간을 호라이즌 $h$ ( $a_{t:t+h-1}$ )의 청크 단위로 이산화합니다.
몬테카를로 회귀(Monte Carlo Regression): 크리틱 $Q_\theta$ 는 로그된 궤적의 몬테카를로(MC) 리턴( $G_t$ )에 직접적으로 회귀합니다.
$L_Q = \mathbb{E}_{(s_t, a_{t:t+h-1}, G_t) \sim \mathcal{B}} \left[ (Q_\theta(s_t, a_{t:t+h-1}) - G_t)^2 \right]$
이점: 이는 현재 정책의 TD 백업을 통해 개입 궤적의 가치가 희석되지 않도록 하여, 개입 궤적에 직접적으로 공로를 인정합니다. 이를 통해 높은 가치를 가진 인간의 수정 사항이 액터(actor)에게 명확히 전달되도록 보장합니다.
구현: 초기 랭킹 노이즈를 줄이기 위해 저자들은 선택적으로 크리틱 앙상블 평균 $\bar{Q}$ 를 스코어링에 사용하지만, 핵심 방법론은 단일 크리틱에 의존합니다.

2.2 Max-Q Selective Imitation

액터 업데이트 메커즘은 각 상태에서 두 가지 후보 사이의 "하드(hard)"한 선택을 수행함으로써 정책-타겟 간극을 해결합니다:

$a_\pi$ : 현재 정책 $\pi(s)$ 가 제안하는 행동.
$a_b$ : 리플레이 버퍼로부터의 샘플 행동 (주로 개입).

타겟 행동 $a^*$ 는 다음과 같은 **하드 승자 독식 규칙(hard winner-take-all rule)**을 통해 선택됩니다:
$a^* = \arg\max_{a \in \{a_\pi, a_b\}} Q_\theta(s, a)$

그 후 액터는 이 하드 승자를 향해 지도형 회귀(supervised regression, 행동 복제)를 통해 업데이트됩니다:
$L_\pi = \mathbb{E}_{s \sim \mathcal{B}} \left[ \| \pi_\phi(s) - a^* \|_2^2 \right]$

운영 역학(Operational Dynamics):

개입 단계(Intervention Phase): 인간의 개입이 현재 정책보다 높은 Q-값을 가질 때, 액터는 개입을 모방합니다.
자기 개선 단계(Self-Improvement Phase): 자율 정책이 개선되어 그 행동( $a_\pi$ )이 버퍼 샘플보다 높은 Q-값을 달성하면, 타겟 $a^*$ 는 $a_\pi$ 와 일치하게 됩니다.
간극 감소: 이 메커니즘은 개입으로부터의 학습에서 온폴리시(on-policy) 자기 개선으로 자동으로 전환됩니다. 이를 통해 실행 정책과 타겟-샘플 분포를 일치시켜, 일반적으로 HIL 학습에서 발생하는 분포 변화를 줄입니다. 결정적으로, 이는 소프트한 가중치나 수동으로 조정된 스코어 임계값 없이 수행됩니다.

3. 주요 기여

MC Q-Chunk Critic: 혼합된 HIL 궤적을 몬테카를로 회귀를 통해 평가하는 크리틱 아키텍처로, $\pi$ -부트스트랩된 TD 크리틱에 비해 개입 리턴의 활용도를 높입니다.
Max-Q Selective Imitation: 고(高) Q-값 개입 학습에서 온폴리시 자기 개선으로 동적으로 전환되는, 레이블이 필요 없는(label-free) 하드 스위칭 액터 업데이트를 통해 정책-타겟-샘플 간극을 효과적으로 좁힙니다.
실증적 검증: 시뮬레이션 작업(Peg Insertion, Square)과 실제 로봇 작업(USB pick-and-insertion)에서 우수한 성능을 입증하였으며, 최신 기술(SOTA) 베이스라인보다 훨씬 빠르게 높은 성공률을 달연했습니다.

4. 실험 결과

시뮬레이션 작업

본 방법론은 Peg Insertion 및 Square 작업에 대해 HIL-SERL, MCBC(Q-chunk 미적용), EXPO, E2HiL을 대상으로 평가되었습니다.

Peg Insertion: ACT QChunk-MCBC 변형 모델은 첫 번째 체크포인트 이후 0.32시간(약 4,400 스텝) 내에 99% 성공률을 달성했습니다. 반면, HIL-SERL은 100% 성공에 도달하기 위해 약 3.2시간(100k 스텝)이 소요되었습니다.
Square: ACT QChunk-MCBC는 0.38시간 만에 99% 성공률에 도달했습니다. HIL-SERL은 결국 100%에 도달했으나, 3.85시간이 걸렸습니다.
비교: EXPO 및 E2HiL과 같은 경쟁 방법들은 현저히 낮은 피크 성공률(각각 30% 및 กัน 10%)을 보이거나 훨씬 더 긴 학습 시간을 요구했습니다.

실제 로봇 작업

Franka 클래스 암과 손목 카메라를 사용하여 USB pick-and-insertion 작업을 수행했습니다.

설정: 20회의 인간 시연, 자율 롤아웃, 그리고 인간 개입.
성능: ACT QChunk-MCBC는 30분(0.5시간) 만에 99% 성공률에 도달했습니다.
베이스라인: HIL-SERL은 100% 성공에 수렴하기 위해 약 5시간이 소요되었습니다.
효율성: 제안된 방법은 HIL-SERL과 비교하여 학습 시간을 10배가량 단축하면서도 높은 성공률을 유지했습니다.

5. 의의 및 주장

본 논문은 제안된 방법이 인간의 수정 사항을 흡수하는 것과 자율 정책을 정교화하는 것 사이의 근본적인 긴장 관계를 성공적으로 해결한다고 주장합니다. Q-chunk를 통한 가치 추정과 Max-Q 선택적 모방을 통한 정책 업데이트를 분리함으로써, 시스템은 다음과 같은 이점을 가집:

유익할 경우 개입을 빠르게 흡수합니다.
역사적 버퍼 데이터보다 로봇의 정책이 우수해지면 자동으로 온폴리시 학습으로 전환합니다.
복잡한 소프트 스위칭 메커니즘이나 수동으로 튜닝된 스위칭 임계값 없이도 정책-타겟-샘플 간극을 제거하여 실행 시점의 분포 변화를 줄입니다.

저자들은 이 접근 방식을 상호작용 예산이 제한적이고 안전이 중요한 실제 로봇 학습을 위한 실질적인 솔루션으로 제시하며, 고성능 정책을 몇 시간이 아닌 몇 분 만에 학습할 수 있음을 입증했습니다.

6. 한계점

저자들은 다음과 같은 몇 가지 한계를 인정합니다:

크리틱 의존성: 스위칭 결정은 크리틱의 품질에 의존합니다. 초기 Q-추정치가 노이즈가 심할 경우 최적이 아닌 타겟을 선택할 수 있습니다(앙상블 기법으로 일부 완화됨).
분산: 몬테카를로 리턴은 TD 백업보다 분산이 크며, 안정적인 타겟을 위해 충분한 에피소드 완료가 필요합니다.
하이퍼파라미터: 청크 호라이즌 $h$ 는 여전히 태스크 의존적인 하이퍼파라미터로 남아 있습니다.
범위: 다중 작업(multi-task)에 대한 광범위한 평가와 두 후보 개선 연산자(two-candidate improvement operator)에 대한 공식적인 특성화는 향후 과제로 남겨두었습니다.