🤖 machine learning

Formulating Reinforcement Learning for Human-Robot Collaboration through Off-Policy Evaluation

본 논문은 기록된 상호작용 데이터에 대한 오프폴리시 평가(off-policy evaluation)를 활용하여 인간-로봇 협업을 위한 최적의 상태 표현과 보상 함수를 자동으로 선택함으로써, 비용이 많이 드는 실시간 환경 상호작용의 필요성을 제거하고 안전이 중요한 응용 분야에서 강화 학습의 확장성을 향상시키는 새로운 오프라인 강화 학습 프레임워크를 제안한다.

원저자: Saurav Singh, Rodney Sanchez, Alexander Ororbia, Jamison Heard

게시일 2026-02-04

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Saurav Singh, Rodney Sanchez, Alexander Ororbia, Jamison Heard

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 인간과 함께 일하는 법을 가르치려 한다고 상상해 보십시오. 마치 조종석의 부조종사나 병원의 간호사처럼 말입니다. 이를 위해 당신은 로봇에게 시행착오를 통해 배우는 '두뇌'(강화 학습)를 주어야 합니다. 하지만 여기에 문제가 있습니다. 현실 세계에서는 로봇이 무엇을 배우기 위해 비행기를 추락시키거나 환자를 다치게 할 수는 없기 때문입니다. 그것은 너무 위험하고 비용이 많이 듭니다.

보통 로봇을 가르치기 위해 인간은 로봇의 '감각'(로봇이 어떤 데이터를 보는지)과 '동기'(무엇에 대해 보상을 받는지)를 수동으로 설계하는 데 수년을 소비해야 합니다. 만약 로봇이 실패한다면, 당신은 왜 실패했는지 추측하고 처음부터 다시 시작해야 합니다. 이는 마치 방음실 안에 서서 소리가 들리지 않는 상태로 라디오 다이얼을 눈을 감고 돌리며 튜닝하는 것과 같습니다.

이 논문은 방 안을 떠나지 않고도 그 라디오를 더 똑똑하게 튜닝하는 방법을 제안합니다.

핵심 아이디어: "시간 여행" 코치

저자들은 **오프-폴리시 평가(Off-Policy Evaluation, OPE)**라고 불리는 방법을 소개합니다. 이것을 "시간 여행 코치"라고 생각해 보십시오.

로봇이 실제 세상에서 연습하게 하는 대신, 연구진은 과거에 인간과 로봇이 어떻게 상호작용했는지를 기록한 방대한 양의 오래된 로그(기록)를 가져옵니다. 그리고 이 로그들을 사용하여 수천 가지의 서로 다른 "만약 ~했다면 어땠을까?"라는 시나리오를 시뮬레이션합니다.

문제: 그들은 어떤 '감각'(상태 공간)과 어떤 '보상 규칙'(보상 함수)이 로봇을 최고의 파트너로 만들 것인지를 알아내야 합니다.
해결책: 그들은 OPE 코치를 사용하여 오래된 로그를 살펴보고 이렇게 말합니다. "만약 우리가 로봇을 가르칠 때 이 특정 세트의 감각과 이 특정 보상 규칙을 사용했다면, 결과가 정확히 어떠했을 것이다."

이를 통해 그들은 단 한 번의 실제 상호작용도 위험을 감수하지 않고도 최적의 훈련 레시피를 선택할 수 있습니다.

실험: 두 가지 서로 다른 놀이터

이 방법이 효과가 있는지 증명하기 위해, 그들은 이 "시간 여행 코치"를 두 가지 매우 다른 환경에서 테스트했습니다.

1. 루나 랜더 (비디오 게임 테스트)

먼저, 로봇이 달에 우주선을 착륙시켜야 하는 *루나 랜더(Lunar Lander)*라는 비디오 게임을 사용했습니다.

테스트: 그들은 서로 다른 "감각"을 가지고 로봇을 가르치는 실험을 했습니다. 한 버전은 모든 것(위치, 속도, 각도)을 보았습니다. 다른 버전은 추가적인 "노이즈"(가짜 데이터)를 보았습니다. 세 번째 버전은 더 적은 정보(위치 데이터 없음)를 보았습니다.
결과: 코치는 로그를 살펴보고 "전체 뷰"가 가장 좋다는 것을 정확히 식별했습니다. 코치는 가짜 노이즈를 추가하면 로봇이 혼란을 느끼고, 위치 데이터를 제거하면 충돌한다는 사실을 알고 있었습니다.
보상: 그들은 또한 로봇에게 점수를 주는 다양한 방식도 테스트했습니다. 그들은 최고의 보상 시스템이 단순히 안전하게 착륙하는 것만이 아니라, 안정성을 유지하고, 연료를 효율적으로 사용하며, 부드럽게 착륙하는 것들의 조합이라는 것을 발견했습니다. 코치는 새로운 로봇을 만들어 테스트할 필요 없이 즉시 승자를 골라냈습니다.

2. NASA MATB-II (인간 스트레스 테스트)

다음으로, 연구진은 MATB-II라는 시뮬레이션을 사용하여 실제 인간 시나리오로 옮겨갔습니다. 마치 항공 관제사나 조종사가 네 가지 작업을 동시에 수행하며 분주하게 움직이는 상황을 상상해 보십시오:

추적(Tracking): 움직이는 타겟을 따라가는 것.
모니터링(Monitoring): 경보를 확인하기 위해 계기판을 지켜보는 것.
자원 관리(Resource Management): 연료 탱크의 균형을 맞추는 것.
통신(Communications): 무선 명령을 듣는 것.

이 연구에서 인간은 자동화 시스템과 함께 작업했습니다. 연구진은 다음과 같은 질문을 던졌습니다: 로봇이 언제 도와줄지 결정하기 위해 어떤 데이터를 사용해야 하는가?

데이터: 그들은 로봇에게 작업 데이터만 줄 것인지, 심박수 데이터만 줄 것인지, 아니면 작업 데이터, 심박수, 그리고 추정된 스트레스 수치를 혼합해서 줄 것인지를 시도했습니다.
발견: "시간 여행 코치"는 로봇이 모든 것(인간이 무엇을 하고 있는지, 심박수, 스트레스 수치)을 볼 수 있을 때 가장 잘 작동한다는 것을 결정했습니다. 그러나 코치는 스트레스 수치만 보는 것만으로는 충분하지 않으며, 로봇이 실제 작업 내용도 함께 봐야 한다는 것을 찾아냈습니다.
보상: 그들은 또한 로봇에게 보상을 주는 다양한 방식도 테스트했습니다. 그들은 나쁜 행동을 처벌하면서 동시에 좋은 행동에 보상을 주는 "균형 잡힌" 보상 시스템이 로봇이 유능한 파트너가 되는 법을 가르치는 데 가장 효과적이라는 것을 발견했습니다.

실제 현장 테스트: 로봇을 실전에 투입하다

코치를 사용하여 최적의 레시피를 고른 후, 그들은 실제로 로봇을 제작하여 19명의 자원봉사자와 함께 있는 방에 배치했습니다. 그들은 세 종류의 조력자를 비교했습니다:

규칙 기반 로봇 (Rule-Based Robot): 엄격한 매뉴얼을 따릅니다 (예: "인간이 스트레스를 받으면 작업 A를 넘겨받는다").
표준 RL 로봇 (Standard RL Robot): 코치가 찾아낸 최적의 레시피를 사용하여 로그로부터 학습한 로봇입니다.
미세 조정 RL 로봇 (Fine-Tuned RL Robot): 로그로부터 학습한 후, 자신이 협업하는 특정 인간에 맞춰 실시간으로 행동을 조정하는 로봇입니다.

결과:

표준 RL 로봇은 가장 일관성이 있었습니다. 움직이는 타겟을 추적하고 경보를 모니터링하는 데 가장 뛰어났습니다. 이 로봇은 인간의 스트레스를 가장 적게 유발했으며 가장 높은 신뢰를 쌓았습니다. 마치 언제 개입해야 할지 정확히 아는 믿음직하고 차분한 부조종사와 같았습니다.
규칙 기반 로봇은 단순한 작업에는 괜찮았지만, 상황이 혼란스러워지면 어려움을 겪었습니다.
미세 조정 RL 로봇은 흥미로웠습니다. 이 로봇은 특정 사람에게 완벽하게 적응했기 때문에 "통신" 작업(무선 명령 듣기)에서 가장 뛰어난 모습을 보였습니다. 하지만 업무량이 많아지면 다소 예측 불가능해졌습니다. 마치 대화는 잘하지만, 상황이 긴박해지면 연료 게이지를 보는 것을 잊어버리는 부조종사와 같았습니다.

요약

이 논문은 좋은 로봇 팀을 구축하는 방법을 알아내기 위해 로켓을 몇 번 추락시키거나 몇 명의 파일럿을 스트레스에 빠뜨릴 필요가 없다고 결론짓습니다. **오프-포리 평가(Off-Policy Evaluation)**를 사용하면, 오래된 데이터를 살펴보고, 수백만 가지의 훈련 시나리오를 시뮬레이션하며, 로봇을 켜기도 전에 최적의 '감각'과 '동기'를 선택할 수 있습니다.

이는 훨씬 더 안전하고 효과적인 인간-로봇 팀을 만드는 과정을 훨씬 더 빠르고, 저렴하며, 안전하게 만들어 줍니다. 이는 "추측하고 확인하는" 과정을 정밀하고 데이터에 기반한 과학으로 바꾸어 놓습니다.

기술 요약: 오프폴리시 평가(Off-Policy Evaluation)를 통한 인간-로봇 협업을 위한 강화학습 정식화

1. 문제 정의

강화학습(RL)은 동적인 환경, 특히 인간-로봇 상호작용(HRI)에서 순차적 의사결정을 최적화하는 데 상당한 잠재력을 보유하고 있다. 그러나 의료, 항공우주, 자율 주행과 같은 실제 안전 필수 환경에 RL을 배치하는 것은 상당한 장벽에 직면해 있다. 전통적인 RL 접근 방식은 광범위한 온라인 상호작용, 시행착오, 그리고 효과적인 상태 표현(state representations) 및 보상 함수(reward functions)를 정의하기 위한 도메인 전문 지식에 크게 의존한다. 이 과정은 비용이 많이 들고 시간이 오래 걸리며 안전하지 않을 수 있다.

오프라인 강화학습(Offline RL, ORL)은 수집된 데이터에 기반하여 학습함으로써 실시간 상호작용의 필요성을 완화하지만, 온라인 실험 없이 최적의 상태 공간과 보상 함수를 선택해야 한다는 결정적인 과제가 남아 있다. 또한, 오프라인으로 학습된 정책이 역동적인 인간-로봇 팀 구성 시나리오에서 안전하고 효과적인지 보장하기 위해서는 추가적인 실세계 배포를 필요로 하지 않는 견고한 평가 방법이 필요하다.

2. 방법론

저자들은 로그된 상호작용 데이터만을 사용하여 최적의 상태 공간 표현과 보상 함수를 체계적으로 선택하기 위해 **오프폴리시 평가(Off-Policy Evaluation, OPE)**를 활용하는 새로운 프레임워크를 제안한다. 이 접근 방식은 설계 단계에서 실시간 환경 접속이나 인간 참여형(human-in-the-loop) 피드백의 필요성을 제거한다.

2.1 OPE를 통한 상태 공간 선택

본 프레임워크는 도메인 지식 또는 특징 선택으로부터 도출된 여러 후보 상태 표현( $S_1, S_2, ..., S_K$ )을 평가한다.

오프라인 학습: 로그된 데이터셋을 사용하여 각 후보 상태 공간에 대해 오프라인 RL 에이전트(구체적으로 Constrained Q-Learning, CQL)를 학습시킨다.
OPE 추정: OPE 추정기(중요도 샘플링(Importance Sampling), 직접 방법(Direct Method), 또는 Fitted Q-Evaluation 등의 방법 활용)를 사용하여 온라인 상호작용 없이 각 학습된 정책의 기대 수익을 추정한다.
선택: 가장 높은 OPE 추정 수익을 기준으로 최적의 상태 공간( $S^*$ )을 선택하며, 이는 고성능 정책을 유도하는 능위에 따라 표현형들의 순위를 매기는 효과를 가진다.

2.2 OPE를 통한 보상 함수 선택

본 프레임워크는 마찬가지로 후보 보상 함수( $r_1, r_2, ..., r_M$ )가 고성능 정책과 저성능 정책을 구별해내는 능력을 평가함으로써 이를 평가한다.

정책 평가: 사전 정의된 고성능( $\pi^+$ ) 및 저성능( $\pi^-$ ) 정책을 OPE를 통해 각 후보 보상 함수 하에서 평가한다.
분리 메트릭(Separation Metrics): 보상 함수의 효과는 $\pi^+$ $π^{+}$ 와 $\pi^-$ $π^{-}$ 의 추정 수익 간의 발산(divergence)에 의해 정량화된다. 저자들은 다음을 활용한다:
- 평균 수익 차이 ( $\Delta V$ ).
- 쿨백-라이블러(Kullback-Leibler, KL) 발산.
- 젠슨-샤논(Jensen-Shannon, JS) 발산.
선택: 최적의 보상 함수( $r^*$ )는 좋은 정책과 나쁜 정책 사이의 분리를 최대화하는 것으로, 이는 강력한 학습 신호를 보장한다.

3. 실험적 검증

제안된 방법론은 두 가지 서로 다른 환경에서 검증되었다.

3.1 통제된 환경: OpenAI Gym Lunar Lander

목표: 통제된 환경에서 후보 상태 공간과 보상 함수를 선택하는 프레임워크의 능력을 평가한다.
상태 공간 결과: 세 가지 후보가 테스트되었다: 원본( $S_{orig}$ ), 노이즈가 추가되어 확장된 형태( $S_{more}$ ), 축소된 형태( $S_{less}$ ). OPE는 $S_{orig}$ 를 최적의 표현으로 정확히 식별하였으며, 이는 불필한 특징 확장이 성능을 저하시키고 과도한 압축이 중요한 정보를 누락시킨다는 것을 보여준다.
보상 함수 결과: 프레임워크는 상태 기반, 행동 기반, 종단(terminal) 보상을 포함하는 베이스라인 보상 함수가 대안들(예: 종단 전용 또는 행동 전용)보다 우수함을 성공적으로 식별하였다. 선택된 함수는 가장 높은 JS 발산을 나타내어, 효과적인 학습 신호를 제공할 수 있음을 확인하였다.

3.2 실제 환경: NASA-MATB-II 인간 대상 연구

목표: 다양한 작업 부하 조건 하의 9명의 참가자를 대상으로 한 다중 속성 작업 배터리-II(MATB-II) 시뮬레이션 데이터를 사용하여 인간-로봇 팀 구성에 대한 적용 가능성을 평가한다.
상태 공간 선택: 후보군에는 작업 데이터, 생리적 데이터(심박수, 호흡), 추정된 작업 부하의 조합이 포함되었다.
- 결과: 다중 모달 상태 공간( $S_{task+physio+wl}$ )이 가장 높은 OPE 수익을 기록했다. 그러나 추가 분석 결과, 작업 및 생리적 데이터가 존재할 때 작업 부하 데이터의 이점이 미미하다는 것이 밝혀졌다. 결과적으로 $S_{task+physio}$ 가 성능과 계산 효율성의 균형을 맞춘 선호되는 표현으로 선택되었다.
보상 함수 선택: 세 가지 보상 함수가 테스트되었다: 나쁜 행동을 처벌하는 방식( $r_1$ $r_{1}$ ), 좋은 행동을 보상하는 방식( $r_2$ $r_{2}$ ), 그리고 가중 합산 방식( $r_3$ $r_{3}$ ).
- 결과: 가중 합산 방식( $r_3$ )이 가장 높은 KL 및 JS 발산을 보여 최적의 것으로 선택되었으며, 이는 정책 성능 간의 최적의 분리를 나타낸다.

3.3 온라인 인간 대상 검증

19명의 참가자를 대상으로 수행된 후속 IRB 승인 연구에서는 세 가지 에이전트를 비교하였다:

규칙 기반 (Rule-Based, RB): 과부하 시 자동화를 활성화하는 사전 정의된 규칙.
RL 에이전트: OPE로 선택된 상태 공간과 보상 함수를 사용하여 오프라인에서 학습된 에이전트.
RL 미세 조정 (RL Fine-Tuning, RLFT): 실시간 상호작용을 통해 추가로 미세 조정된 RL 에이전트.

주요 발견 사항:

작업 성능: RL 에이전트는 추적 및 시스템 모니터링 작업에서 가장 일관된 성능을 보였으며, 다양한 부하 조건 하에서 응답 시간 및 실패율 측면에서 RB 및 RLFT를 유의미하게 능가하였다. RLFT 에이전트는 통신 작업에서는 뛰어난 성과를 보였으나, 자원 관리에서 불안정성을 보였고 과부하 시 더 높은 실패율을 나타냈다.
신뢰 및 작업 부하: RL 에이전트는 가장 높은 신뢰도를 받았으며, 가장 낮은 인지된 작업 부하와 가장 높은 유창성(fluency)을 기록했다. 반대로, RLFT는 신뢰성에 관한 사후 시험 점수는 높았음에도 불구하고, 가장 높은 주관적 작업 부하와 좌절감을 유도하였는데, 이는 실시간 미세 조정이 예측 불가능성과 인지적 부담을 초래할 수 있음을 시사한다.
자동화 빈도: RL 에이전트는 선택적이고 적절한 타이밍의 자동화를 활용한 반면, RLFT는 작업에 따라 과도하거나 부족한 자동화를 수행하여 일관되지 않은 성능을 보였다.

4. 주요 기여

OPE 기반 설계 프레임워크: 비용이 많이 드는 실시간 상호작용을 우회하여, 로그된 데이터로부터 최적의 상태 공간과 보상 함수를 선택하기 위해 오프폴리시 평가를 사용하는 프레임워크를 도입하였다.
데이터 기반 최적화: 체계적인 후보 구성 평가를 통해 통제된 환경(Lunar Lander)과 복잡한 인간-로봇 상호작용 시나리오(NASA-MATB-II) 모두에 대해 RL 정식화를 최적화하는 방법을 제시하였다.
경험적 검증: OPE 기반 선택이 적응성, 신뢰성 및 사용자 신뢰 측면에서 규칙 기반 베이스라인 및 미세 조정된 변형 모델보다 우수한 RL 에이전트를 생성함을 입증하였다.

5. 의의 및 주장

본 논문은 이 연구가 RL의 핵심적인 설계 결정을 자동화함으로써 실제 환경에서의 오프라인 RL의 실현 가능성과 확장성을 높인다고 주장한다. 시행착오와 온라인 상호작용에 대한 의존도를 줄임으로써, 본 프레임워크는 복잡한 HRI 설정을 위한 보다 신뢰할 수 있고 효과적이며 지속 가능한 접근 방식을 제공한다.

저자들은 결과에서 관찰된 중요한 트레이드오프를 강조한다: 개인화를 위한 미세 조정(RLFT)은 특정 작업 정렬을 개선할 수는 있지만, 시스템 안정성을 해치고 인지 부하를 높일 수 있다. 따라서 제안된 OPE 기반 오프라인 접근 방식은 적응성과 예측 가능성 사이의 균형을 맞추는 강력한 대안을 제공한다. 이 연구는 안전이 중요한 도메인에서 배포 전 OPE를 통한 견고한 정책 평가를 보장하는 것이 필수적이며, 생리적 데이터를 상태 표현에 통합하는 것이 광범적인 온라인 실험의 위험 없이 인간-로봇 팀 구성 성능을 크게 향상할 수 있음을 시사한다.