💻 computer science

Learning Safe Behaviour via Justified Human Preferences and Hypothetical Queries

이 논문은 인간의 행동 정당성을 활용하여 가설적 쿼리를 생성함으로써 안전성과 샘플 효율성을 크게 향상시키는 동시에 인간의 학습 부담을 줄이는, 안전 필수 환경을 위한 안전 학습 모델인 JPAL-HA를 소개한다.

원저자: Ilias Kazantzidis, Timothy J. Norman, Yali Du, Christopher T. Freeman

게시일 2026-07-13

📖 5 분 읽기🧠 심층 분석

원저자: Ilias Kazantzidis, Timothy J. Norman, Yali Du, Christopher T. Freeman

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 갓 태어난 로봇에게 까다로운 섬을 항해하는 법을 가르치고 있다고 상상해 보세요. 이 섬에는 마른 땅, 벽, 목표 지점, 그리고 치명적인 물웅덩이(모트)가 있습니다. 만약 로봇이 물에 발을 들이면 "죽게" 되고, 수업은 망쳐지게 됩니다.

과거의 로봇 훈련 방식에서는 **강화 학습(Reinforcement Learning)**이라는 방법을 사용했습니다. 이것은 마치 유리 꽃병이 가득한 방에서 아장아장 걷는 유아를 내버려 두는 것과 같습니다. 당신은 아이가 아무것도 깨뜨리지 않았을 때 "잘했어!"라고 말하고, 무언가를 깨뜨렸을 때 "못했어!"라고 말합니다. 문제는, 아이가 위험이 어디에 있는지 배우기 위해서는 반드시 꽃병 하나(혹은 두 개, 혹은 열 개)를 깨뜨려봐야 한다는 것입니다. 현실 세계에서 로봇이 자동차를 충돌하거나 사람을 다치게 할 수 있는 상황이라면, 우리는 이런 "시행착오(trial and error)" 방식의 접근법을 감당할 여유가 없습니다.

이 논문은 JPAL-HA라고 불리는 새로운 로봇 교육법을 소개합니다. 이것은 단순히 "잘했다" 또는 "못했다"라고 말하는 것이 아니라, 왜 그런지를 설명해주고, 위험이 실제로 발생하기 전에 아이가 그 위험을 미리 상상할 수 있도록 도와주는 매우 인내심 있고 똑똑한 부모를 고용하는 것과 같습니다.

이 새로운 방식의 두 가지 초능력

저자인 일리아스 카잔티디스(Ilias Kazantzidis)와 그의 팀은 로봇을 더 안전하고 빠르게 훈련시키기 위해 두 가지 핵심 아이디어를 바탕으로 이 시스템을 구축했습니다.

1. "왜" (정당화된 선호도 - Justified Preferences)
보통 사람이 로봇을 가르칠 때는 두 가지 움직임 중 하나를 선택합니다: "나는 오른쪽보다 왼쪽으로 움직이는 것을 선호해."
새로운 방식은 여기에 두 번째 층을 추가합니다: "나는 왼쪽을 선호해, 왜냐하면 오른쪽은 너를 죽게 만들 것이기 때문이야."
사람은 자신의 선호도와 함께 단순한 "경고"(예/아니오)를 제공합니다.

비유: 아이가 "지붕에서 뛰어내려도 돼요?"라고 물었을 때, 부모가 "안 돼, 나는 네가 땅 위에 있기를 선호해"라고 말한다고 가정해 봅시다. 기존 방식에서는 아이가 단순히 "땅 위에 있음 = 좋음"이라고 알게 됩니다. 하지만 이 새로운 방식에서 부모는 "땅 위에 있어라, 왜냐하면 점프하는 것은 위험하기 때문이다"라는 설명을 덧붙입니다. 이 작은 추가 정보는 로봇이 단순히 선호도를 아는 것을 넘어, 위험을 훨씬 더 빨리 이해하도록 돕습니다.

2. "만약 ~라면?" (가설적 행동 - Hypothetical Actions)
이것이 진짜 마법 같은 기술입니다. 로봇이 질문을 던졌을 때 부모가 "경고! 그 움직임은 위험해"라고 답하면, 로봇은 그냥 멈추지 않습니다. 로봇은 즉시 "알겠습니다, 그럼 제가 아직 시도해보지 않은 이 다른 움직임은 어떤가요? 그것은 안전한가요?"라고 묻습니다.

비유: 이것은 마치 범죄 현장의 탐정과 같습니다. 만약 탐정이 "범인은 왼쪽으로 갔다"라는 단서를 발견했다면, 탐정은 거기서 멈추지 않습니다. 그는 즉시 "그렇다면 뒷문은 어땠나? 문은 잠겨 있었나? 창문은 열려 있었나?"라고 묻습니다. 탐정에게 5분마다 새로운 질문을 던지며 다시 찾아오게 하는 대신, 한 번에 전체적인 "위험 구역"을 파악하는 것입니다.

이 논문이 실제로 발견한 것

연구진은 이 방법을 '섬 항해 게임' 컴퓨터 시뮬레이션에서 테스트한 후, 실제 방 안에서 작은 이동형 로봇(Thymio)을 사용하여 테스트했습니다.

시뮬레이션 결과:

안전성: 기존 방식(Q-learning 등)은 처참했습니다. 테스트 결과, 로봇은 올바른 경로를 배우기 전까지 평균 16.54회 사망(물에 빠짐)했습니다.
새로운 방식: JPAL-HA를 사용했을 때, 로봇은 평균 0.02회만 사망했습니다. 이는 사실상 제로에 가깝습니다.
속도: 로봇은 새 방식을 통해 단 3번의 에피소드(시도) 만에 완벽한 경로를 찾아냈습니다. 기존 방식은 경로를 찾는 데 22.9 에피소드가 걸렸으며, 그 과정에서 계속 죽었습니다.
인간의 노력: "왜?"라고 묻고 "만약 ~라면?"이라고 묻는 것이 인간 훈련자를 번거롭게 할 것이라고 생각할 수 있습니다. 놀랍게도, 논문은 이 새로운 방식이 오히려 인간의 방해를 줄였다고 밝혔습니다. 로봇이 위험한 지점에 있을 때 한 번에 많은 "만약 ~라면?" 질문을 쏟아냈기 때문에, 나중에 인간을 반복적으로 번거롭게 할 필요가 없었습니다.

실제 인간 대상 결과:
팀은 실제 로봇을 훈련시키기 위해 40명의 사람들(학생, 직원 및 일반인)을 모집했습니다.

시간: JPAL-HA로 로봇을 훈련시키는 데 약 5분이 걸렸습니다.
비교: 사람들이 시스템에 익숙해졌을 때, JPAL-HA를 통한 훈련 시간은 기존의 더 단순한 방식(Parenting)과 거의 비슷했지만, 로봇은 훈련 과정에서 훨씬 더 안전했습니다.
"만-약 ~라면?"의 비용: 연구진은 사람들이 답변하는 데 걸리는 시간을 측정했습니다. "이것이 안전한가요?"라는 간단한 질문에 답하는 데는 약 1.15초가 걸렸습니다. "만약 제가 이 다른 행동을 한다면 어떤가요?"라는 질문에 답하는 데는 조금 더 긴 약 2.45초가 걸렸습니다. 이 추가적인 시간에도 불구하고, 전체 훈련 시간은 대부분의 사람들에게 4분 미만으로 유지되었습니다.

이 논문이 "아니오"라고 말하는 것들

저자들은 자신들의 방식이 무엇이 아닌지를 매우 명확히 밝히고 있습니다:

이것은 모든 상황에 적용되는 마법 지팡이가 아닙니다. 그들은 매우 복잡한 현실 세계의 시나리오(예: 헬리콥터 조종)에서는 여전히 인간 전문가의 지속적인 감독이 필요할 수 있음을 인정합니다.
이것은 모든 안전 규칙을 대체하는 것이 아닙니다. 그들은 자신들이 모든 환경에 대한 "안전한 탐색(safe exploration)" 문제를 해결하려는 것이 아니라고 명시했습니다. 그들은 특정되고 통제된 설정에서 위험을 최소화하는 방법을 제안하는 것입니다.
이것은 "보상(reward)" 시스템이 아닙니다. 그들은 로봇에게 착한 행동에 대해 점수를 주는 전통적인 개념에 반대합니다. 대신, 인간의 직접적인 피드백(선호도와 경고)에 전적으로 의존합니다.

얼마나 확신하는가?

논문은 수치에 대해 매우 자신감을 보이지만, 실험실에서 증명된 것과 시뮬레이션 사이의 선을 긋고 있습니다.

시뮬레이션: 로봇이 16.54번 죽는 대신 0.02번만 죽는다는 주장은 1,000회의 시뮬레이션 실험을 통해 나온 것입니다. 이는 컴퓨터 모델 내에서 매우 강력한 통계적 결과입니다.
현실 세계: 실제 인간과 함께 훈련하는 데 4~5분이 걸린다는 주장은 40명의 실제 사람과 실제 로봇을 이용한 실험을 통해 입증되었습니다.
"만-약 ~라면?"의 이점: "만-약 ~라면?" 질문이 시간을 절약한다는 아이디어는 실제 로봇 실험을 통해 측정되었으며, 이 질문에 답하는 데 드는 추가 시간이 전체 훈련 시간을 낮게 유지할 만큼 작다는 것을 보여주었습니다.

핵심 요약

이 논문은 만약 당신이 물건을 부수지 않고 로봇에게 안전하게 행동하는 법을 가르치고 싶다면, 단순히 "어떤 움직임이 더 나은가?"라고 물어서는 안 된다고 제안합니다. 대신, "어떤 움직임이 더 나은가, 그리고 다른 쪽은 왜 위험한가?"라고 물어야 합니다. 그리고 인간이 "위험해!"라고 말하면, 로봇은 즉시 "알겠습니다, 그럼 이 다른 움직임은 어떤가요?"라고 물어야 합니다.

이렇게 함으로써 로봇은 위험의 지도를 훨씬 더 빨리 학습하고, 인간은 덜 방해받으며, 로봇은 물에 빠지지 않고 마른 땅을 밟을 수 있습니다. 이것은 위험한 "추측과 확인(guess and check)" 게임을 안전을 향한 가이드 투어로 바꾸는, 더 똑똑한 교육 방식입니다.

기술 요약: 정당화된 인간 선호도 및 가설적 쿼리를 통한 안전한 행동 학습

문제 정의
전통적인 강화 학습(RL)은 시행착오 기반의 탐색에 의존하며, 이는 단 한 번의 안전하지 않은 행동이 치명적인 실패를 초래할 수 있는 안전 필수 실세계 도메인(예: 로보틱스, 자율 주행)에서는 실행 불가능한 경우가 많습니다. Safe RL는 제약 조건을 포함함으로써 이를 해결하려고 시도하지만, "안전한 탐색" 문제에 직면합니다. 즉, 에이전트는 해를 끼칠 위험 없이 학습을 위해 순진하게 탐색할 수 없습니다. 또한, 전통적인 RL은 설계된 보상 함수가 인간의 의도와 일치하지 못하는 "보상 명세 문제(reward specification problem)"와 샘플 효율성 저하 문제를 겪기도 합니다.

인간 참여형(Human-in-the-loop) 접근 방식은 인간의 피드백을 활용하여 학습을 유도하는 해결책을 제공합니다. 그러나 단순히 두 행동 사이의 선택(선호도)에만 의존하는 기존 방식은 높은 인간의 부담을 초래하며, 안전하지 않은 상태 공간을 효율적으로 매핑하는 데 실패할 수 있습니다. 본 연구가 다루는 핵심 과제는 '훈련 중 사망(training deaths)'을 최소화하면서 동시에 인간 훈련사에게 가해지는 시간과 인지 부하를 최소화하며 안전한 정책을 학습하는 방법입니다.

방법론: JPAL-HA
저자들은 "Parenting" 접근 방식[11]을 기반으로 하는 JPAL-HA(Justified Human Preferences for Active Learning with Hypothetical Actions) 모델을 제안합니다. 이 패러다임에서 훈련되지 않은 에이전트(자녀)는 행동을 취하기 전 인간 훈련사(부모)에게 지침을 요청합니다. JPAL-HA는 안전성과 효율성을 높이기 위해 두 가지 새로운 메커니즘을 도입합니다.

정당화된 선호도 (Justified Preferences):
단순히 인간에게 한 행동이 다른 행동보다 선호되는지( $P$ )만 묻는 대신, 에이전트는 또한 이진 정당화( $J_P$ )를 요청합니다. 인간은 해당 선호가 "경고"(하나의 행동이 안전하지 않거나 치명적임)를 동반하는지 또는 "경고 없음"(두 행동 모두 안전함)인지를 나타냅니다.
- 메커니즘: 이 이진 신호는 에이전트가 선호도와 정당화 정보를 정제된 선호도 라벨( $\mu \in \{0, 0.25, 0.5, 0.75, 1\}$ )로 매핑할 수 있게 합니다. "경고" 신호는 선호도의 크기가 작더라도 정책 모델이 치명적인 행동을 피하도록 학습 압력을 크게 높입니다.
- 이점: 이는 에이전트가 선호도만 사용할 때보다 "안전하지만 최선이 아닌" 행동과 "치명적인" 행동을 더 효과적으로 구분할 수 있도록 명시적인 안전 신호를 제공합니다.
가설적 행동 (Hypothetical Actions, HAs):
정당화가 "경고"(즉, 샘플링된 행동 중 적어도 하나가 치명적임)를 나타내면, 에이전트는 가설적 행동 루프를 트리거합니다.
- 메커니즘: 에이전트는 즉시 중단하거나 재샘플링하는 대신, 현재 상태에서 취할 수 있었던 일련의 가설적 행동( $a_{new}$ )들을 생성합니다. 에이전트는 이 가설적 행동들에 대해 단 하나의 정당화( $J_{anew}$ : 안전 또는 경고)를 인간에게 묻습니다.
- 추론: 새로운 가설적 행동의 안전 상태를 바탕으로, 에이전트는 추가적인 인간 선호 쿼리 없이도 새로운 행동과 이전에 식별된 안전/치명적 행동 간의 상대적 안전성을 자동으로 추론하여 훈련 데이터셋에 추가할 수 있습니다.
- 치명적 패턴 (Deadly Patterns): 에이전트는 또한 미래의 상태에서 재차 쿼리하지 않고도 치명적인 결과로 이어지는 움직임의 조합인 "치명적 패턴"을 식별하고 저장합니다.
- 이점: 이를 통해 에이전트는 단 한 번의 쿼리 폭발(burst of queries)만으로 안전하지 않은 상태 공간의 영역을 빠르게 매핑할 수 있으며, 동일한 상태에서 반복적인 방해를 줄일 수 있습니다.

학습 과정은 인간의 선호도와 정당화에 대한 데이터셋을 사용하여 브래들리-테리(Bradley-Terry) 모델을 기반으로 하는 지도 학습(교차 엔트로피 손실 최소화)을 활용합니다. 또한 알고리즘은 처음에 샘플링되지 않았으나 잠재적으로 좋은 행동들을 탐색하기 위해 "사후 쿼리(After-The-Fact Queries, ATFQs)"를 사용하여 안전한 탐색 메커니즘 역할을 수행합니다.

주요 기여

새로운 학습 패러다임: 안전 학습을 위한 일반화 가능한 개념으로서 정당화(선호도와 함께 제공되는 이진 안전 경고)와 가설적 행동(위험 감지 시 미시도 행동에 대한 선제적 쿼리)을 도입했습니다.
JPAL-HA 알고리즘: 이러한 특징들을 통합하여 기존의 선호 기반 방식(Parenting, JPAL)보다 안전성을 크게 향상시키고, 다른 안전한 인간 참여형 알고리즘보다 더 나은 샘플 효율성을 달성함을 입증하는 통합 알고리즘을 제시했습니다.
안전-인간 부담 트레이드오프: 사용자가 안전성(쿼리 수)과 인간의 부담(질문 횟수) 사이에서 균형을 맞출 수 있는 조절 가능한 하이퍼파라미터( $p_{BTFQ}$ )를 제공합니다. JPAL-HA가 적절한 훈련 시간을 유지하면서도 거의 제로에 가까운 훈련 중 사망을 달성할 수 있음을 보여줍니다.
실세계 검증: 시뮬레이션(Island Navigation 환경)뿐만 아니라 물리적인 Thymio 모바일 로봇을 훈련시키는 다양한 인간 참가자 그룹을 통해서도 방법을 검증했습니다.

결과

시뮬레이션 실험:
- 안전성: JPAL-HA는 Q-learning(평균 약 16.5회의 사망 발생) 및 베이스라인인 Parenting 방식에 비해 훈련 중 사망을 크게 줄였습니다. 보수적인 설정에서 JPAL-HA는 시행당 평균 0.02회의 사망을 기록했으며, 98%의 시행에서 사망이 발생하지 않았습니다.
- 효율성: JPAL-HA는 Q-learning(22.9회)에 비해 더 적은 에피소드(평균 3회) 만에 최적의 정책을 찾아냈습니다.
- 인간 부담: 정당화 도입이 초기에는 Parenting에 비해 쿼리 수를 증가시켰으나, JPAL-HA의 가설적 행동 기능이 전체 선호 쿼리와 총 단계를 줄여줌으로써 정당화에 따른 추가적인 인지 부하를 효과적으로 상쇄했습니다.
- 통계적 유의성: 비모수 검정을 통해 JPAL-HA와 베이스라인 방법 간의 안전성 및 효율성 차이가 통계적으로 유의미함을 확인했습니다.
실세계 로봇 실험:
- 훈련 시간: 40명의 다양한 참가자(컴퓨터 과학 배경이 없는 사람 포함)가 로봇을 성공적으로 훈련시켰습니다. 초기 연습 과정을 거친 후, JPAL 및 JPAL-HA의 훈련 시간은 Parenting보다 약간 길었으나(~~30% 증가), 참가자들이 인터페이스에 적응한 후에는 유사한 수준(~~4분)으로 수렴했습니다.
- 실행 가능성: 본 연구는 다양한 사람들이 몇 분 내에 훈련을 완료할 수 있음을 입증했으며, 가설적 행동 메커니즘이 단순한 방법들과 비교했을 때 전체 훈련 시간을 크게 늘리지 않고 허용 가능한 수준 내로 유지했음을 보여주었습니다.

의의 및 주장
본 논문은 JPAL-HA가 전통적인 RL이 치명적인 탐색 위험 때문에 실패하는 안전 필수 환경에서 안전한 학습을 위한 실질적인 해결책을 제공한다고 주장합니다. 단순한 이진 정당화를 선호도에 추가하고 가설적 쿼리를 사용하여 위험을 선제적으로 매핑함으로써, 이 방법은 인간의 노력 대비 우수한 안전성과 효율성의 트레이드오프를 달성합니다.

저자들은 이 방법이 이산 행동 공간(discrete action spaces)을 위해 설계되었지만 핵심 아이디어는 확장 가능하다는 점을 겸허히 언급했습니다. 또한, 매우 복잡한 도메인(예: 헬리콥터 비행)의 경우 전문가 지식의 가용성을 전제로 하며, 연속적인 실시간 도메인(예: 자율 주행)에서는 이 방법과 함께 보완적인 폴백(fallback) 안전 메커니즘이 필요할 수 있음을 인정했습니다. 본 연구의 주요 기여는 정당화된 선호도와 가설적 쿼리를 통해 에이전트가 기존의 인간 참여형 접근 방식보다 훨씬 빠르고 안전하게 안전한 행동을 학습할 수 있음을 입증한 데 있습니다.

이 새로운 방식의 두 가지 초능력

이 논문이 실제로 발견한 것

이 논문이 "아니오"라고 말하는 것들

얼마나 확신하는가?

핵심 요약

유사한 논문