💻 computer science

Risk-Aware Preference Learning for Stochastic Outcomes

이 논문은 인간의 위험 민감도를 모델링하기 위해 누적 전망 이론을 통합하는 것이 전통적인 기대 효용 가설과 비교했을 때 확률적 로봇 내비게이션을 위한 선호도 학습에서 보상 함수 회복을 유의미하게 개선하고 후회를 줄인다는 것을 입증한다.

원저자: Yi-Shiuan Tung, Yuni Wu, Wei Jiang, Alessandro Roncone, Bradley Hayes

게시일 2026-07-20

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yi-Shiuan Tung, Yuni Wu, Wei Jiang, Alessandro Roncone, Bradley Hayes

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 예의 바른 인간처럼 행동하는 법을 가르치려 한다고 상상해 보십시오. 단순히 "사람을 때리지 마라"라거나 "빨리 걸어라"와 같은 긴 규칙 목록을 작성할 수는 없습니다. 왜냐하면 삶은 복잡하고 뜻밖의 일들로 가득하기 때문입니다. 대신, 과학자들은 영리한 기술을 찾아냈습니다. 로봇에게 서로 다른 두 가지 움직임을 보여준 뒤, 인간에게 "어느 쪽이 더 나아 보이나요?"라고 묻는 것입니다. 이 과정을 수천 번 반복함으로써, 로봇은 인간이 실제로 무엇을 가치 있게 여기는지에 대한 숨겨진 '점수판(scorecard)'을 배울 수 있습니다. 이것을 **선호 기반 보상 학습(preference-based reward learning)**이라고 부릅니다.

하지만 대부분의 연구 배경에는 까다로운 가정이 하나 숨어 있습니다. 그것은 인간이 상황의 좋고 나쁨을 단순히 합산하고, 각 요소가 발생할 확률에 따라 가중치를 부여하는 완벽한 계산기라고 가정하는 것입니다. 이를 **기대 효용(Expected Utility)**이라고 합니다. 하지만 실제 인간은 계산기가 아닙니다. 우리는 감정적입니다. 우리는 드물게 발생하는 재난(예: 자동차 사고)을 지나치게 걱정하며, 무언가를 얻는 기쁨보다 잃는 고통을 더 크게 느낍니다. 이 논문은 다음과 같은 단순한 질문을 던집니다. 만약 우리가 인간을 완벽한 계산기로 가정하는 모델을 사용하여 로봇을 가르친다면, 실제 인간은 위험을 회피하고 감정적인 의사 결정자라면 어떻게 될까요?

콜로라도 대학교 볼더 캠퍼스의 연구진은 로봇이 보행자 인파 사이를 통과해야 하는 시뮬레이션 세계에서 이 아이디어를 테스트하기로 했습니다. 이 세계에서 로봇이 하는 모든 움직임은 단 하나의 보장된 경로가 아닙니다. 대신, 그것은 주사위를 던지는 것과 같습니다. 로봇은 매끄럽게 미끄러지듯 나아갈 수도 있고, 누군가와 부딪힐 수도 있으며, 혹은 갇혀버릴 수도 있습니다. 결과는 직선이 아니라 가능성들의 구름입니다.

연구팀은 두 종류의 '스승'(로봇이 선호를 배우고자 하는 대상인 인간)을 설정했습니다. 한 스승은 오직 평균적인 결과만을 신경 쓰는 '완벽한 계산기'(기대 효용, EU)였습니다. 다른 스승은 **누적 전망 이론(Cumulative Prospect Theory, CPT)**이라는 복잡한 심리학적 모델을 사용하는 '위험 민감형' 인간이었습니다. 이 모델은 실제 사람들이 희귀하고 무서운 사건의 가능성을 과대평가하고, 충돌의 고통을 매끄러운 경로의 즐거움보다 훨씬 더 날카롭게 느낀다는 점을 반영합니다.

연구진은 또한 두 종류의 '학생'(학습 알고리즘)을 준비했습니다. 한 학생은 스승이 완벽한 계산기라고 가정하는 'EU 학습자'였고, 다른 학생은 스

가 위험에 민감한 인간이라고 가정하는 'CPT 학습자'였습니다. 그들은 두 학생에게 스승이 생성한 수천 개의 "어떤 경로가 더 나은가요?"라는 질문을 던졌고, 두 학생이 실제 점수판을 얼마나 잘 학습하는지 관찰했습니다.

시뮬레이션 결과는 다음과 같았습니다. 스승이 완벽한 계산기였을 때는 계산기 학생이 완벽하게 학습했고, 위험 민감형 학생은 추가된 복잡성 때문에 약간 혼란을 겪었습니다. 하지만 스승이 위험 민감형 인간이었을 때, 계산기 학생은 현저히 낮은 성능을 보였습니다. 이 학생은 인간의 충돌에 대한 공포를 설명하기 위해 회복된 점수판을 왜곡하려 했으며, 그 결과 로봇에게 충돌은 "조금 나쁜 것"일 뿐이지 "재앙적인 것"은 아니라고 믿게 만들어 편향된 보상을 도출했습니다. 로봇은 덜 정확한 교훈을 얻은 것입니다.

반면, 위험 민감형 학생(CPT 학습자)은 훨씬 더 나은 성과를 보였습니다. 이 학생은 인간이 단순히 결과의 가치를 다르게 평가하는 것이 아니라, 불확실성을 다르게 가중치 두고 있다는 점을 깨달았습니다. 결과의 "가치"와 위험에 대한 "공포"를 분리함으로써, CPT 학습자는 훨씬 더 낮은 오차로 점수판을 회복해 냈습니다.

이 논문은 만약 우리가 현실 세계에서 로봇을 안전하고 인간의 가치에 부합하도록 만들고 싶다면(현실에서는 희귀한 사고가 매우 무섭고 사람들이 본능적으로 불안을 느끼기 때문), 인간을 논리적인 수학 기계라고 가정해서는 안 된다고 제안합니다. 우리는 인간의 공포와 위험 민감도를 이해하는 로봇을 만들어야 합니다. 그렇지 않으면 로봇은 우리가 위험을 상관하지 않는다고 생각하여 위험한 지름길을 택하도록 배울 수 있습니다. 비록 이 결과가 실제 사람을 대상으로 한 실제 로봇 테스트가 아닌 컴퓨터 시뮬레이션에서 나온 것이지만, 증거는 명확한 필요성을 가리킵니다. 로봇에게 안전함을 가르치려면, 먼저 인간이 미지의 세계에 대해 실제로 어떻게 느끼는지 가르쳐야 합니다.

기술 요약: 확률적 결과에 대한 위험 인지 선호 학습

문제 정의
선호 기반 보상 학습은 자율 시스템을 인간의 의도에 정렬시키기 위한 표준적인 패러다임이다. 특히 목표(안전, 효율성, 규범 등)를 수동으로 명시하기는 어렵지만 비교를 통해 표현하기는 쉬운 사회적 로봇 내비게이션과 같은 도메인에서 유용하다. 그러나 기존 방식들은 주로 인간 평가자가 불확실한 결과를 기대 효용(Expected Utility, EU), 즉 결과의 효용을 확률에 따라 선형적으로 가중 합산하여 평가한다고 가정한다.

저자들은 여기서 결정적인 불일치를 지적한다. 행동 경제학에 따르면 인간은 체계적으로 위험 민감성을 보이며, 흔히 희귀한 파멸적 사건(예: 충돌)을 과도하게 높게 평가하고 손실 회피 성향을 나타낸다. 확률적 환경에서 인간이 위험 민감적임에도 불구하고 EU를 가정할 경우, 보상 학습에서 구조적 오류가 발생할 수 있다. 구체적으로, 학습자는 위험 민감성을 결과 효용의 차이로 잘못 인코딩하여, 사용자가 무엇을 가치 있게 여기는지와 불확실성을 어떻게 가중하는지를 혼동할 수 있다. 본 논문은 인간의 위험 민감성을 모델링하는 것이 확률적 로봇 결과에 대한 선호도를 학습할 때 보상 회복을 개선하는지 조사한다.

방법론
본 연구는 두 가지 인간 의사결정 모델을 비교하기 위해 브래들리-테리(Bradley-Terry) 선호 학습 프레임워크를 채택한다:

기대 효용 (EU): 행동 $A$ 의 가치를 확률 가중치가 적용된 결과 효용의 합으로 계산하는 표준 베이스라인이다: $V_{EU}(A) = \sum p_i \theta^\top \phi(o_i)$ .
누적 전망 이론 (Cumulative Prospect Theory, CPT): 다음과 같은 요소들을 통해 위험 민감성을 포착하는 비선형 모델이다:
- 가치 함수: 손실 회피( $\lambda > 1$ )와 민감도 감소( $\alpha, \eta$ )를 포함하는 이득과 손실의 비대칭적 변환, $v(x)$ .
- 확률 가중치: $\gamma < 1$ 일 때 희귀한 사건을 과대평가하는 왜곡 함수, $w(p)$ .
- 결정 가중치: 누적 확률에 대한 순위 의존적 변환을 통해 계산된다.

실험 설정
저자들은 로봇이 7가지 메타 액션(예: 전진, 회전, 정지) 중 하나를 선택하는 2D 사회적 내비게이션 시뮬레이션을 구축하였으며, 환경은 보행자(Helbing–Molnár 사회적 힘 모델로 모델링됨)로 구성된다.

확률성: 각 로봇 액션은 결과에 대한 분포를 유발한다. 모든 액션에 대해, 경험적 특징 벡터(최소 여유 공간, 편차, 진행도, 매끄러움, 충돌 횟수)의 경험적 분포를 생성하기 위해 $K=50$ 개의 확률적 롤아웃(rollout)이 시뮬레이션되었다.
합성 교사(Synthetic Teachers): 선호 데이터는 EU 모델 또는 CPT 모델을 사용하는 "교사"들에 의해 생성되었다. CPT 교사들은 두 가지 위험 프로파일인 T&K(Tversky와 Kahneman의 경험적 파라미터 기반)와 Strong(증폭된 위험 민감도)을 사용하였다.
학습자(Learners): 생성된 쌍별 비교(pairwise comparisons)를 통해 두 클래스의 학습자가 훈련되었다:
- EU 학습자: 선형 효용 합산을 가정한다.
- CPT 학습자: 보상 가중치( $\theta$ )와 CPT 파라미터를 공동으로 추정한다.
평가: 성능은 **홀드아웃 액션 후회(held-out action regret)**로 측정되었으며, 이는 실제 사용자 모델이 선택한 액션의 가치와 학습된 모델이 선택한 액션의 가치 차이로 정의된다.

주요 결과
실험은 보상 회복과 관련하여 다음과 같은 결과를 도출하였다:

EU 교사: 선호도가 EU 교사에 의해 생성된 경우, EU 학습자가 가장 낮은 후회를 달성했다. CPT 학습자는 EU 학습자를 능가하지 못했는데, 이는 선형적인 프로세스에 CPT 파라미터를 도입하는 것이 불필요한 유연성을 더하고 샘플 효율성을 저하시킨다는 것을 시사한다.
CPT 교사: 선호도가 위험 민감적인 (CPT) 교사에 의해 생성된 경우, CPT 학습자가 EU 학습자보다 실질적으로 우수한 성능을 보였다.
- 훈련 쌍의 수가 증가함에 따라 CPT 학습자의 후회는 꾸준히 감소했다.
- EU 학습자는 유의미하게 높은 수준의 후회 상태에 머물렀다.
- 이 결과는 사용자가 위험 민감성을 보일 때, EU 학습자가 이러한 선택을 설명하기 위해 회복된 보상 함수를 왜곡하려 하는 반면, CPT 학습자는 보상 가중치와 위험 민감성을 성공적으로 분리한다는 것을 나타낸다.

의의 및 주장
본 논문은 누적 전망 이론을 통해 인간의 위험 민감성을 명시적으로 모델링하는 것이 불확실성 하에서의 보상 학습을 개선한다고 결론짓는다. 특히 선호 생성 프로세스에 강한 위험 민감성이 포함된 경우 더욱 그러하다. 저자들은 학습자의 선호 모델을 교사의 위험 민감적 선택 프로세스에 맞추는 것이 불확실한 도메인에서 정확한 보상 함수를 회복하는 데 중요하다고 주장한다.

저자들은 다음과 같이 연구 범위에 대해 신중한 입장을 유지한다:

결과는 합성 데이터를 통해 도출된 예비적 증거로 제시된다.
본 연구는 시뮬레이션 상에서 CPT 기반 학습자의 이론적, 알고리즘적 이점을 입증하지만, 인간 피험자 검증은 향후 과제로 남겨두었다고 명시적으로 밝힌다.
본 논문은 실제 로봇에 즉각적인 배포를 주장하는 것이 아니라, 사회적 내비게이션과 같은 안전 필수 애플리케이션에서 편향된 보상 학습을 방지하기 위해 EU-CPT 불일치를 해결하는 것의 중요성을 강조한다.

유사한 논문