💻 computer science

Towards an Adaptive Social Game-Playing Robot: An Offline Reinforcement Learning-Based Framework

이 논문은 학습 장애 학생을 위한 적응형 사회적 게임 로봇을 위해 온라인 학습의 위험을 피하고 오프라인 강화학습 (특히 BCQ, DDQN, CQL) 을 활용하여 사용자 감정과 참여도에 기반한 안전하고 확장 가능한 로봇 행동 학습 프레임워크를 제안하고 평가합니다.

원저자: Soon Jynn Chu, Raju Gottumukkala, Alan Barhorst

게시일 2026-03-04

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Soon Jynn Chu, Raju Gottumukkala, Alan Barhorst

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🤖 1. 문제 상황: "실수할 수 없는 로봇 선생님"

상상해 보세요. 로봇이 아이들과 체스나 장기 같은 보드게임을 하며 가르쳐야 한다고 칩시다. 로봇은 아이의 표정이나 심박수를 보고 "아, 이 아이 지금 지루해 하네?", "아, 너무 힘들어 하네?"라고 감정을 파악해야 합니다.

기존 방식 (온라인 학습): 로봇이 직접 아이들과 게임을 하며 "실수하고, 고치고, 다시 실수하고" 배워가는 방식이에요.
- 문제점: 로봇이 처음엔 엉뚱한 행동을 할 수 있죠. 예를 들어, 아이가 울고 있는데 로봇이 더 어렵게 게임을 하거나 웃는 표정을 지으면 아이는 더 상처를 받습니다. 이렇게 실제 사람과 직접 실험하는 건 위험하고, 시간도 많이 걸리며, 비용도 너무 비싸요.

💡 2. 해결책: "과거의 기록을 활용한 오프라인 학습"

연구팀은 **"실제 실험 없이, 이미 쌓아둔 기록만 보고 배우자"**는 아이디어를 냈습니다. 이를 **'오프라인 강화학습 (Offline RL)'**이라고 해요.

비유: 요리사에게 새로운 요리를 가르칠 때, 직접 재료를 사서 실패를 반복하게 하는 대신, 이미 성공한 요리사들의 레시피와 실패 기록이 담긴 두꺼운 조리법 책을 주고 그걸로 공부하게 하는 것과 비슷합니다.
장점: 로봇이 실수해서 사람을 다치게 하거나 불쾌하게 만들 위험이 전혀 없습니다. 책 (데이터) 만 있으면 되니까요.

🛠️ 3. 로봇의 두뇌 구조 (시스템)

이 로봇은 크게 4 단계로 작동해요.

감각 (Sensing): 로봇은 아이의 손목에 찬 센서 (심박수 등), 얼굴을 비추는 카메라, 게임판을 비추는 카메라를 통해 정보를 모읍니다.
이해 (Interpretation): "아이 얼굴이 화난 것 같고, 심박수도 높네? 게임 점수는 로봇이 이기고 있네?"라고 상황을 분석합니다.
결정 (Decision-making): 여기서 핵심이 나옵니다. "지금 아이를 위로해줘야 하나? 아니면 게임 난이도를 좀 낮춰줘야 하나?"를 결정합니다. 로봇은 자신의 표정 (화난 표정, 행복한 표정) 과 게임 난이도를 조절하는 명령을 내립니다.
행동 (Actuation): 로봇 화면에 표정을 바꾸고, 게임 말 (말) 을 움직입니다.

🧪 4. 실험: 어떤 알고리즘이 가장 잘할까?

연구팀은 이 '조리법 책' (데이터) 을 가지고 다양한 학습 방법 (알고리즘) 을 시험해 봤습니다. 총 6 가지 방법을 비교했는데, 결과는 다음과 같았어요.

BCQ 와 DDQN: 이 두 방법은 가장 안정적이었습니다. 비유하자면, "조리법 책의 글자가 조금 흐리거나 (데이터가 부족하거나) 조건이 조금 달라도, 실수 없이 요리를 잘 해내는 요리사"입니다.
CQL: 이 방법은 가장 정확했습니다. "과도하게 자신감 있게 (실제보다 더 잘한다고 착각하는) 요리를 하지 않고, 현실적인 점수를 매기는 요리사"입니다.
NFQ: 이 방법은 가장 불안정했습니다. "조금만 조건이 바뀌면 요리가 완전히 망가져 버리는 요리사"였어요.

🏁 5. 결론과 의미

이 연구는 **"로봇이 사람을 다치게 하지 않고, 안전하게 감정을 이해하며 반응하는 법"**을 찾았습니다.

핵심 메시지: 앞으로 교육용 로봇이나 노인 돌봄 로봇을 만들 때, 직접 실수하며 배우게 하는 대신 안전하게 쌓아둔 데이터를 활용하는 것이 훨씬 효율적이고 안전하다는 것을 증명했습니다.
미래: 이 기술이 발전하면, 아이들의 감정을 읽고 적절히 반응하며 게임을 통해 학습을 도와주는 진정한 '감성 지능'을 가진 로봇 선생님을 만날 수 있을 것입니다.

한 줄 요약:

"로봇이 사람과 직접 부딪히며 실수하는 대신, 과거의 기록 (데이터) 을 공부해서 가장 안정적이고 정확한 감정 반응을 배우게 하는 새로운 방법을 개발했습니다."

1. 연구 배경 및 문제 정의 (Problem)

배경: 인간 - 로봇 상호작용 (HRI) 연구는 단순한 작업 수행을 넘어 사용자의 감정에 의미 있게 반응하는 사회적 로봇을 요구합니다. 특히 학습 장애를 가진 학생들을 위한 게임 기반 학습 시나리오에서 로봇은 사용자의 흥미와 참여도를 파악하여 적응적으로 반응해야 합니다.
문제점:
- 기존 **온라인 강화학습 (Online RL)**은 로봇이 사용자와 직접 상호작용하며 시행착오를 통해 학습하는 방식입니다. 이는 방대한 양의 실제 데이터 수집이 필요하며, 학습 과정에서 로봇이 부적절하거나 위험한 행동을 할 경우 사용자에게 불편함이나 심리적 피해를 줄 수 있습니다.
- 또한, Wizard-of-Oz(휴먼 오퍼레이터가 로봇을 원격 조종) 방식은 확장성이 부족하여 실제 배포에 한계가 있습니다.
- 기존 감정 기반 HRI 연구들은 주로 규칙 기반 (Rule-based) 이거나 온라인 학습에 의존하여, 데이터가 부족한 환경에서의 안정성과 일반화 능력이 부족했습니다.

2. 제안된 방법론 (Methodology)

이 논문은 **오프라인 강화학습 (Offline RL)**을 활용하여 사전에 수집된 데이터만으로 안전하고 효율적으로 적응형 로봇 정책을 학습하는 프레임워크를 제안합니다.

시스템 아키텍처 (4 계층 구조):
1. 감지 (Sensing): 착용형 기기 (생체 신호), 헤드 카메라 (얼굴 표정), 암 카메라 (게임 보드 상태) 를 통해 다중 모달 데이터를 수집합니다.
2. 해석 (Interpretation): 생체 신호 (각성도) 와 얼굴 표정 (감정 분류) 을 분석하고, 게임 보드 상태를 기반으로 점수를 계산하여 로봇의 상태 공간 (State Space) 을 구성합니다.
3. 의사결정 (Decision-making): 감정 적응형 로봇 제어 모듈이 감정 상태와 게임 점수를 기반으로 로봇의 표정 (Facial Display) 과 게임 난이도 조절 (Difficulty Adjustment) 을 결정합니다.
4. 구동 (Actuation): 로봇의 얼굴 디스플레이와 팔을 통해 사용자에게 반응합니다.
강화학습 설정 (RL Formulation):
- 상태 (State, $s_t$ ): 게임 상태 (승/패/무승부), 얼굴 감정 (화남/행복/중립), 생리적 각성 (유무) 의 조합. 총 18 가지 상태.
- 행동 (Action, $a_t$ ): 로봇 표정 (3 가지) 과 난이도 조절 (증가/감소/유지) 의 조합. 총 9 가지 행동.
- 보상 (Reward): 게임 점수 (GameScore) 와 감정 점수 (EmoScore) 의 가중 합으로 정의됩니다. 사용자의 감정적 반응 (피부 전도 반응 SCR 피크 수 및 긍정/부정 표정) 을 최대화하면서도 게임의 적정 난이도를 유지하도록 설계되었습니다.
데이터 수집:
- 실제 인간 - 로봇 체스 게임 (American Checkers) 시나리오에서 5 명의 참가자를 대상으로 데이터를 수집했습니다.
- 총 232 스텝 (약 36 분/참가자) 의 데이터로, 상태 - 행동 쌍의 커버리지는 약 63% 였으며, 이는 실제 HRI 데이터의 제한된 특성을 반영합니다.
알고리즘 평가:
- 6 가지 오프라인 RL 알고리즘 (NFQ, DQN, DDQN, SAC, BCQ, CQL) 을 비교 평가했습니다.
- d3rlpy 라이브러리를 사용하며, 하이퍼파라미터 그리드 서치를 통해 각 알고리즘의 최적 설정을 탐색했습니다.

3. 주요 기여 (Key Contributions)

다중 모달 오프라인 RL 프레임워크: 복잡한 사용자 신호 (생체, 표정, 게임 상태) 를 RL 상태 공간으로 변환하고, 게임 시나리오를 통해 다양한 감정을 유발하면서도 위험을 최소화하는 테스트베드를 구축했습니다.
알고리즘 비교 연구: 데이터가 부족한 조건에서 어떤 오프라인 RL 알고리즘이 하이퍼파라미터 변화에 가장 강건 (Robust) 하고, 과대 추정 (Overestimation) 편향을 가장 잘 억제하는지에 대한 체계적인 비교 분석을 수행했습니다.
실용적 가이드라인: 실제 사회적 로봇 배포를 위한 안정적이고 신뢰할 수 있는 오프라인 RL 정책 선택 기준을 제시했습니다.

4. 실험 결과 (Results)

하이퍼파라미터 민감도:
- DDQN과 BCQ는 표준 편차 (STD) 가 각각 0.10, 0.14 로 가장 낮아, 하이퍼파라미터 변화에 매우 강건한 것으로 나타났습니다.
- 반면, NFQ는 STD 가 51.47 로 극도로 불안정하여 학습 중 발산하는 경향을 보였습니다.
과대 추정 편향 (Overestimation Bias):
- **CQL (Conservative Q-Learning)**이 실제 지상 진리 (Ground Truth) 값에 가장 근접한 예측을 보였으며, 다른 알고리즘들에 비해 과대 추정 편향을 가장 효과적으로 완화했습니다.
최적 성능:
- CQL이 절대 오차 (0.23) 에서 가장 낮은 오차를 기록하여 최적의 성능을 보였습니다.
- BCQ (1.44) 와 DDQN (1.50) 이 그 뒤를 이었습니다.
- 모든 알고리즘에서 ReLU 활성화 함수가 Tanh 보다 더 좋은 성능을 보였습니다 (상태와 보상이 [-1, 1] 로 제한되었음에도 불구하고).
수렴성:
- NFQ 를 제외한 5 개 알고리즘이 수렴했으나, DQN 은 타겟 네트워크 동기화 시점에 손실 급증을 보였습니다. CQL 은 이러한 급증이 가장 적었습니다.

5. 의의 및 결론 (Significance & Conclusion)

안전하고 확장 가능한 HRI: 온라인 탐색의 위험과 비용을 제거하고, 오프라인 데이터를 기반으로 사회적 로봇이 복잡한 감정 적응 행동을 학습할 수 있는 기반을 마련했습니다.
알고리즘 선택 가이드:
- 안정성과 강건성이 중요한 경우: DDQN 또는 BCQ 추천.
- 정확한 가치 추정과 편향 완화가 중요한 경우: CQL 추천.
한계 및 향후 과제: 현재 데이터셋이 제한적이므로 다양한 인구통계학적 특성과 상태 - 행동 커버리지를 확장해야 합니다. 또한, 표정만으로 감정을 추정하는 한계를 극복하기 위해 부분 관측 마르코프 결정 과정 (POMDP) 모델링 등 더 정교한 감정 추론 기법이 필요하다고 제언합니다.

이 연구는 사회적 지능을 갖춘 에이전트가 실제 세계의 편안함과 확장성을 보장하면서, 오프라인 데이터셋만으로 학습할 수 있는 중요한 첫걸음을 제시했습니다.