Influence-Based Reward Modulation for Implicit Communication in Human-Robot Interaction

이 논문은 전이 엔트로피를 활용하여 에이전트 간 영향력을 보상이나 저항을 통해 조절함으로써 명시적 모델링 없이도 인간 - 로봇 상호작용에서 암묵적 의사소통을 촉진하고 협업 또는 경쟁 시나리오에서 상호작용을 개선하는 방법을 제시합니다.

핵심

🚶‍♂️🤖 "눈치 보는 법"을 로봇에게 가르치다

1. 문제: 로봇은 왜 눈치가 없을까?

우리가 좁은 복도에서 누군가와 마주쳤을 때, 말없이 살짝 몸을 피해서 서로 지나가죠. 이것이 바로 **'암묵적 소통'**입니다. 우리는 상대방의 눈빛, 걸음걸이, 몸짓을 보고 "아, 저 사람은 나를 피하려는구나" 혹은 "저 사람은 만나려는구나"라고 추측합니다.

하지만 기존 로봇들은 이걸 하려면 상대방의 마음을 미리 읽거나 (모델링), 상대방이 어떤 목표를 가지고 있는지 정확히 알아야만 했습니다. 마치 상대방의 두뇌를 스캔해야만 행동할 수 있는 것처럼요. 하지만 실제 세상에서는 상대방의 생각을 알 수 없는 경우가 대부분이죠.

2. 해결책: "영향력 (Influence)"이라는 새로운 보상

이 연구팀은 로봇에게 **"상대방이 내 행동에 얼마나 영향을 받는지"**를 측정하는 새로운 기술을 도입했습니다.

• 전송 엔트로피 (Transfer Entropy): 이 어려운 용어는 쉽게 말해 **"내 행동이 상대방의 다음 행동을 얼마나 예측 가능하게 만드는가?"**를 수치화한 것입니다.
• 비유:
  • 영향력을 높이는 로봇 (Positive-TE): 내가 손을 살짝 들면 상대방이 "아, 저 사람이 길을 비키려는구나"라고 바로 알아차리고 반응합니다. 마치 춤을 추는 파트너가 서로의 리듬을 완벽하게 맞춰주는 것처럼요.
  • 영향력을 낮추는 로봇 (Negative-TE): 내가 무엇을 하든 상대방은 내 행동과 상관없이 제 갈 길을 갑니다. 마치 고집 센 사람처럼 "내 행동은 너에게 영향을 안 줘!"라고 외치는 것입니다.

연구팀은 이 '영향력'을 로봇의 보상 (Reward) 시스템에 추가했습니다. 로봇이 "상대방을 잘 이해하게 만들거나 (협력), 혹은 상대방이 나를 무시하게 만들거나 (경쟁)" 하는 행동을 했을 때 점수를 더 주거나 뺏는 방식입니다.

3. 실험: 복도에서 차도로까지

이 아이디어를 검증하기 위해 세 가지 실험을 했습니다.

① 시뮬레이션 (가상 세계)

• 상황: 두 사람이 좁은 복도에서 만나서 지나가야 하는 게임.
• 결과:
  • 협력할 때: 로봇이 상대방의 행동에 영향을 많이 주도록 훈련되면 (Positive-TE), 사람과 로봇이 서로 눈치껏 길을 비키며 협력 성공률이 90% 이상으로 치솟았습니다.
  • 경쟁할 때: 로봇이 영향을 주지 않으려 하면 (Negative-TE), 로봇이 사람을 무시하고 가려는 경향이 강해져 경쟁에서 이길 확률이 높아졌습니다.
  • 핵심: 로봇이 상대방의 행동을 '예측 가능하게' 만들면, 사람도 로봇의 의도를 쉽게 파악하고 더 잘 협력하게 됩니다.

② 가상 인간 - 로봇 실험

• 상황: 사람이 컴퓨터 화면 속 로봇과 게임을 했습니다.
• 결과: 사람들은 로봇이 자신의 행동을 잘 따라오거나 반응할 때 (Positive-TE), 로봇이 더 친절하고 인간처럼 느껴졌다고 답했습니다. 로봇이 말없이도 내 마음을 알아주는 것 같아서 협력이 훨씬 잘 되었습니다.

③ 실제 로봇 실험 (휴머노이드 로봇)

• 상황: 실제 물리적인 로봇 (Fetch 로봇) 과 사람이 복도에서 마주쳤습니다.
• 결과: 가상 실험과 비슷하게, 로봇이 사람의 행동을 잘 반영하도록 훈련받으면 (Positive-TE), 사람과 로봇이 더 자연스럽게 지나갔습니다. 다만, 실제 물리적 환경에서는 사람이 로봇보다 빠르거나 공간에 대한 감각이 달라서 결과가 조금씩 다르게 나오기도 했습니다.

④ 확장 실험: 자율 주행 (고속도로)

• 상황: 로봇이 차를 운전하는 상황입니다.
• 결과:
  • Positive-TE (영향력 증대): 차가 앞차에 더 가까이 다가가고, 더 적극적으로 차선을 바꾸려 했습니다. (상호작용이 활발해짐)
  • Negative-TE (영향력 억제): 차가 앞차와 거리를 두고, 매우 보수적으로 운전했습니다. (안전하지만 소극적)
  • 교훈: 상황에 따라 로봇이 '친절하게' 행동할지, '차갑게' 행동할지를 조절할 수 있다는 것을 보여줍니다.

4. 결론: 로봇이 '눈치'를 보는 법

이 연구의 가장 큰 성과는 상대방의 두뇌를 읽을 필요 없이, 오직 '행동의 흐름'만으로도 로봇이 사람과 자연스럽게 소통할 수 있다는 것을 증명했다는 점입니다.

• 협력해야 할 때: 로봇은 "내가 너에게 영향을 미쳐서 너도 나를 이해하게 만들자!"라고 행동합니다. (눈치가 좋은 로봇)
• 경쟁하거나 안전해야 할 때: 로봇은 "내 행동이 너에게 영향을 주지 않게 하자!"라고 행동합니다. (독립적인 로봇)

이 기술은 로봇이 사람과 함께 일할 때, 말없이도 서로의 의도를 파악하고 더 자연스러운 관계를 맺을 수 있게 해줍니다. 마치 춤을 추듯, 서로의 리듬을 맞춰가며 함께 움직이는 로봇을 만드는 첫걸음이라고 할 수 있습니다.

기술 요약

논문 개요: 인간 - 로봇 상호작용 (HRI) 을 위한 영향 기반 보상 변조를 통한 암묵적 의사소통

이 논문은 인간 - 로봇 상호작용 (HRI) 에서 명시적인 인간 의도 모델링이나 사전 지식 없이도 **암묵적 의사소통 (Implicit Communication)**을 촉진하기 위한 새로운 프레임워크를 제안합니다. 연구의 핵심은 에이전트 간의 **영향력 (Influence)**을 조절하여 상호작용을 최적화하는 것으로, 정보 이론적 기법인 **전송 엔트로피 (Transfer Entropy, TE)**를 보상 함수에 통합하여 이를 달성합니다.

1. 문제 정의 (Problem)

• 암묵적 의사소통의 중요성: 인간은 비언어적 단서, 맥락, 공유된 이해를 통해 암묵적으로 소통합니다. 로봇이 인간의 필요, 감정, 의도를 사전에 이해하고 능동적으로 반응하려면 이러한 암묵적 의사소통 능력이 필수적입니다.
• 기존 연구의 한계: 기존 HRI 연구들은 대부분 인간의 의도를 명시적으로 모델링하거나 [9, 42], 사전에 정의된 의도 지식에 의존합니다 [30]. 그러나 일반적인 환경에서는 이러한 정보를 얻기 어렵고, 복잡한 모델링은 계산 비용이 많이 듭니다.
• 목표: 인간의 의도나 사전 지식을 명시적으로 모델링하지 않고도, 에이전트 간의 정보 흐름을 조절하여 협력과 경쟁 상황에서 자연스러운 암묵적 상호작용을 유도하는 방법론을 개발하는 것입니다.

2. 방법론 (Methodology)

가. 전송 엔트로피 (Transfer Entropy, TE) 활용

• 개념: 두 확률 과정 간의 방향성 있는 정보 흐름을 정량화하는 지표입니다. 한 에이전트 (P2) 의 과거 행동이 다른 에이전트 (P1, 자기 에이전트) 의 현재 행동에 미치는 정보적 영향을 측정합니다.
• 수식: $TE(X \to Y) = H(Y_t | Y_{t-1}, \dots) - H(Y_t | Y_{t-1}, \dots, X_{t-1}, \dots)$
  • 여기서 $H$는 엔트로피 (불확실성) 를 의미합니다. P2 의 과거 정보가 P1 의 현재 행동 예측 불확실성을 얼마나 줄이는지 측정합니다.

나. 보상 변조 (Reward Modulation)

• POMDP 프레임워크: 상호작용을 부분 관측 마르코프 결정 과정 (POMDP) 으로 모델링합니다.
• 보상 함수 설계: 에이전트의 기본 목표 보상 ($r$) 에 TE 기반의 보상 항을 추가합니다.
  • $Reward = \phi \cdot TE + r$
  • $\phi$는 스케일링 인자입니다.
    • Positive-TE ($\phi > 0$): P2 의 과거 행동이 P1 의 현재 행동에 미치는 영향을 증가시킵니다. 이는 에이전트가 상대방의 행동에 더 민감하게 반응하고, 자신의 행동이 상대방에게 더 명확하게 전달되도록 (Legibility 증가) 유도하여 협력을 촉진합니다.
    • Negative-TE ($\phi < 0$): 영향을 저항합니다. 이는 에이전트가 상대방의 행동에 덜 반응하게 하여 사회적 독립성을 유지하거나, 경쟁 상황에서 상대의 전략을 무력화하는 데 사용됩니다.

다. 구현 방식

• Q-Learning 및 DRL: 이산 공간에서는 Q-table 을, 연속 공간 (Deep Reinforcement Learning) 에서는 몬테카를로 추정 (Monte Carlo Estimation) 을 사용하여 정책 분포를 근사하고 TE 를 계산합니다.
• 가상 인간 모델: 인간은 의도 모델이 없는 'Non-TE' 에이전트로 가정하고, 로봇은 Positive-TE 또는 Negative-TE 정책을 학습하여 상호작용합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 프레임워크 제안: 인간의 명시적 모델링이나 사전 지식 없이, TE 기반 보상 변조를 통해 사회적 HRI 에서 암묵적 의사소통을 강화하는 방법론을 제시했습니다.
2. 다양한 환경에서의 검증:
   • 시뮬레이션: 격자 기반 '복도 딜레마 (Corridor Dilemma)' 환경에서 협력 및 경쟁 시나리오를 검증했습니다.
   • 가상 인간 실험: 인간 참가자가 학습된 RL 에이전트와 상호작용하는 실험을 수행했습니다.
   • 실제 로봇 실험: Fetch 로봇을 이용한 물리적 환경 실험을 통해 실제 적용 가능성을 입증했습니다.
   • 다중 에이전트 확장: 자율 주행 환경 (Highway-env) 에서 연속 상태 공간과 다중 에이전트 상호작용으로 프레임워크를 확장했습니다.
3. 발견: 영향력을 증폭 (Positive-TE) 하는 것이 협력을 촉진하고 인간 참가자의 성과를 높이는 반면, 영향력을 억제 (Negative-TE) 하는 것은 경쟁 상황에서 특정 이점을 주거나 사회적 독립성을 유도함을 발견했습니다.

4. 실험 결과 (Results)

• 시뮬레이션 (복도 딜레마):

  • Positive-TE 에이전트: 협력 시나리오에서 다른 에이전트 (인간 또는 로봇) 와의 성공률을 크게 향상시켰습니다. 경쟁 시나리오에서는 상대방이 자신의 목표를 달성하는 것을 돕는 '이타적' 행동을 보였습니다.
  • Negative-TE 에이전트: 상대방의 영향을 차단하여 협력 능력을 저하시켰습니다.
  • 기반선 비교: 단순한 사회적 힘 모델 (Social Force Model) 기반 에이전트보다 Positive-TE 에이전트가 훨씬 높은 협력 성공률을 보였습니다.

• 인간 - 에이전트 실험 (가상):

  • 인간 참가자는 Positive-TE 로봇과 상호작용할 때 협력 및 경쟁 모두에서 더 높은 성공률을 보였습니다.
  • 설문 조사 결과, 참가자들은 Positive-TE 로봇이 더 '가독성 (Legible)' 있고 '인간적'이라고 인식했으나, 통계적으로 유의미한 차이는 미미하여 암묵적 영향력이 의식적 인식 없이 작용함을 시사했습니다.

• 인간 - 로봇 실험 (실제):

  • 물리적 로봇 실험에서도 Positive-TE 로봇이 인간과의 협력 (만남) 성공률을 높이는 경향을 보였습니다.
  • 경쟁 (통과) 상황에서는 물리적 환경의 복잡성 (속도 차이, 개인 공간 등) 으로 인해 결과가 가상 실험과 다소 달랐으나, 전반적인 경향성은 유지되었습니다.

• 자율 주행 (Highway 환경):

  • Positive-TE: 더 공격적이고 상호작용적인 주행 (선행 차량과의 거리 단축, 차선 변경 유도) 을 보였으나, 충돌 위험이 증가했습니다.
  • Negative-TE: 더 보수적이고 독립적인 주행 (큰 안전 거리 유지, 낮은 속도) 을 보였습니다.
  • 이는 영향력 조절이 시나리오 (협력 vs 안전 우선) 에 따라 적절히 조정되어야 함을 보여줍니다.

5. 의의 및 결론 (Significance)

• 모델 프리 (Model-Free) 접근: 복잡한 인간 행동 모델을 학습할 필요 없이, 관찰 가능한 상태 정보와 정보 이론적 지표 (TE) 만으로 효과적인 상호작용을 가능하게 합니다. 이는 실제 HRI 적용 시 데이터 수집과 모델링의 부담을 크게 줄여줍니다.
• 정보 비대칭의 조절: TE 보상을 통해 로봇이 인간에게 정보를 얼마나 투명하게 전달할지 (Positive-TE) 또는 정보를 차단할지 (Negative-TE) 를 전략적으로 조절할 수 있습니다. 이는 아시모프의 법칙과 유사한 윤리적 프레임워크 (인간과의 목표 충돌 시 양보 등) 를 구현하는 데 기여할 수 있습니다.
• 맥락 의존성: 영향력 조절의 효과는 상황에 따라 다릅니다. 협력과 소통이 필요한 상황 (복도 딜레마) 에는 Positive-TE 가 유리하지만, 안전이 최우선인 상황 (고속도로 주행) 에는 Negative-TE 나 적절한 조절이 필요함을 강조합니다.

결론적으로, 이 연구는 전송 엔트로피를 보상 함수에 통합함으로써, 명시적 모델링 없이도 로봇이 인간의 암묵적 신호를 읽고 상황에 맞는 협력적 또는 독립적인 행동을 스스로 학습할 수 있는 강력한 프레임워크를 제시했습니다. 이는 향후 다양한 HRI 응용 분야 (사회적 로봇, 자율 주행, 인간 - 로봇 협업 등) 에 광범위하게 적용될 잠재력을 가지고 있습니다.