Can you see how I learn? Human observers' inferences about Reinforcement Learning agents' learning processes

사람이 아이에게 자전거 타는 법을 가르칠 때, 그 수업은 눈빛과 비틀거림, 그리고 격려하는 말들이 오가는 대화입니다. 아이는 균형이 변화하는 것을 느끼며 배우고, 부모는 자신의 지도를 아이가 어떻게 해석하는지를 관찰하며 배웁니다. 이러한 상호 작용은 하이브리드 지능의 본질입니다. 즉, 두 개의 서로 다른 마음이 혼자서는 정복할 수 없는 문제를 해결하기 위해 함께 협력하는 것입니다. 로봇 공학의 세계에서 이 파트너십은 인간-상호작용 로봇 학습(human-interactive robot learning)이라 불립니다. 여기서 사람은 교사 역할을 하며, 피드백이나 시연을 통해 로봇이 과업을 수행하도록 안내합니다. 희망적인 목표는 로봇이 인간의 신호를 이해함으로써 방을 돌아다니거나, 상자를 밀거나, 바닥을 청소하는 법을 배우는 것입니다. 그러나 인간이 의도한 것과 로봇이 실제로 이해하는 것 사이에는 종종 상당한 간극이 존재합니다. 만약 사람이 로봇이 혼란스러워한다고 생각하여 힌트를 준다면, 로봇은 그 힌트를 전혀 다른 행동에 대한 보상으로 해석할 수도 있습니다. 더 나은 파트너십을 구축하기 위해, 과학자들은 인간이 로봇과 직접 대화할 수 없을 때 로봇의 행동을 어떻게 이해하는지를 먼저 파악해야 합니다.

한 연구팀은 사람들이 관찰만 하고 있을 때 로봇의 학습 과정을 정확히 어떻게 해석하는지 밝혀내고자 했습니다. 그들은 로봇이 수학적으로 어떻게 학습하는지에 관심이 있었던 것이 아니라, 인간 관찰자가 로봇의 생각에 대해 스스로에게 들려주는 '이야기'에 주목했습니다. 이를 위해 그들은 능동적인 가르침이라는 복잡한 요소를 제거한 새로운 방식의 인간 인지 연구법을 개발했습니다. 연구원들은 사람들에게 로봇과 상호작용하며 피드백을 주라고 요청하는 대신, 단순히 로봇이 학습하는 영상을 보여준 뒤 기계 내부에서 무슨 일이 일어나고 있다고 믿는지 설명하도록 했습니다. 이 접근 방식을 통해 과학자들은 인공 학습자를 이해하려고 할 때 사람들이 갖게 되는 가공되지 않은 순수한 가정을 관찰할 수 있었습니다.

첫 번째 연구에서 연구진은 아홉 명의 참가자를 대상으로 로봇이 격자 형태의 환경에서 구멍을 피하고 출구를 찾아가는 과정을 관찰하게 했습니다. 참가자들은 로봇이 움직이는 것을 보는 동안 자신의 생각을 소리 내어 말하도록 요청받았습니다. 연구진은 관찰자들이 로봇의 행동을 설명하는 패턴을 경청했습니다. 그 결과, 사람들은 단순히 무작위적인 움직임을 보는 것이 아니라, 로봇의 내면세계에 대한 상세한 정신적 모델을 구축한다는 것을 발견했습니다. 이 모델은 일관되게 네 가지 주요 범주로 분류되었습니다. 첫째, 사람들은 로봇이 출구에 최대한 빨리 도달하고 싶어 하거나 구멍에 빠지지 않으려고 노력하는 것과 같은 구체적인 목표를 가지고 있다고 가정했습니다. 둘째, 사람들은 로봇이 지식을 수집하고 있다고 믿었습니다. 즉, 어떤 지점이 위험하고 어떤 지점이 안전한지를 기억한다는 것입니다. 셋째, 관찰자들은 로봇이 전략에 기반하여 옵션을 저울질하고 경로를 선택하는 등 의사결정을 내리고 있다고 생각했습니다. 마지막으로, 사람들은 로봇에게 과거의 실수나 성공을 바탕으로 이해도를 업데이트하는 방식인 학습 메커니즘이 있다고 추론했습니다. 이러한 결과는 인간이 기계를 이해하기 위해 자연스럽게 풍부하고 인간과 유사한 내면의 삶을 투영한다는 점을 시사합니다.

이러적인 초기 아이디어를 확인하고 더 복잡한 상황에서도 유효한지 알아보기 위해, 연구진은 34명의 참가자를 대상으로 더 큰 규모의 두 번째 연구를 진행했습니다. 연구진은 실험 범위를 두 가지 유형의 과업과 두 가지 유형의 학습 알고리즘으로 확장했습니다. 한 시나리오에서는 로봇이 가구를 피해 이동하며 먼지를 줍는 방식으로 방을 청소하는 법을 배웠습니다. 다른 시나리오에서는 또 다른 로봇이 손이 닿지 않는 환자에게 약 상자를 밀어서 전달하는 법을 배웠습니다. 로봇들은 서로 다른 방식으로 학습했습니다. 하나는 시행착오를 통한 단순한 테이블 기반 방식을 사용했고, 다른 하나는 생물학적 뇌가 매끄러운 움직임을 처리하는 방식과 유사한 더 복잡한 연속적 방식을 사용했습니다. 참가자들은 로봇이 학습하는 세 단계(초기, 중기, 후기)의 영상을 시청했습니다. 각 영상 시청 후, 그들은 목표, 지식, 의사결정, 학습 메커니즘이라는 네 가지 주제가 자신이 보고 있는 것과 얼마나 관련이 있는지 평가했습니다.

이 대규모 연구의 결과는 첫 번째 실험에서 확인된 네 가지 주제가 우연이 아니라는 점을 입증했습니다. 청소 및 상자 밀기 과업 모두에서, 그리고 로봇이 사용한 학습 방식의 복잡도와 관계없이, 사람들은 로봇을 이해하기 위해 일관되게 이 네 가지 범주에 의존했습니다. 연구진은 로봇이 과업을 잘 수행하게 됨에 따라 사람들의 묘사 방식도 변한다는 것을 발견했습니다. 초기 단계에서 관찰자들은 흔히 로봇이 지식이 부족하거나 단순히 추측하고 있다고 생각했습니다. 하지만 로봇이 개선됨에 따라, 사람들은 로봇이 명확한 계획을 세우고 의도적인 결정을 내리고 있다고 믿는 쪽으로 견해를 옮겼습니다. 이 연구는 인간의 이해가 정적인 것이 아니라, 로봇의 행동 변화에 따라 진화한다는 것을 보여주었습니다. 사람들은 단순히 코드를 따르는 기계를 보는 것이 아니라, 학습하고, 기억하고, 계획하는 '에이전트'를 보고 있는 것입니다.

연구진은 또한 이러한 가정들의 구체적인 세부 사항이 상당히 유동적이라는 사실도 발견했습니다. 예를 들어, 로봇의 목표에 대해 생각할 때 사람들은 때때로 출구 도달과 같은 최종 결과에 집중하기도 했고, 때로는 효율적인 청소나 안전한 이동과 같은 움직임의 질에 집중하기도 했습니다. 마찬가지로, 로봇이 학습하는 방식을 고려할 때 사람들은 때때로 로봇이 순수한 탐색을 통해 학습한다고 생각했고, 다른 때는 피드백을 받거나 문제를 추론하며 학습한다고 믿었습니다. 이러한 유연성은 인간이 로봇을 해석하는 데 있어 역동적인 프레임워크를 가지고 있으며, 로봇의 수행을 지켜보면서 이를 끊임없이 조정한다는 것을 시사합니다. 연구는 자녀가 있는지 혹은 반려동물을 키우는지와 같은 개인의 배경이 이러한 근본적인 사고 패턴을 변화시키지는 않는다는 점을 밝혀냈습니다.

이 연구는 향ate 인간-로봇 협업의 핵심적인 과제를 강조합니다. 인간은 자연스럽게 로봇이 자신과 유사한 목표, 지식, 의사결정 과정을 가지고 있다고 가정하기 때문에, 이러한 가정이 틀릴 위험이 있습니다. 만약 인간이 로봇이 추론을 통해 학습하고 있다고 믿는데 실제로는 단순한 규칙을 따르고 있는 것이라면, 인간은 기계를 혼란스럽게 만드는 피드백을 줄 수 있습니다. 연구진은 로봇이 진정한 파트너가 되기 위해서는 설계자들이 이러한 인간의 가정을 이해해야 한다고 제안합니다. 사람들이 로봇에 인간과 같은 마음을 투영할 수밖에 없다는 점을 인식함으로써, 엔지니어들은 더 투명한 시스템을 만들 수 있습니다. 그들은 로봇이 실제 학습 과정을 인간의 기대치와 일치하는 방식으로 전달하도록 설계하여, 로봇이 하고 있는 일과 인간이 생각하는 것 사이의 간극을 줄일 수 있습니다. 이러한 정렬은 인간과 기계가 공유된 과업 속에서 서로의 역할을 진정으로 이해하며 협력할 수 있는 하이브리드 지능을 구축하는 데 필수적입니다.