Improving Human-Robot Teamwork in Urban Search and Rescue Through Episodic Memory of Prior Collaboration

기술 요약: 에피소드 기억을 통한 도시 탐색 및 구조에서의 인간-로봇 팀워크 개선

문제 정의
도시 탐색 및 구조(USAR)와 같이 역동적이고 위험한 환경에서 효과적인 인간-로봇 팀워크를 수행하려면, 로봇이 상호작용 중 시행착오를 통해서만 학습하는 것이 아니라 파트너와 작업 상황에 즉각적으로 적응할 수 있어야 한다. MATRX USAR 환경에서의 선행 연구들은 로봇이 시간이 지남에 따라 적응할 수 있으며, 인간-로봇 팀이 채팅 및 성찰 인터페이스를 통해 협업 패턴(CP)을 외재화할 수 있음을 보여주었으나, 이러한 과거의 패턴을 미래의 상호작용을 초기화하는 데 활용하는 데에는 여전히 격차가 존재한다. 본 연구가 다루는 핵심 문제는, 로봇이 빈 메모리 상태로 시작하는 대신, 명시적인 과거 팀 경험을 새로운 협업 에피소드로 어떻게 전이하여 초기 단계의 성능을 향상시킬 것인가 하는 점이다.

방법론
저자들은 과거의 협업 패턴을 **지식 그래프 에피소드 기억(knowledge-graph episodic memories)**으로 표현하고, 이를 새로운 작업이 시작되기 전 로봇을 초기화하는 데 활용하는 프레임워크를 제안한다.

1. 온톨로지 및 표현:

   • 협업 패턴(CP)은 JanusGraph를 사용하여 속성 그래프(property graphs)로 모델링된다. 온톨로지는 robot, participant, cp, situation, robot_action, human_action의 6가지 엔티티 유형을 포함한다.
   • 관계는 엣지 패밀리(has_cp, has_situation, has_robot_action, has_human_action)를 통해 포착된다. 동작의 순서를 보존하기 위해, 액션 엣지는 시퀀스 인덱스(예: has_robot_action_0, has_robot_action_1)에 의해 구분되며, 결과적으로 9개의 고유한 관계 레이블을 가진다.
   • 노드 속성에는 수치적 지표(예: time_elapsed, success)와 문자열 속성(예: 동작 설명)이 포함된다. 문자열 속성은 Sentence-BERT를 사용하여 벡터로 인코딩되며, 수치적 특징은 정규화되어 공통 차원으로 투영된다.

2. 그래프 표현 학습:

   • CP 그래프의 유의미한 표현을 학습하기 위해 **관계형 그래프 합성곱 네트워크(Relational Graph Convolutional Network, RGCN)**가 채택되었다. 모델은 최종 RGCN 레이어 위에 단일 선형 분류기를 사용하는 노드 분류 목적 함수를 사용한다.
   • 10개의 노드 클래스는 스키마 유형(하나의 cp, 하나의 situation, 세 개의 human_action 단계, 다섯 개의 robot_action 단계)에 대응한다. 이러한 감독(supervision)을 통해 인코더는 협업 패턴 내의 초기 단계와 후기 단계를 구분할 수 있다.
   • 학습 후, 각 CP 그래프의 최종 노드 임베딩을 평균 풀링(mean-pooling)하여 그래프 수준의 임베딩을 생성한다.

3. 메모리 선택 및 초기화:

   • 학습된 그래프 임베딩은 K-means(K=5)를 사용하여 클러스터링된다.
   • 저자들은 재사용 가능한 메모리의 소스로 클러스터 1을 휴리스틱하게 선택하였는데, 이는 가장 높은 성공률(42%)과 구조적 단순성(인간의 개입이 최소화된 연속적인 로봇 동작에 의해 지배됨)을 보였기 때문이다.
   • 클러스터 1의 중심점(centroid)에 가장 가까운 CP가 대표 기억으로 선택된다. 이 CP는 상황("바위 더미 위", "큰 바위")과 인간의 입력 없이도 수행되는 2단계 로봇 동작 시퀀스(큰 바위를 들어 올리고 떨어뜨리기)를 포함한다.
   • 실험 설정에서, 로봇은 인간-로봇 상호작용이 시작되기 전 이 단일한 사전 로드된 CP로 초기화된다.

주요 기여
본 논문은 세 가지 주요 기여를 기술한다:

• 에피소드 팀 기억 표현: 과거 상호작용으로부터 얻은 협업 패턴을 상황적 맥락, 동작 구조 및 작업 결과를 보존하는 지식 그래프 에피소드 기억으로 표현함.
• 재사용 가능한 사전 경험 선택: 역사적 CP를 정리하고 초기화를 위한 대표 패턴을 식별하기 위해 노드 유형 감독을 활용한 그래프 표현 학습을 활용함.
• 초기 팀 성능 향상: 선택된 사전 기억으로 로봇을 초기화하는 것이 특히 협업의 시작 단계에서 성능 지표를 유의미하게 향상시킨다는 것을 입증함.

실험 결과
연구는 MATRX USAR 시뮬레이션 내에서 20명의 참가자와 160회의 라운드 단위 관측을 대상으로 진행되었다. 로봇은 메모리가 초기화되지 않은 조건과 단일 선택된 CP가 사전 로드된 조건에서 테스트되었다.

• 성공률: 구조 성공률이 메모리가 없는 경우 **25.7%**에서 메모리가 있는 경우 **41.3%**로 증가하여, 60.7%의 상대적 개선을 보였다.
• 작업 시간: 평균 작업 시간이 283초 단축되었다.
• 시간적 역학: 가장 큰 이득은 라운드 1에서 발생하였으며, 이는 공유된 루틴이 아직 형성되지 않은 시점에서 메모리가 팀의 과업 적응을 돕는다는 것을 시사한다.
• 트레이드오프(Trade-offs): 성공률과 시간은 개선되었으나, 로봇이 무거운 잔해 제거 전략을 실행함에 따라 발생하는 우발적인 낙석으로 인해 **희생자 피해(victim harm)**는 메모리 초기화 조건에서 평균적으로 약간 더 높았다. 또한, 재사용된 CP가 후기 시나리오에서 도입된 "갈색 바위"의 특정 위험을 고려하지 못했기 때문에 어려운 라운드(7 및 8)에서는 성능이 하락하였다.

의의 및 주장
저자들은 본 연구를 단순한 일반적 메모리 전이 이론이 아니라, 검사 가능한 사전 팀 경험을 로봇에 초기화하는 구체적인 메커니즘으로 규정한다.

• 투명성: 불투명한 정책 업데이트와 달리, 재사용된 경험은 검사, 토론 및 수정이 가능한 명시적이고 인간이 읽을 수 있는 상황-동작 구조로 유지된다.
• 초기 상호작용 지원: 결과는 재사용 가능한 에피소드 기억이 공유된 루틴이 아직 형성되지 않은 시점에 조율된 시작점을 제공함으로써, 협업의 초기에 가장 효과적임을 시사한다.
• 한계점: 논문은 시뮬레이션 환경, 작은 표본 크기, 단일 중심점 근접 CP의 휴리스틱한 선택, 그리고 무작위 또는 전문가가 선택한 메모리를 포함한 베이스라인의 부재 등 한계점을 겸허히 인정한다. 저자들은 이 접근 방식이 공격적인 잔해 제거와 관련된 안전 위험을 제거하지는 못하지만, 인간의 감독 하에 조율을 지원하는 배포 모델을 제공한다고 언급한다.