Model Reconciliation through Explainability and Collaborative Recovery in Assistive Robotics

기술 요약: 보조 로봇 공학에서의 설명 가능성 및 협력적 회복을 통한 모델 조정(Model Reconciliation)

문제 정의
보조 로봇 공학 및 공유 제어(shared control) 시나리오에서, 예상치 못한 로봇의 행동은 종로는 세계에 대한 인간 사용자의 정신 모델(mental model)과 로봇의 내부 모델 사이의 괴리에서 비롯됩니다. 로봇이 작업(예: 물체 잡기)을 수행하는 데 실패할 때, 사용자는 로봇의 추론 과정을 이해하지 못할 수 있으며, 이는 신뢰와 협업의 붕괴로 이어집니다. 기존의 모델 조정 방식은 로봇이 인간의 정신 상태에 대한 완전하고 형식적인 모델을 보유하고 있다고 가정하는 경우가 많으나, 이는 역동적인 보조 환경에서는 비현실적입니다. 또한, 설명(explanation)은 왜 실패가 발생했는지는 명확히 해줄 수 있지만, 인간이 로봇의 잘못된 믿음을 수정하여 실패로부터 회복할 수 있는 메커니즘을 본질적으로 제공하지는 않습니다.

방법론
저자들은 사용자의 사전 정의된 형식적 모델을 요구하지 않으면서도, 파운데이션 모델(특히 대규모 언어 모델[LLM] 및 시각-언어 모델[VLM])을 활용하여 인간과 로봇의 정신 모델 간의 간극을 메우는 모델 조정 프레임워크를 제안합니다. 이 프레임링은 세 단계로 작동합니다:

1. 시작 및 설명 생성:

   • 과정은 사용자의 자연어 질의(예: "왜 초록색 컵을 잡을 수 없나요?")에 의해 시작됩니다.
   • LLM 워크플로우는 질의에서 의미론적 엔티티(물체, 동작, 형용사)를 추출합니다.
   • 시스템은 로봇의 내부 모델에 대해 4단계 탐색을 수행합니다:
     • 객체 데이터베이스 확인: 해당 물체가 로봇의 정적 지식 베이스에 존재하는지 확인합니다.
     • 동작 모델 확인 (Pass 1): 현재 세계 상태를 기준으로 해당 동작이 이론적으로 가능한지 결정합니다.
     • 세계 모델 확인: 특정 물체 인스턴스가 현재 로봇에 의해 인지되고 위치가 파악되었는지 확인합니다.
     • 동작 모델 확인 (Pass 2): 동작이 충족되지 않은 전제 조건(예: 그리퍼가 자유롭지 않음)에 의해 차단되었는지, 혹은 단순히 학습되지 않은 동작인지 식별합니다.
   • 이 탐색을 바탕으로, 시스템은 구체적인 모델 괴리 유형(예: 로봇이 물체의 존재를 모르는지 vs. 로봇이 물체를 보고 있지만 동작할 수 없는지)을 예측하고 자연어 설명을 생성합니다.

2. 협력적 회복:

   • 만약 설명이 사용자가 수정할 수 있는 불일치(예: 로봇이 물체를 놓쳤거나 잘못된 상태를 믿고 있는 경우)를 드러내면, 사용자는 반박(rebuttal)을 제공합니다(예: "하지만 서랍은 닫혀 있어요!").
   • VLM 중재: 시각-언어 모델이 "오라클(oracle)" 역할을 하여 사용자의 주장을 로봇의 카메라 피드와 대조하여 검증합니다.
     • 인식 오류(DSO)의 경우: 사용자가 물체가 존재한다고 주장하면, VLM은 이미지 내에서 이를 일치시키려고 시도합니다. 성공할 경우, 탐지를 개선하기 위한 로봇의 움직임(예: 휠체어 이동)을 제안합니다. VLM이 확인할 수 없지만 사용자가 고집할 경우, 시스템은 해당 물체를 포함하도록 세계 모델을 덮어쓸 수 있습니다.
     • 상태 오류(DSA)의 경우: 사용자가 상태를 수정하면(예: "전자레인지가 열려 있어요"), 시스템은 이 자연어 수정을 기호적 세계 모델(PDDL)로 매핑하고 이에 따라 액션 그래프를 업데이트합니다.

3. 구현:

   • 이 프레임워크는 운동 장애가 있는 사람들을 위해 설계된 휠체어 기반 모바일 매니퓰레이터에 구현되었습니다.
   • 시스템은 의미론적 접지(semantic grounding)와 추론을 처리하기 위해 Chain of Thought 및 Few-Shot Prompting 기술을 사용하는 로컬 오픈 웨이트 VLM(Mistral-Small-3.2-24B-Instruct)을 활용합니다.

주요 기여
본 논문은 세 가지 수준에서 기여를 제시합니다:

1. 이론적 측면: 설명(로봇이 인간을 업데이트)과 수정(인간이 로봇을 업데이트)을 통한 양방향 업데이트를 포괄하는 보조 로봇 공학을 위한 모델 조정 프레임워크를 제시합니다.
2. 방법론적 측면: 검색된 로봇 모듈 데이터(객체 데이터베이스, 세계 모델, 액션 그래프)로 증강된 파운데이션 모델 워크플로우의 통합을 제시합니다. 이 접근 방식은 로봇이 사용자의 전체 정신 상태를 명시적으로 모델링할 필요 없이 지식 베이스의 차이를 예측할 수 있게 합니다.
3. 실험적 측면: 실제 보조 로봇과 그 디지털 트윈을 포함한 전체 구현 및 평가를 통해, 일상생활 시나리오를 처리하는 시스템의 능력을 입증했습니다.

결과
저자들은 실제 로봇과 디지털 트윈 상의 두 가지 실험(B1 및 B2)을 포함한 파일럿 연구를 수행하였으며, 총 120개의 출력 대화가 포함된 40개의 에피소드 데이터셋을 사용했습니다.

• 정확도: 프레임워크는 다양한 단위 테스트에서 78%에서 100% 사이의 정확도를 달enc성했습니다. 구체적으로, 물체 위치 파악 실패를 설명하는 데 있어서는 100%, 기호적 상태 오류를 전달하는 데 있어서는 78.79%, 회복 제안을 생성하는 데 있어서는 78.12%의 정확도를 기록했습니다.
• 비교: 실험 B1에서, 제안된 방법은 로봇의 내부 모델에 접근할 수 없는 "나이브(naive)" VLM 베이스라인보다 유의미하게 우수한 성능을 보였으며, 이는 LLM이 특정 로봇 모듈 데이터를 검색하고 합성하는 능력이 정확한 설명을 위해 필수적임을 입증합니다.
• 의미론적 접지: 실험 B2는 흔치 않은 로봇 특정 용어(예: "ikea bagganas"를 "cabinet"으로 매핑)에 대한 번역 사전을 제공하는 것이 동작 조정의 정확도를 78.8%에서 92.4%로 높였음을 보여주었습니다.
• 한계점: 저자들은 회복 움직임 제안(공간 추론)의 정확도가 낮았음을 언급하며, 이는 사용된 특정 VLM의 한계 때문일 가능성이 높다고 밝혔습니다. 또한, 질의의 형용사가 혼란을 야기하기도 했으며, 연구가 특정 일상생활 시나리오로 제한되었다는 점을 명시했습니다.

의의
본 논문은 예상치 못한 로봇 행동을 설명하고 협력적 회복을 가능하게 하는 실질적인 워크플로우를 제공한다고 주장합니다. 파운데이션 모델을 사용하여 모델의 괴리를 예측하고 설명함으로써, 시스템은 인간이 로봇의 믿음을 이해하고 이를 능동적으로 수정할 수 있게 하여, 복잡하고 사전 정의된 사용자 모델링 없이도 공유된 이해를 회복할 수 있게 합니다. 저자들은 현재의 구현이 규모가 작고 특정 시나리오에 국한되어 있지만, 투명성과 신뢰 구축을 위한 실행 가능한 파이프라인을 구축함으로써 계획 최적성, 목표 불일치, 더 다양한 물체 인스턴스에 대한 향후 연구의 길을 열었다고 강조합니다.