A Pragmatist Robot: Learning to Plan Tasks by Experiencing the Real World

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 최근 대규모 언어 모델 (LLM) 은 자연어 지시를 해석하고 상식적 추론을 통해 로봇 작업 계획을 수립하는 데 탁월한 성능을 보여주고 있습니다. 또한, 비전 - 언어 모델 (VLM) 은 시각적 입력과 텍스트를 결합하여 로봇의 폐루프 (closed-loop) 자율 작동을 가능하게 합니다.
• 문제점:
  • 신체성 (Embodiment) 불일치: 인터넷 데이터로 훈련된 LLM/VLM 은 실제 로봇의 물리적 능력, 기술 세트 (skill sets), 그리고 제한 사항 (예: 부분 가시성 하에서의 그리핑 실패) 을 내재적으로 이해하지 못합니다.
  • 학습 비용: 기존 방법론들은 인간이 제공하는 밀집된 피드백 (dense human feedback) 이나 방대한 양의 훈련 데이터, 또는 모델 가중치 업데이트 (파인튜닝) 에 의존하는 경우가 많아 비효율적입니다.
  • 실제 환경 적용의 어려움: 시뮬레이션 환경에서는 잘 작동하지만, 물리적 상호작용의 복잡성과 센서 노이즈가 존재하는 실제 세계에서는 계획 실패가 빈번합니다.

2. 제안 방법론: PRAGMABOT (Methodology)

이 논문은 언어적 강화 학습 (Verbal Reinforcement Learning) 개념을 차용하여, 모델 가중치를 업데이트하지 않고 실제 세계의 경험을 통해 로봇이 작업 계획을 학습할 수 있는 프레임워크 PRAGMABOT을 제안합니다.

핵심 구성 요소

1. 비전 - 언어 모델 (VLM) 의 3 가지 역할:

   • 작업 계획자 (Task Planner): 사용자 지시와 현재 시각적 관찰을 기반으로 다음 행동 (기술 선택 및 파라미터) 을 생성합니다.
   • 성공 감지기 (Success Detector): 행동 전후의 시각적 관찰을 비교하여 행동의 성공/실패 여부와 장면 변화에 대한 의미론적 설명을 생성합니다.
   • 경험 요약기 (Experience Summarizer): 작업 완료 후 단기 기억의 내용을 요약하여 장기 기억에 저장합니다.

2. 이중 기억 시스템 (Dual Memory System):

   • 단기 기억 (STM, Short-Term Memory): 현재 작업 수행 중 실행된 행동과 피드백 (성공/실패) 을 기록합니다. 행동 실패 시, VLM 이 실패 원인을 분석하고 "언어적 기울기 (linguistic gradient)"를 통해 다음 행동을 재계획하는 온라인 적응 (Online Adaptation) 및 자기 성찰 (Self-reflection) 에 활용됩니다.
   • 장기 기억 (LTM, Long-Term Memory): 성공적으로 완료된 작업의 STM 경험을 요약하여 영구적으로 저장합니다. 이는 미래의 유사한 작업을 위한 지식 베이스 역할을 합니다.

3. 검색 증강 생성 (RAG, Retrieval-Augmented Generation):

   • 새로운 작업을 수행할 때, 현재 상황 (지시어 + 초기 장면 설명) 과 유사한 과거 경험을 LTM 에서 검색하여 VLM 의 프롬프트에 포함시킵니다. 이를 통해 로봇은 과거의 성공/실패 사례를 참조하여 더 현실적이고 구체적인 행동을 계획합니다.

4. 온디맨드 이미지 주석 모듈 (On-demand Image Annotation):

   • 복잡한 3D 공간에서의 그리핑 (Pick), 배치 (Place), 밀기 (Push) 작업을 위해 VLM 이 필요 시 객체 분할 (Grounded SAM) 및 후보 위치 마스킹을 수행합니다. 이를 통해 기하학적 정보뿐만 아니라 의미론적 이해를 바탕으로 정확한 행동 위치를 선정합니다.

3. 주요 기여 (Key Contributions)

1. 실제 세계 기반의 언어적 강화 학습: VLM 과 시각적 피드백을 통합하여, 로봇이 실제 환경에서의 경험을 통해 작업 계획을 학습하고 신체성에 맞춰 적응하는 새로운 프레임워크 (PRAGMABOT) 를 제시했습니다.
2. RAG 기반의 자기 성찰 및 기억 활용: 언어적 강화 학습 프레임워크에 RAG 를 도입하여, 로봇이 작업 관련 자기 성찰 경험을 선택적으로 활용하도록 했습니다. 이는 단순 프롬프팅 (naive prompting) 보다 계획 정확도를 획기적으로 향상시킵니다.
3. 향상된 공간 이해를 위한 이미지 주석: VLM 의 공간 추론 능력을 강화하는 온디맨드 이미지 주석 모듈을 설계하여, 복잡한 실제 환경에서 더 정확한 행동 실행을 가능하게 했습니다.

4. 실험 결과 (Results)

ANYmal(4 발 보행 로봇) 에 6 자유도 (6-DoF) 암을 장착한 실제 로봇을 사용하여 실험을 수행했습니다.

• 단기 기억 (STM) 및 자기 성찰의 효과:

  • 4 가지 도전적인 조작 작업에서 STM 기반 자기 성찰을 적용한 결과, 작업 성공률이 35% 에서 84% 로 크게 향상되었습니다.
  • 로봇은 실패 후 스스로 계획을 수정하여 장애물을 치우거나 (예: 캔을 밀어 사과에 접근), 도구를 사용하는 (예: 스펀지를 이용해 사탕 밀기) 등 지능적인 객체 상호작용을 보였습니다.

• 장기 기억 (LTM) 및 일반화 능력:

  • 12 가지 실제 시나리오 (이전에는 보지 못한 8 가지 작업 포함) 에서 LTM 을 활용한 결과, 단일 시도 성공률이 22% 에서 80% 로 향상되었습니다.
  • RAG 를 사용한 PRAGMABOT 은 기존 방법 (COME 등) 보다 훨씬 우수한 성능을 보였으며, 한 작업에서 학습한 경험이 구조적으로 유사한 새로운 작업으로 성공적으로 전이되었습니다.

• 성공/실패 원인 분석:

  • 실패 사례 중 대부분은 행동 실행 문제 (그리핑 생성 실패, 깊이 추정 오차) 였으며, VLM 의 추론 오류나 RAG 검색 실패는 상대적으로 적었습니다.
  • 이미지 주석 모듈은 복잡한 모양의 객체 (닭다리, 꼬치 등) 를 잡는 성공률을 높이고, 밀기 작업의 오차를 줄이는 데 기여했습니다.

5. 의의 및 결론 (Significance)

• 효율성과 확장성: PRAGMABOT 은 모델 가중치를 업데이트하거나 인간이 직접 데이터를 라벨링할 필요 없이, 로봇이 스스로 경험을 통해 학습할 수 있는 효율적인 패러다임을 제시합니다.
• 실제 적용 가능성: 시뮬레이션이 아닌 실제 물리적 환경에서 작동하며, 로봇의 신체적 한계를 고려한 현실적인 작업 계획을 가능하게 합니다.
• 지속적 학습 (Lifelong Learning): 단기 기억을 통한 실시간 적응과 장기 기억을 통한 지식 축적을 결합하여, 로봇이 시간이 지남에 따라 점점 더 똑똑해지는 지속적 학습 체계를 구현했습니다.

이 연구는 로봇이 실제 세계의 실패와 성공을 경험하고 이를 언어적 형태로 기억하여 미래의 행동을 최적화하는 "실용주의적 (Pragmatist)" 접근법의 유효성을 입증했습니다.