InteLiPlan: An Interactive Lightweight LLM-Based Planner for Domestic Robot Autonomy

InteLiPlan: 가사 로봇 자율성을 위한 대화형 경량 LLM 기반 플래너 기술 요약

문제 정의
대규모 언{L}anguage Model(LLM)과 시각-언어 모델(VLM)을 로보틱스에 통합하는 것은 체화된 AI(Embodied AI)를 발전시켰으나, 이러한 모델들을 가사 자율성에 배포하는 데에는 여전히 상당한 과제가 남아 있다. 기존의 접근 방식은 종종 방대한 데이터셋, 오프보드(offboard) 컴퓨팅 자원 또는 수작업으로 설계된 도메인 명세(예: PDDL)에 의존하며, 이는 확장성과 실시간 배포를 제한한다. 또한, 기존의 플래너들은 로봇의 기구학적 및 기하학적 제약 조건을 고려하지 못하는 경우가 많아, 의미론적으로는 올바르지만 물리적으로는 실행 불가능한 계획을 세우는 문제가 발생한다. 아울러, 순수 자율 시스템은 부분 관측성, 모호한 사용자 명령, 실행 실패 문제에 취약하며, 광범위한 재학습이나 인간의 감독 없이도 복구할 수 있는 견고한 메커니즘이 부족하다.

방법론
저자들은 온보드 실시간 컴퓨팅 자원을 사용하여 완전히 실행되도록 설계된, 경량화되고 로봇 불가지론적인(robot-agnostic) 프레임워크인 InteLiPlan을 제안한다. 이 시스템은 자연어 명령, 시각적 인지, 그리고 동작 가능성을 연결하는 중앙 집중식 멀티모달 플래너 역할을 수행한다.

• 멀티모달 입력 구성: 플래너는 세 가지 주요 입력을 받는다:

  1. 사용자 명령 ($T_{user}$): 자연어 요청 또는 복구 가이드.
  2. 시각적 관찰 ($f_{seen}$): 타겟 객체의 존재와 위치를 나타내는, 온보드 RGB-D 카메라(YOLO 사용)로부터 도출된 텍스트 피드백.
  3. 가용성 점수 ($f_{score}$): 타겟까지의 전신 충돌 없는 궤적이 존재하는지를 결정하는 모션 검증 모듈(R-LGP의 도달 가능성 그래프 활용)에서 생성된 이진 신호.
  4. 이력 ($T_{hist}$): 문맥 유지를 위한 대화 기록 및 이전 실패 상태.

• 아키텍처 및 미세 조정(Fine-Tuning): 핵심은 미세 조정된 경량 LLM(구체적으로 Mistral 7B 및 Deepseek 8B)이다. 저자들은 제로샷 프 prompting이나 거대한 엔드투엔드 학습에 의존하는 대신, 매개변수 효율적인 미세 조정을 위해 **LoRA(Low-Rank Adaptation)**를 채택했다. 학습 데이터셋은 멀티모달 대화 형식(예: <history>, <user>, <vision>, <feasibility> $\rightarrow$ <robot>)으로 구성된 순수 텍스트 예시이며, 여기서 출력값은 직접적인 액션 프리미티브(예: go, pick, place)의 시퀀스이다. 이 접근 방식은 모델이 로봇 특화 데이터 없이도 멀티모달 제약 조건으로부터 실행 가능한 API 호출로 매핑하는 법을 학습할 수 있게 한다.

• 인간 참여형(Human-in-the-Loop, HITL) 메커니즘: 이 프레임워크의 핵심적인 구성 요소는 인간의 개입을 통한 실패 처리 능력이다. 시스템은 실패를 계획(시각/가용성), 작업 혼동(모호성), 실행 실패로 분류한다. 실패가 감지되면 로봇은 문제의 맥락을 사용자에게 보고한다. 그러면 인간은 교정 가이드를 제공할 수 있으며, LLM은 이를 사용하여 재계획(replan)을 수행한다. 이 메커니즘은 복잡하고 부분적으로 관측 가능한 가사 환경에서 안전성과 견고성을 보장한다.

주요 기여

1. 경량 온보드 플래닝: 특정 멀티모달 구조로 미세 조정된 7B 파라미터 LLM이 클라우드 의존성 없이 온보드 하드웨어(NVIDIA RTX 2070)에서 완전히 실행되면서도 최첨단 플래닝 성능을 달 수 있음을 입증했다.
2. 로봇 불가지론적 파이프라인: 이 프레임워크는 다른 로봇 형태를 위해 재학습을 요구하지 않는다. 로봇의 능력을 공유된 스킬 셋으로 추상화하고 도달 가능성 그래프를 사용하여 가용성을 체크함으로써, 동일한 모델이 Toyota Human Support Robot(HSR)과 ANYmal D(Unitree Z1 암 장착)라는 두 개의 서로 다른 플랫폼에 성공적으로 배포되었다.
3. 대화형 실패 복구: 자가 복구 또는 상위 수준의 작업 계획에만 집중하는 기존 연구들과 달리, InteLiPlan은 인간의 가이드를 명시적으로 통합하여 코너 케이스(예: 모호한 참조, 조명으로 인한 시각 실패)를 처리함으로써 실패 시나리오에서의 작업 완료율을 크게 향상시켰다.
4. 텍스트화된 멀티모달 데이터: 시각 및 기하학적 제약 조건을 LLM 학습을 위한 텍스트 신호로 변환하는 방법을 도입하여, 모델이 원시 센서 데이터를 직접 처리하지 않고도 물리적 가용성을 추론할 수 있게 했다.

실험 결과
프레임워크는 시뮬레이션 및 실제 로봇을 대상으로 세 가지 주요 지표(작업 계획 성공, 실패 설명, 실패 복구)에 대해 평가되었다.

• 실패에 대한 견고성: "가져와(fetch me)" 작업에서 InteLiPlan은 복구가 필요한 시나리오에서 95%의 성공률을 달了했다. 반면, 프롬프트 기반 베이스라인(Mistral-Prompt, Deepseek-Prompt)은 보지 못한 객체나 복구가 필요한 명령에 직면했을 때 성공률이 급격히 하락했다(예: 100%에서 ~50% 또는 그 이하로).
• 일반화: 이 방법은 본 적 있는 명령/객체와 본 적 없는 명령/객체 모두에 대해 "실패 없는" 시나리오에서 100% 성공률을 기록했다. "실패" 시나리오에서도 미세 조정된 모델(Mistral-Ours)은 프롬프트 기반 대응 모델들에 비해 특히 작업 혼동 및 실행 실패를 처리하는 데 있어 일관되게 우수한 성능을 보였다.
• 확장성 (SayCan 벤치마크): SayCan 데이터셋의 101개 작업에 대해 평가했을 때, InteLiPlan(Mistral-7B)은 83%의 계획 성공률과 82%의 실행 성공률을 달성했다. 이는 훨씬 더 적은 파라미터를 가진 모델임에도 불구하고, 504B 파라미터의 PaLM-SayCan 시스템(계획 84%, 실행 74%)과 대등한 성능을 보여준다.
• 교차 체형(Cross-Embodiment): 시스템은 추가적인 미세 조정 없이 HSR(11-DoF)과 Anytree(12-DoF) 플랫폼 간에 성공적으로 일반화되었다.
• 지연 시간(Latency): 시스템은 온보드 자원을 사용하여 7초 미만에 실행 가능한 액션 시퀀스를 생성하며, 가용성 체크가 가장 많은 시간(~5초)을 소요한다.

의의 및 주장
본 논문은 InteLiPlan이 LLM의 추론 능력과 로봇 시스템의 물리적 제약 사이의 간극을 해결한다고 주장한다. 미세 조정된 경량 LLM을 구조화된 멀티모달 입력 파이프라인 및 인간 참여형 복구 메커니즘과 결론함으로써, 저자들은 견고하고 해석 가능하며 배포 가능한 가사 로봇 자율성을 향한 경로를 제시한다. 이 연구는 고수준의 계획이 반드시 거대 모델이나 방대한 데이터셋을 필요로 하는 것은 아니며, 효과적인 통합(인식, 가용성 체크, 인간 가이드)이 경량 모델을 훨씬 더 큰 최첨단 시스템과 대등한 신뢰도로 만들 수 있음을 강조한다. 저자들은 이 접근 방식이 전통적인 태스크 도메인을 정의하는 노력을 줄이고, 자원이 제한된 실제 로봇 애플리케이션에 대한 실질적인 솔루션을 제공한다고 결론짓는다.