To Move or Not to Move: Constraint-based Planning Enables Zero-Shot Generalization for Interactive Navigation

이 논문은 물체 이동을 통해 경로를 개척하는 '생애주기 상호작용 내비게이션' 문제를 해결하기 위해, LLM 기반의 제약 조건 계획과 능동적 지각을 결합하여 물리적 시뮬레이션 및 실제 하드웨어에서 제로샷 일반화 성능을 입증한 새로운 프레임워크를 제안합니다.

핵심

이 논문은 **"로봇이 길을 막는 물건을 치울지, 아니면 우회할지 결정하는 똑똑한 방법"**에 대해 설명합니다.

기존의 로봇들은 "길에 장애물이 있으면 우회해서 가거나, 아예 못 가버린다"는 전제를 가지고 있었습니다. 하지만 실제 우리 집이나 창고처럼 물건이 어지럽게 널려 있는 곳에서는, 장애물을 치워야만 목적지에 도달할 수 있는 경우가 많습니다. 이 논문은 로봇이 단순히 길을 찾는 것을 넘어, 환경을 스스로 정리하며 장기적인 목표를 달성하는 방법을 제안합니다.

이 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

🏠 비유: "어지러운 방을 정리하는 똑똑한 집사"

상상해 보세요. 로봇이 어지러운 방에 들어와서 "이 빨간 병을 책상 위에 올려줘"라는 임무를 받았습니다. 하지만 책상 앞에는 휴지통, 신발, 책 더미가 길을 완전히 막고 있습니다.

기존의 로봇들은 다음과 같이 행동했을 것입니다:

1. 우회하는 로봇: "어? 길이 막혔네? 그럼 다른 길로 가자." (하지만 다른 길도 막혀있으면 포기하거나, 아주 긴 길을 돌아다니다 지쳐버립니다.)
2. 무작정 치우는 로봇: "막히는 건 다 치워야지!"라고 생각하며, 길에 있는 모든 물건을 무작정 치웁니다. (이건 시간이 너무 오래 걸리고, 나중에 치운 물건이 다시 길을 막을 수도 있습니다.)

이 논문이 제안하는 로봇은 현명한 집사처럼 행동합니다.

1. "이제 움직일까, 말까?" (To Move or Not to Move)

이 로봇은 **거대 언어 모델 (LLM)**이라는 '초지능 두뇌'를 가지고 있습니다. 하지만 이 두뇌는 로봇의 손발을 하나하나 움직이는 법을 가르치는 게 아니라, **"상황 판단"**을 합니다.

• 상황 분석: 로봇은 "휴지통이 길을 막고 있네. 이걸 치우면 5 초 걸리고, 치우지 않고 돌아가면 2 분 걸리네. 근데 이 휴지통을 치우면 나중에 다른 물건도 쉽게 접근할 수 있겠어."라고 생각합니다.
• 전략적 결정: 단순히 "막히니까 치워라"가 아니라, **"이 물건을 치우는 게 장기적으로 이득일까?"**를 계산합니다. 만약 치우는 데 드는 노력보다 돌아가는 게 더 효율적이면, 로봇은 과감하게 우회합니다. 하지만 치우면 앞으로의 모든 임무가 훨씬 쉬워진다면, 과감하게 치웁니다.

2. "장기적인 눈" (Lifelong Navigation)

이 로봇은 한 번의 임무만 생각하는 게 아닙니다. "이 방에 20 개의 물건 정리 임무가 남아있어"라고 생각합니다.

• 나쁜 예: "지금 이 신발을 치우면 1 분 걸리네."라고 해서 신발을 치웠는데, 그 신발을 놓은 자리가 나중에 중요한 물건을 옮길 때 다시 걸림돌이 될 수도 있습니다.
• 이 로봇의 방식: "이 신발을 어디에 치워야 나중에 다른 물건들도 다 잘 지나갈 수 있을까?"를 미리 생각합니다. 물건을 치우는 것뿐만 아니라, 치운 물건을 '어디에' 놓을지까지 고려합니다.

3. "눈을 감고도 지도를 그리는 능력" (Active Perception)

처음에는 방의 모든 구석구석을 모릅니다. 로봇은 "여기엔 뭐가 있을까?"라고 생각하며 적극적으로 시선을 돌립니다.

• "침실에는 침대가 있을 테니, 그 안에 물건이 있을 확률이 높아. 일단 침실로 가보자."
• 이렇게 무작정 모든 곳을 훑는 게 아니라, 필요한 정보를 얻기 위해 필요한 곳만 찾아갑니다.

---

🚀 핵심 요약: 이 기술이 왜 특별한가요?

1. 학습 없이도 똑똑합니다 (Zero-Shot): 이 로봇은 특정 집안 환경에 맞춰 훈련받지 않아도, 처음 보는 어지러운 방에서도 바로 적응합니다. 마치 새로운 집을 방문해도 '집사'의 직관으로 바로 정리하는 것과 같습니다.
2. 환경을 바꿉니다: 로봇이 단순히 길을 찾는 게 아니라, 로봇이 환경을 정리하며 길을 만듭니다.
3. 실제 로봇에서도 작동합니다: 이 논문은 컴퓨터 시뮬레이션뿐만 아니라, 실제 **Boston Dynamics Spot(개 모양 로봇)**에 이 기술을 적용해서 성공적으로 시연했습니다. 로봇이 실제로 휴지통을 치우고 물건을 옮기는 모습을 볼 수 있었습니다.

🎯 결론

이 논문은 **"로봇에게 길을 찾는 법을 가르치는 것을 넘어, 환경을 정리하며 미래를 내다보는 '전략가'가 되게 했다"**는 점이 가장 큰 성과입니다.

마치 어지러운 방에서 '어떻게 하면 가장 효율적으로 모든 일을 끝낼 수 있을까?'를 고민하는 현명한 집사처럼, 로봇이 장애물을 치울지, 우회할지, 어디에 물건을 둘지 스스로 결정하여 장기적인 목표를 달성하는 기술을 개발한 것입니다.

기술 요약

1. 문제 정의 (Problem Definition)

기존의 시각적 내비게이션 (Visual Navigation) 연구는 대부분 시작점과 목표점 사이에 장애물이 없는 경로가 존재한다고 가정합니다. 그러나 실제 가정이나 창고와 같은 환경에서는 가구, 쓰레기 등 다양한 물체 (Clutter) 가 모든 경로를 차단하여 로봇이 목표에 도달할 수 없는 경우가 많습니다.

이러한 문제를 해결하기 위해 기존 연구들은 장애물을 우회하거나 (Detour) 단순히 장애물을 밀어내는 (Pushing) 방식을 사용했으나, 이는 다음과 같은 한계가 있습니다:

• 단일 작업 중심: 대부분의 상호작용 내비게이션 (Interactive Navigation) 방법은 단일 작업에 국한되며, 환경의 변화가 미래 작업에 미치는 장기적 영향을 고려하지 않습니다.
• 수동적 반응: 로봇이 환경을 재구성 (Reconfigure) 하는 능동적 의사결정보다는 장애물에 반응하는 수준에 머무릅니다.

저자들은 이를 해결하기 위해 "Lifelong Interactive Navigation (생애주기 상호작용 내비게이션)" 문제를 제안합니다. 이는 미지의 환경에서 이동형 매니퓰레이터 (Mobile Manipulator) 가 일련의 순차적 객체 배치 작업 (예: "A 물체를 B 테이블에 놓기") 을 수행할 때, 장애물을 이동시켜 경로를 확보하거나 환경을 재구성하여 장기적인 작업 성공률을 높이는 문제를 다룹니다.

2. 방법론 (Methodology)

저자들은 대규모 언어 모델 (LLM) 을 단순한 행동 시퀀스 생성기가 아닌, 환경의 제약 조건을 추론하는 '제약 조건 추론기 (Constraint Reasoner)' 로 재정의한 프레임워크를 제안합니다.

A. 구조화된 장면 그래프 (Structured Scene Graph)

로봇은 RGB-D 관측을 통해 환경을 점진적으로 탐색하며, 발견된 객체와 공간 관계를 방향성 그래프 $E_t = (O_t, R_t)$ 로 표현합니다.

• 노드: 발견된 객체나 방 (Room).
• 엣지: 객체 간의 '차단 (Blocking)' 관계.
• 속성: 각 객체 노드는 이동 비용, 차단 관계, 그리드 그래프 상의 Betweenness Centrality (중심성, 해당 객체가 제거될 때 얼마나 많은 경로가 확보되는지) 등의 정보를 포함합니다.

B. LLM 기반 제약 조건 기반 계획 (Constraint-based Planning)

LLM 은 텍스트로 직렬화된 장면 그래프를 입력받아 다음을 결정합니다:

1. 이동 여부 (To Move or Not to Move): 장애물을 이동시키는 비용 (Manipulation Cost) 과 그로 인해 확보되는 장기적 이동성 (Connectivity Gain) 사이의 비용 - 편익 분석을 수행합니다.
2. 이동 대상 및 위치: 어떤 장애물을 어디로 이동시킬지 결정합니다. 단순히 가장 가까운 곳에 두는 것이 아니라, 미래 작업에도 방해가 되지 않는 최적의 위치를 선택합니다.
3. 탐색 전략: 목표 객체가 발견되지 않은 경우, 의미론적 관련성 (Semantic Relevance) 을 기반으로 다음에 탐색할 방을 결정합니다.

이 과정에서 LLM 은 저수준의 제어 명령 (예: "왼쪽으로 1m 이동") 을 직접 생성하지 않고, "어떤 장애물을 제거할 것인가", "어디로 이동할 것인가" 와 같은 고수준의 전략적 결정을 내립니다.

C. 저수준 계획 및 실행

LLM 의 고수준 결정은 표준 모션 플래너 (Dijkstra 기반 등) 로 전달되어 구체적인 내비게이션, 픽 (Pick), 플레이스 (Place) 동작 시퀀스로 변환되어 실행됩니다.

3. 주요 기여 (Key Contributions)

1. Lifelong Interactive Navigation 문제 정의: 미지의 환경에서 순차적 작업을 수행하며, 환경 변경의 장기적 영향을 고려해야 하는 새로운 문제 설정을 제시했습니다.
2. 제약 조건 기반 계획 프레임워크: LLM 의 역할을 행동 생성에서 제약 조건 추론으로 전환하여, 작업별 미세 조정 (Fine-tuning) 없이도 Zero-shot으로 장기적 추론이 가능하도록 했습니다.
3. 새로운 평가 지표 (LES): 성공률 (SR), 시간 효율성 (TS), 그리고 환경의 장기적 최적화 정도를 나타내는 'Clutter의 가격 (Price of Clutter, PoC)' 을 결합한 Long-term Efficiency Score (LES) 를 제안했습니다. 이는 단기적 성공만 추구하는 기존 방법들의 한계를 보완합니다.

4. 실험 결과 (Results)

실험은 물리 엔진이 적용된 ProcTHOR-10k 시뮬레이터와 실제 Boston Dynamics Spot 로봇을 통해 수행되었습니다.

• 성능 비교: 제안된 방법은 기존 학습 기반 방법 (InterNav) 과 휴리스틱 기반 방법 (Always Detour, Always Interact, Clean+S/P) 을 모두 능가했습니다.
  • LES 점수: 가장 강력한 비학습 베이스라인 대비 20~50% 향상, 기존 상호작용 내비게이션 방법 대비 3~6 배 높은 성능을 기록했습니다.
  • 환경 복잡도: 방의 수가 증가할수록 (13 개에서 710 개로) 기존 방법들의 성능이 급격히 저하되는 반면, 제안된 방법은 높은 효율성을 유지했습니다.
• 조작 비용 분석: 객체 이동 비용 (Manipulation Cost) 을 높게 설정할 경우, 로봇은 불필요한 이동을 피하고 핵심적인 장애물만 선택적으로 제거하는 전략을 취하여 장기적 효율성을 유지했습니다.
• 하드웨어 검증: 실제 Spot 로봇을 통해 시뮬레이션에서 학습된 전략이 실제 환경에서도 성공적으로 전이 (Sim-to-Real) 됨을 확인했습니다. 로봇은 실시간으로 장애물을 인식하고, 이를 이동시켜 경로를 확보한 후 작업을 완료했습니다.

5. 의의 및 결론 (Significance)

이 논문은 embodied AI(신체화된 인공지능) 분야에서 중요한 패러다임 전환을 제시합니다.

• 능동적 환경 재구성: 로봇이 단순히 환경을 탐색하는 것을 넘어, 환경을 재구성하여 장기적인 목표를 달성하는 능동적 에이전트로서의 역할을 강조합니다.
• LLM 의 새로운 역할: LLM 을 복잡한 제어 명령 생성기가 아닌, 고수준의 전략적 의사결정 및 제약 조건 추론 도구로 활용함으로써, 계산 비용과 일반화 능력을 균형 있게 잡았습니다.
• 실용성: 실제 가정이나 창고와 같이 복잡하고 동적인 환경에서 로봇이 장기간 자율적으로 작동할 수 있는 가능성을 입증했습니다.

결론적으로, 이 연구는 "이동할 것인가, 말 것인가 (To Move or Not to Move)"에 대한 전략적 판단을 통해, 로봇이 장애물이 가득한 환경에서도 장기적으로 효율적으로 작업을 수행할 수 있음을 보여줍니다.