LiLo-VLA: Compositional Long-Horizon Manipulation via Linked Object-Centric Policies

이 논문은 복잡한 장거리 조작 작업을 위해 이동과 상호작용을 분리하고 객체 중심의 VLA 를 활용하여 제로샷 일반화와 실패 복구 능력을 갖춘 모듈형 프레임워크 'LiLo-VLA'를 제안하며, 시뮬레이션 및 실제 환경에서 기존 모델보다 뛰어난 성능을 입증했습니다.

핵심

🤖 로봇의 딜레마: "요리사"가 되고 싶은 로봇

우리가 로봇에게 "냉장고에서 계란을 꺼내서 프라이팬에 넣고, 토마토를 다져서 넣은 후, 소금도 뿌려줘"라고 시키면 어떨까요?
기존의 최신 로봇 기술 (VLA 모델) 은 매우 똑똑한 요리사처럼 보이지만, 두 가지 치명적인 약점이 있었습니다.

1. 순서 기억만 잘 하는 '암기왕': "계란 -> 토마토 -> 소금" 순서로 연습만 했다면, "토마토 -> 계란" 순서로 시키면 당황해서 아무것도 못 합니다. (새로운 조합을 못 함)
2. 작은 실수에도 무너지는 '연약한 심약함': 계란을 떨어뜨렸을 때, 로봇은 "아, 내가 계란을 떨어뜨렸네"라고 생각하기보다, "내가 처음부터 잘못 시작했나?"라고 생각하며 전체 작업을 포기하거나 계속 같은 실수를 반복합니다. (실수 연쇄 발생)

💡 LiLo-VLA 의 해결책: "전문가 팀"으로 바꾸기

이 연구팀은 로봇을 혼자서 모든 일을 하려는 1 인 기업에서, 각자 전문 분야가 있는 팀으로 바꾸는 아이디어를 제시했습니다.

1. 두 명의 전문가 (모듈화)

LiLo-VLA 는 로봇의 작업을 두 단계로 나누어 서로 다른 두 명의 전문가가 맡게 합니다.

• 🚚 이동 전문가 (Reaching Module): "운전 기사"

  • 역할: 로봇 팔을 목적지 (예: 냉장고 앞) 까지 안전하게 이동시킵니다.
  • 특징: 이 부분은 **기존의 정교한 수학 알고리즘 (운동 계획)**을 사용합니다. AI 가 새로 배우는 게 아니라, 이미 완벽한 지도를 보고 길을 찾는 방식입니다.
  • 비유: "집에서 식당까지 가는 길"을 GPS 로 정확히 찾는 역할입니다.

• 🤲 조작 전문가 (Interaction Module): "손재주 좋은 요리사"

  • 역할: 목적지에 도착한 후, 계란을 잡고 깨는 등 정교한 손놀림을 합니다.
  • 특징: 이 부분은 **AI (VLA)**가 담당하지만, 오직 계란만 보게 만듭니다. 냉장고 문이나 주변 식탁 같은 '잡다한 배경'은 모두 검은색으로 가려버립니다.
  • 비유: 요리사가 조리할 때 주변 소음이나 다른 사람 시선을 무시하고 오직 계란에만 집중하는 상태입니다.

2. 실수하면 다시 시작하는 '리셋 버튼' (Closed-Loop Recovery)

기존 로봇은 계란을 떨어뜨리면 "아, 내가 잘못했어"라고 생각하며 전체 작업을 중단하거나, 같은 실수를 반복했습니다.
하지만 LiLo-VLA 는 다음과 같이 행동합니다.

• "아, 계란을 떨어뜨렸네?没关系 (괜찮아)."
• 운전 기사가 다시 로봇 팔을 안전한 위치로 되돌려 보냅니다 (리셋).
• 요리사는 다시 계란을 잡으러 갑니다.
• 핵심: 실수가 발생해도 작업 전체를 포기하지 않고, 그 단계만 다시 시작할 수 있습니다.

---

🌟 이 기술이 왜 대단한가요? (일상적인 비유)

1. 새로운 요리도 해낼 수 있어요 (Zero-Shot Compositional Generalization)

• 기존 로봇: "김치찌개" 레시피만 배웠다면, "김치볶음밥"을 시키면 못 합니다.
• LiLo-VLA: "김치"를 다루는 법과 "볶음"을 하는 법을 따로 배웠다면, "김치볶음밥"을 처음 들어도 이 두 가지를 조합해서 바로 해냅니다. 로봇이 새로운 순서나 새로운 조합을 본 적 없어도, 배운 기본 기술들을 섞어서 해냅니다.

2. 주변이 시끄러워도 집중해요 (Robustness)

• 기존 로봇: 주방에 사람이 많이 오가거나 물건이 어지러지면, 로봇은 "어디로 가야 하지?"라고 혼란에 빠집니다.
• LiLo-VLA: 요리사 (조작 모듈) 는 오직 손에 든 계란만 보게 되어 있습니다. 주변이 어떻게 변하든, 계란만 보면 되므로 실수할 확률이 매우 낮습니다.

3. 16 단계의 긴 작업도 가능해요 (Long-Horizon)

• 기존 로봇: 3~4 단계만 하면 실수가 쌓여서 실패합니다.
• LiLo-VLA: 16 단계의 긴 요리 과정 (Ultra-Long) 을 거뜬히 해냅니다. 중간에 실수가 나면 그 부분만 다시 하면 되니까, 전체가 무너지지 않습니다.

---

📊 결과는 어땠나요?

• 시뮬레이션 (가상 환경): 21 가지의 매우 어려운 과제를 시켰을 때, 기존 최고 성능 로봇 (Pi0.5) 이 28% 만 성공한 반면, LiLo-VLA 는 69% 를 성공했습니다. (약 2.5 배 더 잘함!)
• 실제 로봇 (현실 세계): 실제 로봇 팔을 이용해 8 단계의 복잡한 작업을 시켰을 때, 85% 의 성공률을 기록했습니다. 배경이 복잡하고 순서가 바뀌어도 잘 해냈습니다.

🎯 한 줄 요약

"LiLo-VLA 는 로봇에게 '운전'과 '조작'을 분리하고, 실수하면 그 부분만 다시 시작하게 함으로써, 복잡한 일을 실수 없이 새로운 상황에서도 척척 해내는 '튼튼한 로봇'을 만들었습니다."

이 기술은 앞으로 우리가 로봇에게 "방을 정리해줘", "설거지해줘"처럼 복잡하고 긴 지시를 내릴 때, 로봇이 덜 헷갈리고 더 잘 해낼 수 있게 해줄 것입니다.

기술 요약

1. 문제 정의 (Problem Definition)

일반 목적의 로봇이 미지의 환경에서 복잡한 장기 작업 (Long-Horizon Manipulation) 을 수행하는 것은 로봇 공학의 핵심 과제입니다. 이러한 작업은 여러 단계의 기술 (예: 집기, 놓기, 부르기 등) 을 순차적으로 결합하여 높은 수준의 목표 (요리, 청소 등) 를 달성하는 것을 의미합니다. 기존 연구는 다음과 같은 두 가지 근본적인 한계를 겪고 있습니다:

• 구성적 일반화 (Compositional Generalization) 부재: 기존 Vision-Language-Action (VLA) 모델들은 훈련 데이터에서 보지 못한 새로운 작업 순서나 조합에 적응하는 데 어려움을 겪습니다. 학습된 원자적 기술 (Atomic Skills) 을 유연하게 재조합하지 못해, 각 작업마다 별도의 시연 데이터가 필요합니다.
• 연쇄적 실패 (Cascading Failures) 취약성: VLA 정책은 환경의 시각적 특징이나 특정 공간 배치에 과적합 (Overfitting) 되는 경향이 있습니다. 작업 초기 단계의 사소한 오류가 전체 작업 순열을 무너뜨리는 연쇄적 실패를 유발하며, 이를 복구하는 메커니즘이 부족합니다.

2. 방법론 (Methodology: LiLo-VLA)

저자들은 **LiLo-VLA (Linked Local VLA)**라는 모듈형 프레임워크를 제안하여 운송 (Transport) 과 상호작용 (Interaction) 을 분리하고, 고전적인 모션 플래닝과 학습된 VLA 정책을 결합합니다.

A. 모듈형 아키텍처

시스템은 두 가지 주요 모듈로 구성됩니다:

1. Reaching Module (도달 모듈):

   • 역할: 로봇의 엔드 이펙터를 다음 작업 대상 물체 근처로 이동시키는 **전역 운송 (Global Transport)**을 담당합니다.
   • 기술: 충돌 회피가 가능한 고전적인 모션 플래너 (MPLib) 를 사용합니다.
   • 강점: 학습된 정책이 전역 공간 배치나 배경 노이즈에 영향을 받지 않도록 하며, 물체와의 상호작용을 위한 정확한 접근 자세 (Approach Pose) 를 제공합니다.
   • 훈련 전략: 훈련 시 접근 자세에 무작위 교란 (Perturbation) 을 주어, 배포 시 모션 플래닝 오차나 자세 추정 오차에 강인하도록 만듭니다.

2. Interaction Module (상호작용 모듈):

   • 역할: 물체 중심의 **국소 상호작용 (Local Interaction)**을 수행하는 학습된 VLA 정책입니다.
   • 기술: 손목 카메라 (Wrist-mounted camera) 의 시점만 사용하고, 배경의 불필요한 객체를 가리는 시각적 마스킹 (Visual Masking) 기법을 적용합니다.
   • 강점: 작업과 무관한 시각적 특징 (배경, 다른 물체) 을 제거하여 정책이 오직 관심 대상 (Object of Interest) 에만 집중하도록 하여 환경 변화에 대한 불변성 (Invariance) 을 확보합니다.

B. 폐루프 복구 메커니즘 (Closed-Loop Recovery)

• 각 원자적 기술 실행 후 기하학적 검증을 수행합니다.
• 실패 시 복구:
  • 물체를 들고 있지 않은 상태 (예: 놓기 실패) 에서 실패하면, 현재 상태를 재평가하고 접근 자세로 되돌아가 다시 시도합니다.
  • 물체를 들고 있는 상태 (예: 옮기기 실패) 에서 실패하면, 로봇이 물체를 떨어뜨렸다고 가정하고 직전 '집기 (Pick)' 단계로 되돌아가 물체를 다시 확보한 후 작업을 재개합니다.
• 이 메커니즘은 연쇄적 실패를 방지하고 장기간 작업의 안정성을 보장합니다.

3. 주요 기여 (Key Contributions)

1. LiLo-VLA 프레임워크: 제로샷 (Zero-shot) 구성적 일반화를 가능하게 하고, 시각적 혼란 및 실행 오류에 강인한 모듈형 제어 전략을 제시했습니다.
2. 새로운 벤치마크:
   • LIBERO-Long++: 시각적 방해 요소 (Clutter) 가 추가된 6 가지 작업.
   • Ultra-Long: 최대 16 단계의 원자적 기술을 연결한 초장기 작업 3 가지.
   • 총 21 가지 작업으로 구성되어 기존 벤치마크 (보통 3~4 단계) 를 넘어선 확장성을 평가합니다.
3. 성능 입증: 시뮬레이션 및 실제 로봇 실험을 통해 기존 SOTA 모델들을 압도하는 성과를 입증했습니다.

4. 실험 결과 (Results)

A. 시뮬레이션 성능 (Simulation)

• 평균 성공률: LiLo-VLA 는 **69%**의 평균 성공률을 기록했습니다.
• 비교 대상:
  • Pi0.5: 28% (새로운 작업 순서에서는 0% 로 급락).
  • OpenVLA-OFT: 2%.
• 분석: 단일 엔드 - 투 - 엔드 모델 (Pi0.5 등) 은 훈련된 순서 외의 작업이나 긴 시퀀스에서는 성능이 급격히 떨어지는 반면, LiLo-VLA 는 모듈화와 복구 메커니즘 덕분에 새로운 순서와 긴 작업에서도 높은 성공률을 유지했습니다.

B. 실제 로봇 성능 (Real-World)

• 환경: Franka Emika Panda 로봇을 사용하여 8 단계까지의 복잡한 장기 작업 8 가지를 수행했습니다.
• 성공률: 평균 **85%**의 성공률을 달성했습니다.
• 일반화: 배경이 복잡하고 객체 배치가 다른 환경 (Diverse Layout) 에서도 100%~80% 의 성공률을 보였으며, 작업 순서가 바뀐 경우 (Change Sequence) 에도 8 단계 작업에서 60% 성공률 (평균 진행률 85%) 을 기록하여 제로샷 일반화 능력을 입증했습니다.

C. 제거 실험 (Ablation Study)

• Reaching Module 제거: 성공률 0% (운송과 상호작용 분리가 필수적임).
• 마스킹 제거: 성공률 69% → 48% (시각적 방해 요소 제거의 중요성).
• 복구 메커니즘 제거: 성공률 69% → 8% (장기 작업에서 폐루프 복구의 결정적 역할).

5. 의의 및 결론 (Significance & Conclusion)

LiLo-VLA 는 장기 작업 수행을 위한 모듈형 접근법의 중요성을 강조합니다.

• 데이터 효율성: 모든 가능한 작업 순서에 대한 시연 데이터를 수집할 필요 없이, 원자적 기술만 학습하면 새로운 조합에 제로샷으로 대응할 수 있습니다.
• 강건성 (Robustness): 모션 플래너와 VLA 의 역할을 명확히 분리함으로써, 환경의 변화나 오차에 대한 시스템의 취약성을 해결했습니다.
• 확장성: 16 단계 이상의 초장기 작업에서도 성공적으로 작동하여, 복잡한 실세계 로봇 제어의 새로운 기준을 제시했습니다.

이 연구는 단순한 모델 성능 향상을 넘어, **구조적 설계 (모듈화 및 복구 메커니즘)**를 통해 로봇의 장기 작업 능력을 근본적으로 향상시킬 수 있음을 보여주었습니다.