기술 요약: INSIGHT – 조종 가능한 VLA를 통한 자기 주도적 기술 습득

문제 정의

시각-언어-행동(Vision-Language-Action, VLA) 모델은 범용 로봇 조작 기술을 발전시켜 왔으나, 근본적으로 학습 데이터에 존재하는 기술에 국한되어 있다는 한계가 있습니다. 새로운 조작 기술을 습득하려면 매번 새로운 작업마다 값비싼 인간의 시연과 미세 조정(fine-tuning)이 필요합니다. 강화 학습(RL)이 대안이 될 수 있지만, 실제 환경에서는 과도한 샘플 복잡도와 안전 제약 문제를 수반하는 경우가 많습니다. 또한, 시각-언어 모델(VLM)이나 대규모 언어 모델(LLM)을 플래너나 코딩 에이전트로 활용하는 기존 방식들은 일반적으로 테스트 시점에만 작동하며, 기저의 학습된 정책(policy)을 업데이트하지는 않습니다. 결과적으로, 로봇은 인간의 개입 없이 스스로의 능력 집합을 확장하여 새로운 시나리오(예: 돌을 퍼 올리는 것만 학습한 화성 탐사선이 잔해를 쓸어내야 하는 상황)를 처리할 수 없습니다.

방법론: INSIGHT 프레임워크

INSIGHT는 VLA를 원시 동작(primitive-action) 수준에서 "조종 가능(steerable)"하게 만듦으로써, 2단계 파이프라인을 통해 자율적인 기술 습득을 가능하게 합니다.

1단계: 자동 원시 동작 분할 및 조종 가능한 VLA 학습

첫 번째 단계는 수동 주석(annotation) 없이 표준 원격 조종 시연을 조종 가능한 VLA 정책으로 변환합니다.

• 원시 동작(Primitive) 정의: 원시 동작은 단일한 지배적 운동 모드(예: 축을 따른 이동, 회전 또는 그리퍼 상태 변화)와 자연어 레이블(예: "위로 들어 올리기", "그리퍼 닫기")로 특징지어지는 재사용 가능한 행동 세그먼트입니다.
• 자동 분할: VLM은 작업 설명과 예시 원시 동작을 제공받아 예상되는 원시 동작의 순차적 시퀀스를 생성합니다. 이 VLM 생성 플랜은 그리퍼 상태 변화(열림/닫힘), 말단 장치(end-effector)의 운동 크기, 지배적 축 태그를 사용하여 인간의 시연 데이터와 정렬됩니다.
• 미세 조정: 분할되고 레이블이 지정된 궤적은 LoRA를 사용하여 사전 학습된 VLA를 미세 조정하는 데 사용됩니다. 각 원시 동작 세그먼트는 해당 언어 레이블에 조건화된 별도의 학습 에피소드가 됩니다. 개별 원시 동작에 대한 종료 신호를 제공하기 위해 학습된 진행 채널(progress channel)이 액션 공간에 추가됩니다.
• 결과: 그 결과, 단순한 전체 작업 명령이 아니라 특정 원시 동작을 실행하도록 언어를 통해 조종할 수 있는 VLA가 생성됩니다.

2단계: VLM 가이드 기반 기술 습득 루프

알려진 원시 동작 어휘 집합($V$)을 가진 조종 가능한 VLA가 주어졌을 때, INSIGHT는 새로운 작업을 위한 누락된 기술을 자율적으로 습득합니다.

1. 원시 동작 격차 식별: 새로운 작업에 대해 VLM 플래너는 작업을 원시 동작의 시퀀스로 분해합니다. 플랜 내의 원시 동작 $p_i$ 중 현재 어휘 집합 $V$에 없는 것은 "원시 동작 격차(primitive gap)"로 표시됩니다.
2. 매개변수화 및 실행: 각 격차에 대해 VLM은 저수준 제어 매개변수, 즉 운동 축(이동 $\{dx, dy, dz\}$ 또는 회전 $\{dr_x, dr_y, dr_z\}$)과 부호가 있는 크기(signed magnitude)를 제안합니다. 로봇은 플랜을 실행합니다: 알려진 원시 동작은 조종 가능한 VLA가 처리하고, 격차 부분은 VLM이 제안한 매개변수를 사용하는 저수준 컨트롤러가 실행합니다.
3. 성공 평가 및 통합: VLM 오라클(oracle)이 롤아웃 전후의 장면을 분석하여 작업 성공 여부를 검증합니다. 새로운 원시 동작의 성공적인 롤아웃은 자동으로 레이블이 지정되고 저장되어 학습 데이터셋에 추가됩니다.
4. 재학로인(Retraining): VLA는 기존 데이터와 새로 습득된 원시 동작이 결합된 데이터셋을 통해 재학습됩니다. 이를 통해 어휘 집합 $V$가 확장되며, 로봇은 향후 반복 시점에서 전체 구성 작업을 자율적으로 실행할 수 있습니다.

주요 기여

1. 자동 원시 동작 분할 파이프라인: VLM 플랜 분해와 운동학적 단서(kinematic cues)를 사용하여 원격 조종 시연을 레이블이 지정된 원시 동작으로 분해하는 방법으로, 수동 주석의 필요성을 제거하고 원시 동작 수준의 조종 가능성을 가능하게 합니다.
2. VLM 가이드 데이터 플라이휠: VLM이 새로운 작업을 위한 누락된 원시 동작을 식별하고, 저수준 제어를 통해 성공적인 시연을 자율적으로 생성하며, 새로운 능력을 통합하기 위해 VLA를 재학습시키는 폐쇄 루프 시스템입니다.
3. 조합적 기술 습득: 습득된 원시 동작이 복잡하고 긴 호흡의 작업을 해결하기 위해 조합될 수 있음을 보여줌으로써, 효과적인 지속적 평생 학습(lifelong learning)을 가능하게 합니다.

실험 결과

본 프레임워크는 시뮬레이션(LIB缺乏 환경, Franka Panda 로봇 사용)과 실제 하드웨어(UFactory xArm)의 5가지 작업에서 평가되었습니다.

• 시뮬레이션 (블록 뒤집기): '집어서 놓기(pick-and-place)' 시연만으로 시작하여, INSIGHT는 "블록 회전(rotate-block)" 원시 동작을 습득했습니다. 246회의 원시 동작 롤아웃 후 블록 뒤집기 작업에서 75%의 성공률을 달로 성했습니다. 반면, 동일한 컴퓨팅 예산을 사용한 SAC RL 베이스라인은 뒤집기 작업에서 0%의 성공률을 보였습니다.
• 시뮬레이션 (서랍 닫기): 서랍 열기 시연만으로 학습된 상태에서, INSIGHT는 분포 외(OOD) 초기 상태(이미 열려 있는 서랍)로부터 "서랍 밀어서 닫기" 원시 동작을 습득했습니다. 이는 서랍을 여는 능력을 유지하면서 서랍을 닫는 데 100% 성공률을 달성했습니다.
• 실제 환경 (병 돌리기 및 따르기):
  • 돌리기: INSIGHT는 병 뚜껑을 여는 데 **92%**의 엔드 투 엔드(end-to-end) 성공률을 기록했으며, 이는 CaP-X 베이스라인(32%)과 표준 미세 조정된 VLA($\pi0.5$, 0%)보다 우수한 성능입니다.
  • 따르기: INSIGHT는 콩을 따르는 작업에서 **96%**의 성공률을 기록하여, CaP-X(16%)를 크게 앞질렀습니다.
  • 조합: 복잡한 14-원시 동작 "돌린 후 따르기" 작업에서 INSIGHT는 **80%**의 엔드 투 엔드 성공률을 달성하여, CaP-X(4%)를 압도했습니다.
  • 효율성: INSIGHT는 테스트 시점에 매 단계마다 추론하는 대신 학습된 원시 동작을 실행하기 때문에, CaP-X(예: 돌리기 작업 시 41.5초 vs 13.6초)보다 실측 시간(wall-clock time)이 현저히 적게 소요되었습니다.
• 실제 환경 (쓸기): 퍼 올리기 시연으로부터만, INSIGHT는 잔해를 쓸기 위한 측면 밀기(lateral-push) 원시 동작을 습득하여 5/5회 평가 시험에서 성공했습니다.
• 기술 유지: 모든 실험에서, 통합된 VLA는 새로운 원시 동작을 습득한 후에도 기존 기본 기술에 대해 100%의 성능을 유지했습니다.

의의 및 주장

본 논문은 원시 동작의 조종 가능성이 VLA 정책의 지속적 기술 습득을 위한 실질적인 토대를 제공한다고 주장합니다. 기술을 조합 가능한 조종 가능한 원시 동작으로 분리함으로써, INSIGHT는 로봇이 다음을 수행할 수 있게 합니다:

• 새로운 작업을 위해 정확히 어떤 능력이 부족한지 식별합니다.
• 부족한 특정 기술을 자율적으로 연습하고 습득합니다.
• 이전 기술에 대한 파괴적 망각(catastrophic forgetting) 없이 새로운 기술을 단일 정책에 통합합니다.

저자들은 이를 VLM을 단순히 테스트 시점의 플래너로 취급하는 것에서 벗어나, 로봇의 기술 집합을 지속적으로 확장하는 능동적인 데이터 획득 루프의 에이전트로 사용하는 방향으로의 전환이라고 규정합니다. 이 접근 방식은 매번 새로운 행동을 위해 새로운 인간의 시연을 수집해야 하는 과도한 비용 없이, 새로운 환경(예: 화성 탐사선 사례)에 적응할 수 있는 경로를 제시합니다.

저자가 언급한 한계점:

• 원시 동작 습득이 현재 단일 축 운동으로 제한되어 있습니다.
• 시스템은 성공적인 롤아웃만을 필터링합니다. 실패 분석을 포함하면 샘플 효율성을 높일 수 있습니다.
• 롤아웃 사이의 환경 리셋에는 여전히 인간의 개입이 필요합니다.
• 본 방법론은 아직 휴머노이드나 모바일 매니퓰레이터와 같은 고자유도(high-DOF) 기체에 대해 테스트되지 않았습니다.