기술 요약: 행동 프롬프팅 정책 (Behavior Prompting Policy, BPP)

문제 정의

로봇에게 새로운 기술을 가르치는 전통적인 방식은 각 특정 작업마다 방대한 재학습이나 미세 조정(fine-tuning)을 필요로 하며, 이는 비효율적이고 신속한 배포를 제한합니다. 대규모 언어 모델(LLM)은 인컨텍스트 학습(in-context learning, 테스트 시점에 몇 가지 예시를 통해 새로운 작업에 적응하는 방식)을 통해 성공을 거두었지만, 로보틱스 분야의 조작(manipulation) 기술은 이와 유사한 능력을 달ей는 데 뒤처져 있었습니다. 기존의 접근 방식은 주로 언어 설명이나 목표 이미지(goal images)에 의존하는데, 이는 작업 수행에 필요한 구체적인 공간적 및 시간적 실행 정보를 불완전하게 제공할 수 있습니다. 또한, 로보틱스의 많은 퓨샷 학습(few-shot learning) 방법론은 그래디언트 업데이트나 명시적인 공간 변환을 사용하는 메타 학습에 의존하며, 이는 다양성이 높은 작업 분포으로 확장하기 어려울 수 있습니다.

저자들은 **행동 프롬프팅(Behavior Prompting)**이라는 패러다임을 제안합니다. 이는 로봇이 테스트 시점에 단 한 번의 인간 시연(행동 프롬프트)을 기반으로 새로운 작업을 수행하는 방식입니다. 이 프로프트는 로봇의 센서모터 공간 내에서의 관측(observations), 고유 수용 감각(proprioception), 그리고 행동(actions)으로 구성되며, 작업을 정의하는 동시에 이를 어떻게 실행할지에 대한 구체적인 예시를 동시에 제공합니다.

방법론

1. 행동 프포프팅 정책 (Behavior Prompting Policy, BPP)

핵심 알고리즘 기여는 **행동 프롬프팅 정책(BPP)**으로, 이는 행동 프롬프트와 현재 관측치를 로봇 행동으로 변환하도록 설계된 인컨텍스트 시각-운동(visuomotor) 아키텍처입니다. 이 아키텍처는 세 가지 주요 구성 요소로 이루어집니다:

• 프롬프트 청킹 및 임베딩 (Prompt Chunking & Embedding): 행동 프롬프트(관측, 고유 수용 감각, 행동의 시퀀스)는 효율성을 위해 시간적으로 다운샘플링됩니다(통상 1Hz). 시퀀스는 "청크(chunk)"로 나뉘며, 각 청크는 하나의 관측($o$)과 고용 수용 감각($q$)의 타임스텝, 그리고 다음 청크로 이어지는 일련의 행동($a$)을 포함합니다. 어텐션 풀링(Attention Pooling) 메커니즘은 $\{o, q, a\}$를 하나의 청크 임베딩($p_i$)으로 병합합니다.
• 프롬프트 인코더 (Prompt Encoder): 이는 현재 관측치를 조건으로 하여 프롬프트 시퀀스($P = [p_0, \dots, p_n]$)로부터 관련 정보를 추출하는 트랜스포머 디코더입니다. 현재 관측치는 토큰화되어 프롬프트 청크 임베딩과의 **교차 어텐션(cross-attention)**을 통해 처리됩니다. 이를 통해 모델은 프롬프트 시연과 현재 환경 사이의 시간적 대응 관계와 공간적 차이를 식별할 수 있습니다.
• 액션 디코더 (Action Decoder): 추출된 프롬프트 정보는 현재 관측치 및 디퓨전 타임스텝(diffusion timestep)과 결합되어 디퓨전 모델(구체적으로 FiLM 컨디셔닝을 사용하는 CNN 기반 아키텍처)로 전달됩니다. 디코더는 폐루프(closed-loop) 행동을 생성하기 위해 반복적으로 노이즈를 제거(denoise)합니다.

훈련 전략: BPP는 멀티태스크 모방 학습 데이터셋을 사용하여 표준 행동 복제(behavior cloning) 방식으로 훈련됩니다. 각 훈련 단계에서, 단일 시연이 프롬프트로 샘플링되며, 동일한 작업의 다른 시연들로부터 후퇴 지평(receding horizon) 관측치와 미래 행동의 배치가 샘플링됩니다. 결정적으로, 프롬프트와 훈련 배치 사이에 명시적인 공간적 또는 시간적 대응 관계를 강제하지 않으며, 모델은 프롬프트를 활용하도록 엔드투엔드로 학습됩니다.

2. iPhUMI 인터페이스

행동 프롬프팅을 위한 데이터 요구 사항을 해결하기 위해, 저자들은 핸드헬드 조작 인터페이스인 iPhUMI를 도입합니다. UMI 그리퍼를 개조한 것으로, GoPro를 iPhone 15 Pro로 대체했습니다. 주요 특징은 다음과 같습니다:

• 즉각적인 로컬라이제이션 (Instant Localization): 온디바이스 ARKit을 활용한 실시간 SLAM을 사용하여 번거로운 환경 매핑 과정을 제거합니다.
• 무선 프롬프팅 (Wireless Prompting): 인간 작업자가 행동 프롬프트를 워크스테이션으로 무선 전송할 수 있게 하여, 새로운 작업을 위한 테스트 시점의 즉각적인 정책 컨디셔닝을 가능하게 합니다.

평가 및 벤치마크

저자들은 단일 작업의 복잡성보다는 높은 작업 다양성에 초점을 맞춘 두 가지 새로운 벤치마크를 도입하여 테스트 시점 적응 능력을 평가합니다:

1. DrawAnything: 연속적이고 정밀한 행동 적응이 필요한 드로잉 환경(시뮬레이션 및 실제 세계)입니다.
   • Sim: 2,000개의 절차적 생성 작업으로 훈련되었으며, 50개의 미학습 인간 드로잉으로 테스트되었습니다.
   • Real: 손목에 iPhone 카메라를 장착한 ARX 로봇 팔을 사용합니다. 1,000개의 작업으로 훈련되었으며, 10개의 미학습 작업으로 테스트되었습니다.
2. LIBERO-Gen: LIBERO 조작 벤치마크를 대폭 확장한 버전입니다.
   • Combination: 10개의 작업을 174개로 확장하여, 두 개의 동일한 그릇 중 하나를 선택해 아홉 곳의 위치 중 한 곳에 놓는 능력을 테스트합니다.
   • Chain: 10개의 작업을 321개로 확장하여, 순차적인 2단계 상호작용(예: 서랍을 열고 물체를 놓기)을 테스트합니다.

주요 결과

• 우수한 적응력: 미학습 드로잉 작업(DrawAnything-Sim)에서 BPP는 Goal-Image 베이스라인 대비 80.7%의 오차 감소를, ICRT(이전의 행동 프롬프트 모델) 대비 33.3%의 오차 감소를 달eric했습니다.
• 복잡성에 대한 강건성: LIBERO-Gen 벤치마크에서 BPP는 베이스라인(Goal-Image, Language, ICRT)을 능가했으며, 100K 단계의 LoRA 미세 조정을 거친 파운데이션 VLA 모델인 $\pi_{0.5}$와 대등한 성능을 보였습니다. 이는 BPP가 파운데이션 사전 학습 없이 달성한 결과입니다.
• 어텐션 메커니즘: 프롬프트 인코더 어텐션 시각화(그림 5)는 BPP가 작업 진행 상황을 효과적으로 추적함을 보여줍니다. 연속적인 작업(드로잉)의 경우 어텐션이 프롬프트를 밀접하게 따르며, 이산적인 작업(LIBERO)의 경우 어텐션이 "마일스톤"(예: 다음에 상호작용할 객체)을 추적합니다.
• 데이터 요구 사항: 체계적인 절제 실험(ablation)을 통해 작업 다양성이 프롬프팅 능력의 핵심 동력임을 확인했습니다. 소수의 작업에 대해 많은 시연을 수집하는 것보다, 더 많은 수의 서로 다른 작업에 대해 적은 수의 시연을 수집하는 것이 테스트 시점 적응에 더 유리합니다.

의의 및 주장

본 논문은 행동 프롬프팅이 비싼 비용의 미세 조정 없이도 로봇에게 새로운 기술을 가르칠 수 있는 유연하고 확장 가능한 방법을 제공한다고 주장합니다. 단 한 번의 인간 시연을 프롬프트로 활용함으로써, 사용자는 작업을 지정하거나 새로운 로봇 역량을 "즉석에서" 정의할 수 있습니다.

저자들은 다음을 강조합니다:

1. 센서모터 프롬프트는 특정 저수준 동작이나 공간-시간적 전략이 필요한 작업에서 언어나 목표 이미지보다 더 표현력이 풍부합니다.
2. 훈련 데이터에서의 작업 다양성은 미학습 작업에 대한 제로샷 적응을 가능하게 하는 데 결정적입니다.
3. iPhUMI는 다양한 훈련 데이터를 수집하고 테스트 시점에 행동 프롬프트를 지정하기 위한 실용적인 인터페이스로서, 인간의 의도와 로봇의 실행 사이의 간극을 메워줍니다.

이 연구는 행동 프롬프팅을 로봇이 (예: 특정 가정 환경과 같은) 새로운 환경에 사전 학습된 지식을 단 한 번의 시연을 통해 적응시키는 과정으로 보고, 이를 통해 적응 문제를 단순화하는 단계로 포지셔닝합니다.