Visual Prompting for Robotic Manipulation with Annotation-Guided Pick-and-Place Using ACT

기술 요약: Annotation-Guided Visual Prompting과 ACT를 이용한 로봇 조작을 위한 시각적 프롬프팅

문제 정의
편의점 환경에서의 로봇 픽앤플레이스(pick-and-place) 작업은 밀집된 물체 배치, 빈번한 폐쇄(occlusion), 그리고 물체의 특성(색상, 모양, 크기, 질감)에 따른 높은 가변성으로 인해 상당한 어려움에 직면해 있습니다. 사전 정의된 휴리스틱, 구조화된 환경 또는 철저한 장면 분할에 의존하는 전통적인 방식은 새로운 품목이나 동적인 레이아웃에 필요한 적응력이 부족한 경우가 많습니다. 또한, 기존의 단계별 계획 방식은 장기 호라이즌(long-horizon) 작업에서 오류가 누적되어 실패로 이어질 위험이 있습니다.

방법론
저자들은 **주석 기반 시각적 프롬프팅(annotation-guided visual prompting)**과 모방 학습 알고리즘인 **ACT(Action Chunking with Transformers)**를 결합한 인지-행동 파이프라인을 제안합니다.

• 시각적 프롬프팅(Visual Prompting): 로봇이 복잡하고 철저한 장면 파싱을 수행하도록 요구하는 대신, 본 시스템은 바운딩 박스 주석을 활용하여 구조화된 공간 가이드를 제공합니다. 이 주석은 집기(pick)를 위한 대상 물체와 놓기(place)를 위한 목적지를 명시적으로 식별합니다. 시스템은 두 대의 Intel RealSense 카메라(손목에 장착된 D435i 및 테이블에 장착된 D415)를 사용하여 RGB 및 깊이(depth) 데이터를 캡처합니다. 바운딩 박스로 증강된 RGB 이미지는 신경망의 직접적인 입력값 역할을 합니다.
• ACT (Action Chunking with Transformers): 핵심 제어 알고리즘인 ACT는 경직된 단계별 계획을 대체하여 "청크화된(chunked)" 행동 시퀀스를 예측합니다.
  • 아키텍처: 모델은 트랜스포머 기반 아키텍처를 사용합니다. CVAE 인코더는 인간의 시연 데이터(이미지 없이 행동과 관측값만 포함)를 처리하여 잠재 변수($z$)를 생성합니다. 그 후 트랜스포머 디코더는 현재 상태, 잠재 변수, 그리고 시각적 입력(바운딩 박스가 포함된 RGB 이미지)을 바탕으로 미래의 행동 시퀀스(하나의 "청크")를 예측합니다.
  • 학습: 시스템은 3D 스페이스 마우스를 통한 원격 조작으로 수집된 인간의 시연 데이터를 사용하여 모방 학습을 통해 학습됩니다. 학습 목표는 예측된 행동 청크와 실제 행동 청크 사이의 재구성 오차를 최소화하며, KL 발산 항에 의해 정규화됩니다.
• 실험 설정: 시스템은 Robotiq 2-Finger 그리퍼가 장착된 Universal Robots UR5e 암에 구현되었습니다. 실험은 다양한 형태, 질감, 재료를 나타내는 6가지의 서로 다른 제품 카테고리(예: 누들 볼, 초코 박스, 티 병)를 사용하여 시뮬레이션 및 실제 편의점 환경에서 수행되었습니다.

주요 기여

1. 주석 기반 시각적 프롬프팅: 로봇 조작을 가이드하기 위해 바운딩 박스 기반의 시각적 프롬프팅을 도입했습니다. 이 접근 방식은 경량화되고 효과적인 공간 단서를 제공함으로써 장면 이해의 복잡성을 줄이면서도 작업 실행을 보장합니다.
2. ACT 기반 적응형 시스템: 경직된 점진적 계획에 의존하는 대신, 인간의 시연으로부터 도출된 부드러운 청크형 행동 시퀀스를 실행할 수 있도록 ACT를 구현했습니다.
3. 체계적인 평가 프레임워크: 시각적 프롬프팅과 물체의 다양성이 로봇 성능에 미치는 영향을 평가하기 위해 세 가지 단계적 복잡도 수준(Simple, Complex, More Complex)에 걸친 구조화된 실험 분석을 수행했습니다.

결과
시스템은 제품이 3x3 형태로 배치된 세 가지 시나리오에 대해 평가되었습니다:

• Simple Scenario (단순 시나리오): 하나의 주석된 타겟이 있는 9개의 유사한 박스들로 구성되었습니다. 시스템은 90%의 성공률을 달성하여 균일한 환경에서의 신뢰성을 입증했습니다.
• Complex Scenario (복잡한 시나리오): 하나의 주석된 타겟이 있는 9개의 다양한 제품들로 구성되었습니다. 물체의 특성(반사율, 미끄러움 등)으로 인해 초기 성공률은 **70%**로 떨어졌습니다. 하지만 실패 사례에 대해 20%의 시연 데이터를 추가로 학습시킨 후, 시스템 성능이 크게 향상되어 이 시나리오의 모든 제품 카테고리에서 100%의 성공률을 달연했습니다.
• More Complex Scenario (더 복잡한 시나리오): 위치가 변하는 9개의 다양한 제품들과 함께 픽(pick) 및 플레이스(place) 위치가 모두 주석 처리되었습니다. 초기 성공률은 **70%**였습니다. 난이도가 높아짐에 따라 연구진은 각 제품에 대해 두 배의 양에 달하는 인간 주석 데이터를 수집했습니다. 이러한 데이터 증가 이후 성능이 개선되었으나, 특정 제품군(예: 반사되는 티 병, 미끄러운 유리병)은 일반적인 박스(90%)에 비해 낮은 성공률(80%)을 보였습니다.

실패 분석
연구에서는 손가락 정렬 불량, 미끄러운 표면에서의 파지력 약화로 인한 미끄러짐, 배치 정렬 불량 등의 구체적인 실패 모드를 식별했습니다. 어텐션 히트맵(Attention heatmap) 분석 결과, ACT 모델은 시각적 프롬프트에 따라 전략을 조정하며 픽 위치에서 플레이스 위치로 초점을 성공적으로 전환함을 보여주었습니다. 그러나 반사되는 표면이나 부드러운 질감을 가진 물체는 여전히 정렬 불량 및 파지 실패를 유발하는 지속적인 과제로 나타났습니다.

의의 및 주장
본 논문은 시각적 프롬프팅과 액션 청킹을 결합함으로써 로봇이 최소한의 정보만을 담은 주석을 효율적으로 해석하고 실제 조작 작업에 대응할 수 있음을 주장합니다. 제안된 방법은 더 높은 자율성과 견고성을 갖추고 복잡한 물체 변화를 처리할 수 있는 적응형 로봇 시스템을 만드는 데 있어 진일보한 성과를 나타냅니다.

저자들은 자신의 연구 한계에 대해 겸허한 입장을 유지합니다. 그들은 시스템이 매우 **데이터 집약적(data-demanding)**이며, 다양하고 고품질인 인간 시연 데이터에 크게 의존한다는 점을 명시적으로 인정합니다. 따라서 충분한 학습 데이터 없이는 보편적인 일반화를 달성할 수 없다고 밝힙니다. 향후 연구 방향은 데이터 부족 문제에 대한 즉각적인 해결책을 제시하는 것이 아니라, 데이터셋을 인위적으로 확장하기 위한 데이터 증강(data augmentation)에 초점을 맞추는 것으로 설정되었습니다. 결론적으로, 이 접근 방식이 파지 안정성과 배치 정확도를 향endo 높이지만, 그 효과는 학습 시연의 품질과 양에 귀속된다는 점을 강조합니다.