AnySlot: Goal-Conditioned Vision-Language-Action Policies for Zero-Shot Slot-Level Placement

1. 문제 정의 (Problem Statement)

로봇 공학 분야에서 Vision-Language-Action (VLA) 정책은 일반적인 조작 작업을 위해 발전해 왔으나, 구체적인 언어 지시 (Compositional Language Instructions) 하에서의 정밀한 '슬롯 레벨 (Slot-level)' 배치 작업에서는 여전히 큰 한계를 보입니다.

• 기존 VLA 의 한계: 단말기 (Flat) 엔드 - 투 - 엔드 정책은 복잡한 공간 추론과 서브 센티미터 (sub-centimeter) 수준의 정밀한 실행을 동시에 수행하기 어렵습니다. 언어와 동작이 하나의 출력 공간에 밀접하게 결합되어 있어, 복잡한 지시 (예: "두 번째로 큰 슬롯", "왼쪽 아래를 피하라") 에 대한 정확한 슬롯 식별과 물리적 정렬이 어렵습니다.
• 모듈형 접근법의 한계: 비주얼 - 언어 모델 (VLM) 을 사용하여 고수준의 위치를 추론하고 저수준의 제어기로 실행하는 방식은 공간적 정밀도가 부족합니다. VLM 이 예측하는 좌표는 대략적 (coarse) 이며 픽셀 수준의 오차가 발생하기 쉽고, 슬롯의 경계나 기하학적 맥락을 잃어버려 안정적인 정렬이 어렵습니다.
• 핵심 요구사항: 밀집된 환경에서 복잡한 언어 지시를 이해하고, 특정 슬롯을 정확히 식별한 뒤, 물리적으로 실행 가능한 서브 센티미터 수준의 정밀도로 물체를 배치해야 합니다.

2. 제안 방법론: AnySlot (Methodology)

저자들은 AnySlot이라는 새로운 프레임워크를 제안합니다. 이는 언어 지시를 명시적인 **공간적 시각 목표 (Spatial Visual Goal)**로 변환하고, 이를 기반으로 목표 조건부 (Goal-Conditioned) VLA 정책을 실행하는 2 단계 계층적 구조를 가집니다.

A. 핵심 아이디어

"추론 (Reasoning)"과 "제어 (Control)" 사이의 인터페이스를 단일 좌표가 아닌, **이미지 생성 모델을 통해 생성된 시각적 마커 (Visual Marker)**로 변경합니다. 이를 통해 고수준의 슬롯 선택과 저수준의 정밀 실행을 해체 (Decouple) 합니다.

B. 1 단계: 고수준 목표 구성 (High-level Goal Construction)

• 입력: 로봇의 헤드 카메라 이미지와 자연어 지시 (예: "두 번째로 큰 슬롯에 파란 공을 넣으세요").
• 과정:
  1. 이미지 생성: 오프 - 더 - 쉘 (Out-of-the-box) 이미지 생성 모델 (Nano-Banana 등) 을 사용하여 입력 이미지에 지시된 위치에 파란색 구체 (Blue Sphere) 마커가 렌더링된 가이드 이미지를 생성합니다.
  2. 3D 앵커 추출: 생성된 이미지에서 마커의 2D 좌표를 추출하고, 깊이 (Depth) 정보와 카메라 보정을 통해 3D 월드 공간의 앵커 포인트로 변환합니다.
  3. 다중 뷰 정렬: 이 3D 앵커를 모든 카메라 시점 (헤드, 손목 등) 으로 투영하여 일관된 시각적 목표 ($G_t$) 를 생성합니다.
• 효과: 언어 지시를 로봇이 직접 시각적으로 인식하고 추적할 수 있는 명확한 공간적 목표 신호로 변환합니다.

C. 2 단계: 저수준 목표 조건부 정책 (Low-level Goal-Conditioned Policy)

• 입력: 다중 뷰 관찰 데이터와 생성된 시각적 목표 ($G_t$).
• 모델: 연속 생성형 VLA 정책 (예: $\pi_{0.5}$, PaliGemma-3B 백본 + Flow-matching 액션 전문가) 을 사용합니다.
• 실행: 정책은 "파란색 구체 가이드가 있는 슬롯으로 물체를 이동하세요"라는 고정된 지시와 함께 시각적 목표를 입력받아 연속적인 동작을 생성합니다.
• 장점: 저수준 정책은 복잡한 언어 추론을 할 필요가 없으며, 생성된 시각적 마커를 추적하여 정밀한 물리적 조작 (Pick-and-Place) 에만 집중합니다.

3. 주요 기여 (Key Contributions)

1. AnySlot 프레임워크: 언어 기반 슬롯 선택과 정밀한 물리적 배치를 분리하기 위해 이미지 생성 기반의 시각적 목표 생성 모듈을 도입했습니다. 이는 VLM 의 좌표 회귀 한계를 우회하고 서브 센티미터 정밀도를 달성합니다.
2. SlotBench 벤치마크: 기존 벤치마크에 없던 **슬롯 레벨 배치 (Slot-level Placement)**를 평가하기 위한 새로운 시뮬레이션 벤치마크를 소개했습니다.
   • 9 가지 작업 카테고리: 순서 추론, 크기 비교, 수직/거리 추론, 복합 관계, 논리적 부정, 모호한 언어, 어포던스 추론, 세계 지식 추론 등을 포함합니다.
   • Zero-shot 평가: 학습 시 보지 못한 레이아웃과 지시에 대한 일반화 능력을 평가합니다.
3. 성능 입증: 기존 평탄형 (Flat) VLA 및 모듈형 방법론을 압도적으로 능가하는 성능을 보였습니다.

4. 실험 결과 (Results)

SlotBench에서의 실험 결과는 다음과 같습니다:

• 성공률 (Success Rate, SR): AnySlot 은 평균 **약 90%**의 성공률을 기록했습니다. 반면, 기존 Flat VLA 정책 (OpenVLA, Diffusion Policy 등) 은 대부분의 복잡한 카테고리에서 0~18% 의 낮은 성공률을 보였으며, 모듈형 방법 (AnyPlace 등) 도 전반적으로 실패했습니다.
• 지시 정확도 (Instruction Accuracy, IA): AnySlot 은 목표 슬롯의 중심을 2cm 이내로 정확히 맞추는 데 90% 이상의 정확도를 보였습니다. 이는 VLM 기반의 좌표 예측이 서브 센티미터 정밀도를 달성하지 못함을 시사합니다.
• Ablation Study:
  • 고수준 모듈: 이미지 생성기 (Nano-Banana) 가 VLM 보다 훨씬 높은 정밀도와 낮은 지연 시간을 보였습니다.
  • 저수준 정책: 완전 파인튜닝 (Full Fine-tuning) 된 $\pi_{0.5}$ 정책이 파라미터 효율적 튜닝 (PEFT) 이나 다른 아키텍처보다 월등히 우수했습니다.
  • 합성 데이터의 중요성: 시각적 목표 (파란 구체) 가 포함된 합성 데이터 ($\mathcal{D}_{syn}$) 로 학습한 정책만이 정밀한 배치를 성공적으로 수행했습니다. 언어 지시만 있는 일반 데이터로는 거의 성공하지 못했습니다.
• 실세계 검증: UR10e 로봇 플랫폼에서 실제 환경에 적용하여, 생성된 시각적 목표가 3D 공간에서 일관되게 정렬되고 목표 위치에 정확하게 배치됨을 확인했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 패러다임 전환: 로봇 조작에서 언어 이해와 물리적 실행 사이의 인터페이스를 '좌표'가 아닌 '시각적 목표'로 재정의함으로써, 복잡한 공간 추론과 정밀한 제어를 동시에 해결할 수 있는 새로운 길을 제시했습니다.
• 실용성: 공장 자동화, 정밀 조립 등 서브 센티미터 정밀도가 요구되는 실제 응용 분야에서 언어 기반 로봇의 실용성을 크게 높입니다.
• 한계 및 향후 작업: 현재 외부 이미지 생성 모델에 의존하여 추론 시 지연 시간 (Latency) 이 발생한다는 한계가 있으며, 향후 더 효율적인 목표 생성 방법과 장기 계획 (Long-horizon) 작업으로의 확장을 계획하고 있습니다.

요약하자면, AnySlot은 언어를 시각적 신호로 변환하는 혁신적인 접근법을 통해, 기존 VLA 모델이 풀지 못했던 "정밀한 슬롯 레벨 배치" 문제를 해결하고, 이를 평가할 수 있는 SlotBench를 통해 로봇의 공간 추론 능력을 새로운 수준으로 끌어올린 연구입니다.