🤖 AI

Visual Prompt Guided Unified Pushing Policy

이 논문은 고수준 플래너가 지시하는 시각적 프롬프트를 흐름 매칭 정책에 통합하여 다양한 시나리오에서 반응적이고 다중 모달인 밀기 행동을 생성하는 통합 밀기 정책을 제안하고, 이를 통해 기존 방법보다 우수한 성능을 보이며 VLM 기반의 테이블 정리 작업 등을 효율적으로 해결함을 입증합니다.

원저자: Hieu Bui, Ziyan Gao, Yuya Hosoda, Joo-Ho Lee

게시일 2026-02-24

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Hieu Bui, Ziyan Gao, Yuya Hosoda, Joo-Ho Lee

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 로봇이 책상 위에 널브러진 물체들을 '밀어서 (Pushing)' 정리하는 기술을 어떻게 더 똑똑하고 유연하게 만들 수 있는지에 대한 연구입니다.

기존의 로봇들은 "물체를 밀어라"라고 하면 무조건 한 가지 방식만 반복하거나, 미리 정해진 복잡한 계획에 따라 움직였습니다. 하지만 이 연구팀은 **"상황에 따라 밀어내는 방식도 바꿔야 한다"**는 아이디어를 제안했습니다. 마치 요리사가 재료가 많으면 다 같이 섞고, 재료가 너무 많으면 하나씩 떼어내듯이 말입니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

🍳 비유: "요리사의 손"과 "주문 카드"

이 연구에서 개발한 로봇은 마치 유능한 요리사와 같습니다.

기존 로봇 (구식 요리사):
- "소스를 섞어!"라고 하면 소스만 섞고, "채소를 자를 때"라고 하면 자르기만 합니다.
- 만약 재료가 너무 많아서 섞기 전에 하나씩 떼어내야 한다면, 이 로봇은 당황해서 멈추거나 엉뚱한 행동을 합니다. 즉, 상황에 따라 행동을 바꾸는 능력이 부족했습니다.
새로운 로봇 (이 연구의 주인공):
- 이 로봇은 **'유니버설 밀기 정책 (Unified Pushing Policy)'**이라는 특별한 능력을 갖췄습니다.
- 이 로봇은 세 가지 핵심 기술을 모두 알고 있습니다:
  - 이동 (Displacement): 물체를 A 지점에서 B 지점으로 밀어 옮기는 것.
  - 뭉치기 (Grouping): 흩어진 물체들을 한곳으로 모아 묶는 것.
  - 분리 (Singulation): 뭉쳐있는 물체들 사이에서 원하는 물체 하나만 떼어내는 것.

🎯 핵심 기술: "시각적 주문 카드" (Visual Prompt)

이 로봇이 가장 똑똑한 점은 누가 무엇을 원하는지 정확히 알려주기만 하면, 그 상황에 맞춰 행동을 바꾼다는 것입니다.

비유: 요리사가 주문을 받을 때, 손님이 "소금 간을 해줘"라고 하면 소금을 뿌리고, "고추장 찍어줘"라고 하면 고추장을 찍어주는 것처럼요.
기술적 설명: 연구팀은 로봇에게 **'주문 카드 (Visual Prompt)'**를 주었습니다.
- 이 카드는 카메라 화면에 **두 개의 점 (점 1, 점 2)**과 **작업 종류 (이동, 뭉치기, 분리)**를 표시하는 간단한 형식입니다.
- 예시 1 (이동): "이 붉은 블록 (점 1) 을 저쪽 구석 (점 2) 으로 밀어줘." → 로봇은 블록을 밀어 이동시킵니다.
- 예시 2 (분리): "이 붉은 블록 (점 1) 을 저쪽 (점 2) 방향으로 밀어서 다른 블록들과 떼어줘." → 로봇은 블록을 밀어 분리합니다.
- 예시 3 (뭉치기): "이 블록 (점 1) 을 저 블록 (점 2) 옆으로 밀어 붙여줘." → 로봇은 두 블록을 붙입니다.

이처럼 하나의 로봇이 하나의 모델로 모든 일을 처리할 수 있게 된 것이 이 연구의 가장 큰 성과입니다.

🧪 실험 결과: 왜 이것이 중요한가요?

연구팀은 실제 로봇 팔을 이용해 실험을 했습니다.

혼란스러운 상황에서도 강함:
- 책상에 물체가 3 개만 있을 때뿐만 아니라, 5 개나 6 개가 뒤죽박죽 섞여 있을 때도 이 로봇은 잘 작동했습니다.
- 반면, 기존의 방식 (목표 이미지를 보여주는 방식) 은 물체가 너무 많으면 혼란을 겪어 실패율이 높았습니다. 마치 복잡한 지도를 보고 길을 찾는 것보다, 간단한 "저기 가줘"라는 지시를 받는 것이 더 빠르고 정확하다는 뜻입니다.
보지 못한 물체도 처리 가능:
- 훈련할 때 사용했던 블록과 모양이 조금 다른 새로운 블록을 줘도 잘 밀어냈습니다. 이는 로봇이 특정 물체의 모양을 외운 것이 아니라, '밀어내는 원리' 자체를 배웠기 때문입니다.
고급 AI 와의 협업:
- 이 로봇은 더 큰 그림을 그리는 AI(시각 - 언어 모델, VLM) 와도 잘 어울립니다.
- 시나리오: "책상 치워줘!"라는 명령을 받으면, AI 가 "일단 빨간 블록들을 모아서 한 번에 집어라"라고 계획을 세우고, 이 로봇은 그 계획에 맞춰 블록들을 뭉쳐주는 역할을 수행합니다. 그 후 다른 로봇이 한 번에 여러 개를 집어갈 수 있게 됩니다.

💡 결론

이 연구는 로봇이 **"무엇을 할지"**를 미리 정해두는 것이 아니라, **"상황과 지시 (주문) 에 따라 유연하게 행동"**할 수 있게 만들었습니다.

마치 만능 주방 도구처럼, 재료가 많으면 섞고, 적으면 나누고, 이동시키기도 하는 로봇을 만든 셈입니다. 앞으로는 이 기술이 집안 청소 로봇이나 공장의 물류 로봇처럼, 복잡하고 변화무쌍한 환경에서도 인간처럼 유연하게 일할 수 있는 기반이 될 것입니다.

1. 문제 정의 (Problem)

로봇 비선형 조작 (Non-prehensile manipulation) 중 하나인 '밀기 (Pushing)'는 물체를 재배치하는 데 효과적이지만, 기존 연구들은 다음과 같은 한계를 가지고 있었습니다:

작업 특화성 (Task-specificity): 기존 접근법은 대부분 특정 작업 (예: 바인 피킹, 물체 분리 등) 에 맞춰 설계되어 있어, 환경이나 작업 요구사항이 변경되면 재사용이 어렵습니다.
단일 모드 한계: 단일 작업에 최적화된 정책은 복잡한 장면에서 비효율적일 수 있습니다. 예를 들어, 물체가 빽빽하게 쌓여 있을 때는 '분리 (Singulation)'가 필요하지만, 물체가 흩어져 있을 때는 '그룹화 (Grouping)'가 더 효율적입니다.
계획의 유연성 부족: 사전 정의된 푸싱 원시 (primitives) 에 의존하여 다양한 시나리오에 대한 반응적이고 다중 모드 (multimodal) 인 행동을 생성하는 데 제약이 있었습니다.

이 논문은 다양한 작업 (이동, 그룹화, 분리) 을 하나의 통합된 정책으로 처리하면서도, **시각적 프롬프트 (Visual Prompt)**를 통해 고수준 계획자가 원하는 구체적인 행동 (어떤 물체를, 어디로, 어떤 방식으로 밀 것인가) 을 지시할 수 있는 시스템을 제안합니다.

2. 방법론 (Methodology)

가. 통합 푸싱 정책 (Unified Pushing Policy)

Flow Matching 기반: 확산 모델 (Diffusion) 대신 Flow Matching을 사용하여 학습합니다. 이는 노이즈에서 행동까지의 최적 수송 경로를 직선으로 근사하여 학습을 단순화하고 추론 속도를 높입니다.
다중 작업 통합: 세 가지 비선형 조작 기술을 하나의 모델에 통합합니다:
1. Displacement (이동): 특정 물체를 지정된 위치로 밀어 이동.
2. Grouping (그룹화): 여러 물체를 가까이 모아 다중 물체 집게 (Grasp) 를 용이하게 함.
3. Singulation (분리): 주변 물체와 분리하여 특정 물체를 노출시킴.

나. 시각적 프롬프트 메커니즘 (Visual Prompting Mechanism)

고수준 계획자가 저수준 정책에 지시를 내리는 인터페이스로 작동합니다.

입력 구성:
- 작업 지정자 (Task Specifier): 수행할 작업 유형 (이동, 그룹화, 분리) 을 원-핫 (one-hot) 벡터로 인코딩.
- 시각적 프롬프트: 테이블 고정 카메라 이미지 상의 픽셀 좌표 $[u_1, u_2]$ $[u_{1}, u_{2}]$ .
  - 이동: $u_1$ 은 대상 물체, $u_2$ 는 목표 위치.
  - 그룹화: $u_1$ 은 밀 대상, $u_2$ 는 합칠 대상.
  - 분리: $u_1$ 은 대상, $u_2$ 는 밀어낼 방향 벡터.
조건부 생성: 이 프롬프트 정보를 목표 벡터 (Goal Vector) 로 변환하여 정책의 조건부 분포 $P(A|O, g)$ 에 주입합니다.

다. 아키텍처 및 학습

네트워크 구조: 시각적 특징 (ResNet34) 과 Proprioception(관절 상태) 을 Transformer Encoder 로 처리하고, DiT (Diffusion Transformer) 변형을 사용하여 행동 토큰을 생성합니다.
Classifier-Free Guidance (CFG): 프롬프트에 대한 정책의 준수를 강화하기 위해, 학습 시 무작위로 목표 벡터를 'null'로 대체하여 무조건부 정책을 함께 학습하고, 추론 시 조건부/무조건부 예측을 선형 결합하여 가이드 스케일 ( $\gamma$ ) 을 적용합니다.
학습 데이터: 인간 운영자가 리드 - 팔로우 (Leader-Follower) 텔레오퍼레이션 장비를 통해 수집한 550 개의 전문가 데모 데이터 (이동 200, 그룹화 200, 분리 150).

3. 주요 기여 (Key Contributions)

Flow Matching 기반 통합 정책: 이동, 그룹화, 분리라는 세 가지 이질적인 기술을 단일 모델로 통합하여 다양한 시나리오에 유연하게 대응하는 정책을 제안했습니다.
경량화된 프롬프트 메커니즘: 고비용의 VLM 쿼리나 복잡한 목표 이미지를 대신하여, 픽셀 좌표와 작업 지정자만으로 행동을 유도하는 효율적인 프롬프트 방식을 도입했습니다.
실제 로봇 검증 및 VLM 통합: 실제 로봇 팔 (OpenManipulator-Y) 에서 학습 및 테스트를 수행했으며, Vision-Language Model (VLM) 기반의 고수준 계획 프레임워크와 통합되어 테이블 정리 (Table-cleaning) 과 같은 순차적 작업을 성공적으로 수행함을 입증했습니다.

4. 실험 결과 (Results)

성능 비교 (단일 작업 정책 및 목표 이미지 정책 대비):
- 단일 작업 정책 (Single-Task): 통합 정책은 이동 (85% vs 75%) 과 그룹화 (70% vs 60%) 에서 더 높은 성공률을 보였으며, 분리 작업에서는 유사한 성능 (65% vs 70%) 을 유지했습니다. 이는 다중 작업 학습이 긍정적인 전이 (Positive Transfer) 효과를 가져옴을 시사합니다.
- 목표 이미지 정책 (Goal-Image Policy): 목표 이미지를 조건으로 하는 정책보다 모든 작업에서 우월한 성능을 보였습니다. 특히 복잡한 장면 (Cluttered Scene) 에서 목표 이미지 정책은 주변 물체의 간섭에 취약한 반면, 프롬프트 기반 정책은 추상적인 목표 표현으로 인해 더 강건했습니다 (분리 작업 성공률 65% vs 30%).
일반화 능력 (Generalization): 학습 데이터에 없던 약간 더 큰 크기의 새로운 물체 (Rectangular boxes) 에 대해 테스트했을 때, 모든 작업에서 높은 성공률 (이동 70%, 그룹화 70%, 분리 80%) 을 기록하여 과적합되지 않고 일반화된 행동을 학습했음을 증명했습니다.
VLM 통합: Qwen3-VL 기반의 고수준 계획자와 결합하여 테이블 정리 작업을 수행했습니다. 로봇은 VLM 의 지시에 따라 물체를 그룹화한 후 집게로 들어 올리는 작업을 성공적으로 수행하여, 전체 픽 앤 플레이 (Pick-and-Place) 횟수를 줄이는 효율성을 입증했습니다.

5. 의의 및 결론 (Significance)

이 논문은 비선형 조작 분야에서 유연성과 재사용성을 동시에 확보한 중요한 진전을 이루었습니다.

효율성: 복잡한 고수준 계획 없이도, 간단한 시각적 프롬프트 하나로 로봇이 상황에 맞는 최적의 밀기 전략 (분리, 그룹화, 이동) 을 선택하고 실행할 수 있게 합니다.
확장성: 학습된 정책이 VLM 기반의 고수준 계획자와 원활하게 연동되어 복잡한 순차적 작업 (예: 테이블 정리) 을 해결할 수 있음을 보여주었습니다.
실용성: 실제 로봇 환경에서의 실험을 통해 이론적 모델이 실제 물리적 제약 (마찰, 충돌 등) 하에서도 유효함을 입증했습니다.

향후 연구 방향으로는 마찰이나 질량 중심 변화로 인한 접촉 손실 문제를 해결하기 위한 월드 모델링 (World Modeling) 도입과, 다양한 시점 (View-invariant) 에 대응 가능한 프롬프트 표현 방식 개발이 필요하다고 결론지었습니다.