💻 computer science

Generalizable Coarse-to-Fine Robot Manipulation via Language-Aligned 3D Keypoints

이 논문은 3D 키포인트 예측을 위한 VLM 미세조정과 3D 인식 표현을 통합하여, 기존 계층적 정밀-세밀 정책의 일반화 한계를 극복하고 소량의 데이터로도 새로운 지시와 환경 변화에 효과적으로 대응하는 'CLAP' 프레임워크를 제안합니다.

원저자: Jianshu Hu, Lidi Wang, Shujia Li, Yunpeng Jiang, Xiao Li, Paul Weng, Yutong Ban

게시일 2026-02-24

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jianshu Hu, Lidi Wang, Shujia Li, Yunpeng Jiang, Xiao Li, Paul Weng, Yutong Ban

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🤖 로봇이 "눈"과 "손"을 따로 쓰는 이유

기존의 로봇 학습 방식은 마치 초보 운전사가 모든 상황을 한 번에 다 기억하고 처리하려다 보니, 조금만 길이 바뀌거나 차가 달라져도 당황해서 멈춰버리는 것과 비슷했습니다.

이 논문은 이를 해결하기 위해 **" coarse-to-fine **(거시적 → 미시적) 전략을 사용했습니다.

**거시적 **(Coarse) 로봇이 "어디를 봐야 할지" 대략적인 위치를 먼저 파악합니다. (예: "서랍을 열어")
**미시적 **(Fine) 그 위치로 카메라를 확대 (Zoom-in) 해서 정확한 동작을 수행합니다. (예: "손잡이를 잡고 당긴다")

하지만 기존 방법들은 이 '거시적' 단계에서도 새로운 물체나 지시를 보면 잘 못했습니다. 마치 지도를 보다가 "저기 빨간 차가 있네"라고 말했을 때, 그 차가 처음 보는 모델이 나오면 로봇이 당황하는 것과 같습니다.

✨ CLAP 의 핵심 아이디어: "레시피"와 "현장 지시"

이 논문이 제안한 CLAP은 로봇에게 두 가지 큰 변화를 주었습니다.

1. "한 번에 다 하라"가 아니라 "단계별로 하라" (작업 분해)

기존 로봇은 "서랍에서 컵을 꺼내서 테이블에 올려라"라는 긴 지시문을 한 번에 들으면, 그걸로 끝내려다 실패했습니다.
CLAP 은 이 지시문을 **레시피 **(Step-by-step)로 바꿔줍니다.

1 단계: "서랍 손잡이를 찾아라"
2 단계: "손잡이를 잡고 당겨라"
3 단계: "컵을 집어라"

이렇게 **언어 **(지시)를 단계별로 나누어 로봇에게 알려주면, 로봇은 각 단계마다 필요한 '기술'만 기억하면 됩니다. 마치 요리사가 "오븐 예열"과 "반죽하기"를 따로 연습하는 것과 같습니다.

2. "머리"와 "손"의 완벽한 팀워크 (VLM 과 3D 키포인트)

CLAP 은 로봇의 두뇌 역할을 하는 **거대 언어 모델 **(VLM)을 활용합니다.

**두뇌 **(Coarse Task Planner) 로봇은 먼저 "이 일을 하려면 어떤 순서로 움직여야 하지?"라고 생각한 뒤, "서랍 손잡이 쪽으로 가라"라는 언어 지시와 함께 **3D 좌표 **(키포인트)를 찾아냅니다.
- 비유: 요리사가 레시피를 보고 "소금 통은 어디에 있지?"라고 생각한 뒤, 정확한 위치를 눈으로 확인하는 과정입니다.
**손 **(Fine-grained Action Predictor) 두뇌가 알려준 정확한 위치 (3D 키포인트) 로 카메라를 확대하고, "손잡이를 당겨라"라는 구체적인 지시를 받아 실제 동작을 실행합니다.

여기서 중요한 점은, 로봇이 **3D 공간 **(깊이, 높이)을 이해하도록 훈련시켰다는 것입니다. 단순히 사진만 보는 게 아니라, 입체적인 공간감을 익히게 한 것이죠.

🚀 왜 이것이 획기적인가요? (실제 성과)

이 방법은 데이터를 거의 쓰지 않고도 뛰어난 성과를 냈습니다.

기존 방식: 새로운 로봇 작업을 가르치려면 수백 번의 시뮬레이션 (훈련) 이 필요했습니다.
CLAP 방식: 10 번의 시연만 보여줘도, 로봇은 새로운 물체나 환경에서도 그 일을 해냈습니다.
- 비유: 기존 로봇은 새로운 요리법을 배우려면 100 번을 반복해서 연습해야 했지만, CLAP 로봇은 요리사에게 "이렇게 해"라고 10 번만 보여주고 나면, 그날 저녁에 다른 재료가 나와도 똑같은 요리를 해냅니다.

실험 결과:

시뮬레이션에서 가장 최신 기술 (SOTA) 보다 성공률이 12% 더 높았습니다.
실제 로봇 실험에서도 테이블 색상이 바뀌거나, 방해 물체가 있거나, 완전히 새로운 물건이 나와도 80% 이상의 성공률을 보였습니다.

📝 한 줄 요약

CLAP은 로봇에게 "무조건 다 외워라"가 아니라, **"작업은 단계별로 나누고, 머리로 생각하게 한 뒤 손으로 정확하게 움직여라"**는 방식을 가르친 것입니다. 덕분에 로봇은 적은 훈련으로도 새로운 상황에서도 똑똑하게 일할 수 있게 되었습니다.

이 기술은 앞으로 우리 집이나 공장에서 로봇이 더 유연하고 똑똑하게 일할 수 있는 발판이 될 것입니다.

1. 문제 정의 (Problem)

로봇 학습, 특히 모방 학습 (Imitation Learning) 은 복잡한 3 차원 조작 작업을 수행하는 데 성공을 거두었지만, 실제 세계 (산업, 서비스, 가정용 로봇 등) 로 확장하기 위해서는 두 가지 주요 과제가 존재합니다.

환경 변화에 대한 일반화 (G1): 객체의 모양, 색상, 배경, 배치 위치 등이 변하는 새로운 환경에서도 작동해야 합니다.
기술 구성 일반화 (Skill Compositional Generalization, G2): 이전에 학습된 기술들을 조합하여 새로운 복잡한 작업을 수행할 수 있어야 합니다.

기존의 계층적 coarse-to-fine (거친-세밀한) 정책은 높은 샘플 효율성과 정밀한 조작 능력을 보여주지만, 사전 학습된 모델을 활용하더라도 일반화 능력 (특히 G2) 이 부족합니다. 이는 주로 다음과 같은 한계 때문입니다:

사전 학습 모델과 로봇 이미지 간의 도메인 시프트 (Domain Shift).
3D 키포인트 예측을 위한 사전 학습 모델의 부적합.
객체 변화에 대한 적응력 부족.
VLM(시각 - 언어 모델) 의 계획 (Planning) 능력 활용 부족.

2. 방법론 (Methodology)

저자들은 **CLAP (Coarse-to-fine Language-Aligned manipulation Policy)**라는 새로운 프레임워크를 제안합니다. 이는 세 가지 핵심 구성 요소를 통합합니다:

A. 태스크 분해 (Task Decomposition)

단일 고수준 작업 설명 대신, 작업을 **단계별 언어 지시문 (Step-wise Language Instructions)**으로 분해합니다.
예: "서랍을 열어 큐브를 꺼내라" $\rightarrow$ 1) 서랍 손잡이 정렬, 2) 손잡이 잡기, 3) 서랍 당기기, 4) 큐브 집기, 5) 테이블에 놓기.
이 분해는 각 단계가 특정 키프레임 (Key-frame) 과 매핑되도록 하여, 로봇이 공통된 기술을 재사용하고 새로운 작업을 조합할 수 있게 합니다 (G2 향상).

B. 언어 정렬 3D 키포인트 예측을 위한 VLM 파인튜닝 (Coarse Task Planner)

Coarse Task Planner는 사전 학습된 VLM (Qwen 2.5 VL) 을 기반으로 하며, 단순한 키포인트 예측을 넘어 작업 계획 (Task Planning) 역할을 수행합니다.
이중 추론 프로토콜 (Two-round Inference Protocol):
1. 텍스트만 입력받아 전체 작업 계획 (Language Plan) 을 생성.
2. 생성된 계획과 시각 입력을 결합하여 현재 단계의 지시문과 3D 키포인트를 예측.
연쇄 사고 (Chain-of-Thought) 기반 학습: 모델이 직접 키포인트를 예측하는 대신, 다음과 같은 순서로 추론하도록 학습시킵니다.
1. 작업 관련 객체의 위치 (Pixel/3D position) 파악.
2. 단계별 지시문 생성.
3. 해당 지시문에 맞는 3D 키포인트 예측.
보조 작업 (Auxiliary Task): 객체 위치 예측을 위한 추가 데이터셋을 사용하여 3D 공간 이해 능력을 강화하고, 새로운 객체에 대한 제로샷 (Zero-shot) 일반화를 가능하게 합니다.

C. 3D 인지 표현 (3D-Aware Representation)

Fine-grained Action Predictor는 단계별 지시문과 다중 뷰 RGB-D 이미지를 입력받아 최종 동작을 예측합니다.
특수 인코더 활용:
- RGB 및 언어: SigLIP 를 사용하여 시각 - 언어 정렬 (Semantic Alignment) 을 확보.
- Depth: DINOv2 를 사용하여 기하학적 구조 (가장자리, 윤곽) 추출.
- 3D Position Embedding: 픽셀별 3D 좌표를 임베딩하여 2D 이미지 정보와 3D 공간 정보를 정렬.
이러한 특징들을 Multi-View Transformer를 통해 융합하여 정밀한 조작 동작을 생성합니다.

3. 주요 기여 (Key Contributions)

새로운 Coarse-to-Fine 정책 아키텍처: 작업을 단계별 언어 지시문으로 분해하여 구성적 일반화 (Compositional Generalization) 를 촉진하고, 추론 단계를 거쳐 객체 변화에 대한 일반화를 개선했습니다.
효율적인 VLM 파인튜닝 파이프라인: 사전 학습된 VLM 을 3D 키포인트 예측에 적응시키기 위한 구조화된 추론 과정과 3D 인지 표현을 도입하여 기존 방법의 한계를 극복했습니다.
SOTA 성능 달성: 시뮬레이션 및 실제 로봇 실험을 통해 시각/객체 변화에 대한 강인함과 미시적 작업 일반화 능력을 입증했습니다.

4. 실험 결과 (Results)

A. 시뮬레이션 (GemBench)

GemBench 벤치마크에서 기존 SOTA 방법 (BridgeVLA 등) 과 비교했습니다.
성능: 평균 성공률이 12% 더 높았습니다 (62.0% vs 50.0%).
데이터 효율성: 다른 방법들이 100 개의 시나리오를 사용하는 반면, CLAP 는 1/5 (20 개) 의 학습 궤적만으로도 더 높은 성능을 달성했습니다.
일반화: 특히 Level 2 (새로운 객체), Level 3 (연결된 객체), Level 4 (장기적 작업) 에서 기존 방법들이 실패하거나 성능이 급격히 떨어지는 반면, CLAP 는 높은 성공률을 유지했습니다.

B. 실제 로봇 실험 (Real-world)

실험 설정: 각 작업당 **10 개의 시연 (Demonstrations)**만으로 학습했습니다.
결과: RVT2 와 비교하여 평균 성공률이 54.8% 높았습니다 (77.3% vs 22.5%).
일반화 능력:
- 시각적 교란: 테이블 색상 변경, 방해 물체 추가, 조명 변화 등에서도 높은 성공률 유지.
- 작업/객체 변형: 새로운 객체 조합 (예: 다른 색상의 블록을 컵에 넣기) 및 장기 작업 구성 (서랍 열기 + 블록 넣기) 에서도 성공적으로 일반화되었습니다.

5. 의의 및 결론 (Significance)

이 논문은 로봇 조작 분야에서 샘플 효율성과 일반화 능력을 동시에 달성하기 위한 중요한 진전을 보여줍니다.

계층적 구조와 VLM 의 시너지: 거시적인 계획 (VLM) 과 미시적인 제어 (3D 인식) 를 효과적으로 결합하여, 데이터가 부족한 로봇 학습 환경에서도 복잡한 작업을 해결할 수 있음을 증명했습니다.
실용성: 소수의 시연 데이터 (10~20 개) 로도 다양한 환경과 새로운 작업에 적응할 수 있어, 실제 서비스 로봇 및 산업용 로봇 배포에 매우 유망한 접근법입니다.
한계 및 향후 과제: 현재는 구조화된 작업 (키프레임 정의가 쉬운 작업) 에 적합하며, 비구조화된 작업 (예: 책상 닦기) 에는 적용이 어렵습니다. 또한, 단계별 오류를 수정할 수 있는 자기 교정 (Self-correction) 메커니즘이 부족하여 향후 연구가 필요합니다.

요약하자면, CLAP 는 언어 기반의 계획 능력과 3D 공간 인식을 결합하여 로봇이 적은 데이터로 더 넓은 범위의 작업을 일반화할 수 있게 하는 획기적인 프레임워크입니다.