💻 computer science

First Plan Then Evaluate: Multi-Target Planning with Post-Planning Success Evaluation Improves Learning-Based Grasping Pipelines

이 논문은 여러 대상에 대한 로봇 파지(grasping)를 학습 기반으로 수행할 때, 먼저 여러 파지 후보지로의 궤적을 계획한 다음 최종 구성 상태에서의 성공 가능성을 평가하는 "선 계획 후 평가(First Plan Then Evaluate)" 프레임워크를 제안하며, 이를 통해 기존의 생성-평가-계획(generator-evaluator-planner) 파이프라인에 내재된 계산 효율성과 파지 성공도 추정 사이의 상충 관계를 극복한다.

원저자: Martin Matak, Mohanraj Devendran Shanthi, Karl Van Wyk, Tucker Hermans

게시일 2026-07-08

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Martin Matak, Mohanraj Devendran Shanthi, Karl Van Wyk, Tucker Hermans

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇 팔이 어지러운 탁자 위에 놓인 커피 머그컵을 집으려고 하는 상황을 상상해 보세요. 이를 수행하기 위해 로봇은 세 단계의 레시피가 필요합니다:

생성(Generate): 머그컵을 잡을 수 있는 가능한 방법들의 목록을 만듭니다.
평가(Evaluate): 이 아이디어들을 "성공 가능성이 가장 높은 것"부터 "가장 낮은 것" 순으로 순위를 매깁니다.
계획(Plan): 순위 1위인 아이디어에 도달하기 위해 로봇 팔이 이동해야 하는 물리적 경로를 파악합니다.

기존 방식: "완벽한 계획"의 함정

전통적인 방식(저자들이 "생성-평가-계획"이라고 부르는 방식)은 자신이 좋아하는 첫 번째 레시피만을 고집하는 까다로운 요리사와 같습니다.

로봇은 머그컵을 잡는 100가지 방법을 생성합니다.
컴퓨터 모델을 바탕으로 그중 "최선"인 하나를 선택합니다.
그곳에 도달하기 위한 경로를 계산하려고 시도합니다.
문제점: 만약 로봇 팔이 책이나 탁자 모서트에 걸려 그 특정 "최적의" 지점에 도달할 수 없다면, 로봇은 그 계획을 쓰레기통에 던져버립니다. 그러고 나서 2순위 아이디어로 넘어가 경로를 계획하려 시도하고, 만약 실패하면 3순위로 넘어가는 식입니다. 이 과정이 계속 반복됩니다.

이는 매우 비효율적입니다. 로봇은 실제로 도달할 수 없는 아이디어를 위해 경로를 계산하는 데 시간을 낭비하게 됩니다. 더 심각한 것은, 마침내 작동하는 경로를 찾아냈을 때, 로봇은 훨씬 더 위험하고 불안정한 방식으로 머그컵을 잡는 "계획 45번" 같은 것을 사용해야 할 수도 있다는 점입니다. 이는 마치 운전자가 명확한 도로를 두고도 특정 목적지에 도달하는 것에만 집착하다가, 결국 그곳에 갈 수 없다는 것을 깨닫고는 위험한 뒷골목을 택하는 것과 같습니다.

새로운 방식: "먼저 계획하고, 나중에 평가하기" (FPTE)

저자들은 **"먼저 계획하고, 나중에 평가하기(First Plan, Then Evaluate, FPTE)"**라는 더 똑똑한 접근 방식을 제안합니다. 이것은 "모두 시도해 본 뒤 승자를 고르는" 전략이라고 생각하면 됩니다.

생성(Generate): 로봇은 여전히 머그컵을 잡는 100가지 아이디어를 만들어냅니다.
계획(Plan - 큰 변화): 가장 "좋은" 아이디어를 먼저 고르는 대신, 로봇은 100가지 아이디어 모두에 대해 동시에 물리적 경로를 계산합니다.
- 핵심 세부 사항: 만약 로봇 팔이 책에 걸려 원래의 "완벽한" 지점에 도달할 수 없더라도, 로봇은 그 계획을 버리지 않습니다. 설령 원래 목표 지점에서 몇 인치 떨어지게 되더라도, 로봇은 자신이 실제로 계산해낸 그 경로를 유지합니다.
평가(Evaluate): 이제 로봇은 100개 경로의 실제 최종 위치를 살펴봅니다. 로봇은 다음과 같이 자문합니다: "실제로 팔이 멈춘 이 100곳 중에서, 머그컵을 잡을 가능성이 가장 높은 곳은 어디인가?"
실행(Execute): 승자를 선택하여 실행합니다.

왜 이것이 효과적인가: "목표 vs 현실" 비유

다트판을 향해 다트를 던지는 상황을 상상해 보세요.

기존 방식: 당신은 과녁의 정중앙(생성기가 설정한 목표)을 겨냥합니다. 만약 팔이 가로막혀 빗나간다면, 당신은 그 투구를 버리고 다음으로 좋은 지점을 겨냥합니다. 결국 당신은 과녁의 가장자리만 겨우 맞히는 다트를 던지게 될 수도 있습니다.
FPTE 방식: 당신은 동시에 100개의 서로 다른 지점을 향해 다트를 던집니다. 어떤 다트는 정중앙을 맞히고, 어떤 것은 가장자리를 맞히며, 어떤 것은 팔이 막혀 아예 빗나갑니다. 그런 다음, 당신은 다트가 실제로 어디에 착륙했는지를 봅니다. 그리고 그중 정중앙에 가장 가깝거나 혹은 가장 좋은 위치에 착륙한 다트를 승자로 선언합니다.

결과

이 논문은 시뮬레이션 환경과 실제 환경에서 네 손가락을 가진 로봇 손(인간의 손과 유사함)을 사용하여 실험을 진행했습니다.

시뮬레이션에서: 이 새로운 방식은 로봇이 어떤 종류의 "두뇌(생성기)"나 "근육(경로 계획기)"을 사용하든 상관없이 더 효과적이었습니다.
실제 환경에서: 로봇은 한 번도 본 적 없는 11가지의 새로운 물체를 탁자 위의 다양한 위치에 배치하여 테스트를 받았습니다.
- 기존 방식의 성공률은 단 **22%**였습니다.
  // **새로운 방식 (FPTE)**의 성공률은 **80%**였습니다.

이것이 왜 중요한가

핵심 통찰은, 물체를 잡는 데 있어 "이론적으로 가장 좋은" 방법은 장애물 때문에 실제 세계에서는 도달 불가능할 때가 많다는 점입니다. 기존 방식은 도달할 수 없는 목표를 쫓느라 시간을 낭비했습니다. 반면, 새로운 방식은 로봇이 정확한 목표 지점에 도달하지 못할 수도 있음을 인정하되, 움직임의 실제 결과를 평가함으로써 가장 안전하고 성공적인 움켜쥐기를 찾아냅니다.

저자들은 또한 이 방법이 로봇이 (높이가 다른 선반이나 지저륙한 탁자처럼) 완전히 새로운 환경에 처하더라도, 단순히 "이론적으로 원하는 것"이 아니라 "실제로 할 수 있는 것"에 집중하기 때문에 재학습 없이도 작동한다는 것을 보여주었습니다.

기술 요약: 먼저 계획하고, 그 다음 평가하라 (First Plan, Then Evaluate, FPTE)

문제 정의

자율적인 다지(multi-finger) 파지(grasping)는 로봇 조작의 핵심적인 능력이며, 특히 단일 고정 카메라의 포인트클라우드만을 사용하여 새로운 물체를 다룰 때 매우 중요합니다. 최적화 기반 접근 방식이 최첨단 기술이지만, 신경망 분류기를 최적화하는 비선형적 특성 때문에 초기화에 민多하고 계산 비용이 많이 드는 경우가 많습니다.

속도 문제를 해결하기 위해 "생성기-평가기-계획기(generator-evaluator-planner)" 패러다임이 등장했습니다. 이 전통적인 파이프라인에서는 다음과 같은 과정이 진행됩니다:

**생성기(Generator)**가 물체 좌표계 내에서 일련의 파지 후보군(batch of grasp candidates)을 제안합니다.
**평가기(Evaluator)**는 예측된 성공 가능성을 바탕으로 이 후보들을 순위 매깁니다.
**계획기(Motion Planner)**는 가장 높은 순위를 받은 파지에 도달하기 위한 충돌 없는 궤적을 찾으려고 시도합니다.

만약 계획기가 (도달 불가능성이나 충돌로 인해) 가장 높은 순위의 파지에 도달하는 데 실패하면, 그다음으로 좋은 파지를 시도합니다. 이 방식은 다음과 같은 "양자택일(lose-lose)"의 트레이드오프를 제시합니다:

엄격한 계획(Strict Planning): 타겟 파지에 대한 근접성을 엄격하게 강제하면 성공 추정의 정확성은 보장되지만, 계획 실패가 빈번해져 로봇이 성공 가능성이 낮은 하위 순위의 파지를 실행하게 됩니다.
완화된 계획(Relaxed Planning): 근접성 임계값을 완화하면 궤적 계산은 쉬워지지만, 학습된 평가기가 말단 효과기(end-effector, EE) 포즈에 매우 민감하기 때문에 파지 성공 추정이 부정확해집니다.

또한, 일반화 성능을 확보하기 위해 파지를 물체 좌표계에 정렬(grounding)하는 과정에서, 관절 한계나 환경적 충돌로 인해 물리적 로봇이 도달할 수 없는 타겟이 생성되는 경우가 발생하며, 이는 대규모 시뮬레이션 데이터셋을 사용하더라도 지속되는 문제입니다.

방법론: 먼저 계획하고, 그 다음 평가하라 (FPTE)

저자들은 계획의 가능성과 성공 추정의 정확성 사이의 트레이드오프를 해결하기 위해 평가와 계획의 순서를 뒤바꾼 프레임워크를 제안합니다. 이 파이프라인은 세 단계로 구성됩니다:

생성(Generation): 학습된 생성기가 부분적인 포인트클라우드(Basis Point Set으로 인코딩됨)를 입력받아, 물체 좌표계 내에서 $K$ 개의 파지 후보( $G^T$ ) 배치를 제안합니다. 이는 모션 계획기의 타겟 역할을 합니다.
병렬 계획(Parallel Planning): 벡터화된 모션 계획기가 $K$ 개의 타겟 파지에 대한 궤적을 동시에 계산합니다. 여기서 중요한 점은, 시스템이 도달 불가능성이나 장애물로 인해 정확한 타겟 포즈에 도달하지 못한 궤적을 버리지 않는다는 것입니다. 대신, 결과로 나온 충돌 없는 궤적과 그 궤적의 종단 구성(terminal configurations)을 유지합니다.
종단 평가 및 실행(Terminal Evaluation & Execution): 학습된 평가기는 (초기 생성된 타겟이 아닌) 계획된 궤적의 종단 구성(로봇이 실제로 도달한 상태)을 바탕으로 파지 성공 가능성을 추정합니다. 로봇은 추정된 성공 가능성이 가장 높은 궤적을 실행합니다.

주요 기술 구성 요소

표현(Representation): 물체는 Basis Point Sets(BPS)를 사용하여 $O \in \mathbb{R}^{4096}$ 로 인코딩됩니다. 파스는 $G = (T_{OH}, \theta_p, \theta_g)$ 로 파라미터화되며, 이는 핸드 포즈, 프리-그라스(pre-grasp) 구성, 인-그라스(in-grasp) 구성을 나타냅니다.
생성기(Generator): 오직 양성(positive) 파지만을 학습하며, 파지 샘플 배치를 출력합니다.
평가기(Evaluator): 양성 샘플과 (양성 샘플을 변형하여 생성한 hard negative를 포함한) 음성 샘플 모두를 학습하며, 파지 성공 가능성을 출력합니다. 이는 제안된 타겟이 아닌, 실제 도달 가능한 상태를 평가합니다.
데이터 수집: 전체 로봇 궤적을 사용하여 시뮬레이션에서 2,890만 번의 파지 시도 데이터를 합성하였습니다("floating end-effector" 문제 방지). 이를 통해 약 18만 개의 성공적인 파지를 확보하여 학습에 사용했습니다.

주요 기여

프레임워크 역전(Framework Inversion): 주요 기여는 "생성-평가-계획"에서 "생성-계획-평가"로의 전환입니다. 실행 가능한 궤적의 종단 구성에서 파지를 평가함으로써, 시스템은 도달 불가능한 타겟에 대한 평가기의 민감도 문제를 피할 수 있습니다.
도달 불가능성에 대한 강건성(Robustness to Unreachability): 이 방식은 가장 높은 순위의 생성 타겟이 도달 불가능한 경우를 명시적으로 처리합니다. 타겟을 버리거나 하위 타겟으로 강등하는 대신, 실제로 도달 가능한 구성을 평가합니다.
일반화(Generalization): 본 방법론은 여러 타겟에 대해 병렬로 계획하는 것(Curobo 또는 Fabrics와 같은 벡터화된 계획기 사용)이 계산 효율적이며, 다양한 물체 형태, 생성기 아키텍처, 모션 계획기에 걸쳐 성공률을 크게 향상시킨다는 것을 입증했습니다.

실험 결과

저자들은 시뮬레이션과 KUKA LBR4 암 및 Allegro 핸드를 사용한 실제 환경에서 FPTE를 평가했습니다.

시뮬레이션: FPTE는 다양한 생성기(cVAE, Diffusion, MDN)와 모션 계획기(Curobo, Fabrics, RRT)에 대해 전통적인 방식(trad)보다 일관되게 높은 파지 성공률을 달ermal했습니다.
- 전통적인 방식은 역기구학(IK) 오차가 증가함에 따라 성능이 크게 저하되었으나, FPTE는 강건함을 유지했습니다.
- FPTE-Fabrics는 FPTE-Curobo보다 우수한 성능을 보였는데, 이는 Fabrics를 사용한 데이터 수집 파이프라인이 시뮬레이션-실제 간극(sim-to-real gap)을 줄였기 때문으로 보입니다.
실제 환경:
- 11개의 새로운 물체와 각 5개의 위치를 대상으로 테스트되었습니다.
- 성공률: FPTE는 **80%**의 성공률을 기록한 반면, 전통적인 베이스라인은 **22%**에 그쳤습니다.
- 실패 분석: 베이스라인은 55회 시도 중 23회에서 궤적을 찾는 데 실패했습니다. 실행된 궤적만을 고려했을 때 베이스라인의 성공률은 38%였으나, FPTE는 이보다 훨씬 높았습니다.
- 신뢰도: FPTE를 통해 실행된 파스의 예측 성공 가능성은 평균 90%였던 반면, 베이스라인은 26%였습니다.
일반화: 시스템은 시뮬레이션에서 고정된 높이의 격리된 물체들로만 학습되었음에도 불구하고, 다양한 테이블 높이, 선반, 장애물이 있는 새로운 환경에 성공적으로 일반화되었습니다.

의의 및 주장

본 논문은 FPTE가 모션 계획의 정확성과 파지 성공 추정 사이의 내재적인 트레이드오프에 대한 실질적이고 효과적인 해결책을 제공한다고 주장합니다. 타겟 생성과 성공 평가를 분리함으로써, 프레임워크는 로봇이 처음에 제안된 타겟과 다르더라도 성공 가능성이 가장 높은 궤적을 실행할 수 있게 합니다.

저자들은 이러한 개선이 특정 학습기(generator)나 계획기(planner)에 국한되지 않는 **프레임워크 독립적(framework-independent)**인 특성임을 강조합니다. 결론적으로, 파지를 시작 시점이 아닌 궤적의 끝에서 평가하는 미세한 변화가 도달 불가능한 타겟과 환경적 제약을 다루는 데 있어 시뮬레이션과 실제 환경 사이의 간극을 메우는 데 결정적이라는 점을 밝히고 있습니다.

저자가 언급한 한계점:

학습 물체의 다양성 부족.
실제 환경에서의 세그멘테이션(segmentation) 부정확함이 잘못된 충돌 모델링으로 이어질 수 있음.
시스템이 단일 RGB-D 판독에 기반한 오픈 루프(open-loop) 방식으로 작동함.