SAGP: Semantic Affordance-Guided Grasp Planning via Coarse-Zone VLM Reasoning

로봇이 엄청나게 힘이 세지만 동시에 엄청나게 서투른 유아와 같은 세상이 있다고 상상해 보십시오. 로봇은 상자를 들어 올릴 수는 있지만, 상자의 날카로운 모서리를 잡거나 머그잔의 손잡이 대신 뜨거운 테두리를 움켜쥐려고 할 수도 있습니다. 이것이 바로 **로봇 파지(robric grasping)**의 과제입니다. 오랫동안 과학자들은 로봇에게 "기하학 전문가"가 되도록 가르쳐 왔습니다. 그들은 로봇이 물체의 모양을 보고, 로봇의 손가락 사이에 완벽하게 들어맞는 두 지점(집게처럼)을 찾아 꽉 잡도록 프로그래밍했습니다. 이는 물리적으로는 잘 작동합니다. 로봇이 물체를 떨어뜨리지 않기 때문입니다. 하지만 상식 측면에서는 실패합니다. 기하학 전문가는 칼을 날 부분으로 잡아서는 안 된다거나, 드릴을 회전하는 모터 부분으로 잡아서는 안 된다는 것을 알지 못합니다. 그저 "딱 맞는 두 지점"만을 볼 뿐입니다.

이를 해결하기 위해, 연구자들은 이제 로봇에게 형태 이면에 숨겨진 의미, 즉 "의미론(semantics)"을 가르치려 노력하고 있습니다. 그들은 로봇이 손잡이는 잡기 위한 것이고, 날은 자르기 위한 것이며, 테두리는 마시기 위한 것이라는 점을 이해하기를 원합니다. 큰 장애물은 로봇이 정확한 좌표(예: "왼쪽에서 3.4인치 지점")를 추측하는 데 서툴고, 수년간의 훈련 없이는 아주 작고 구체적인 부위를 인식하는 데 서투르다는 점입니다. 이 논문인 SAGP는 이 간극을 메우고자 합니다. 이 논문은 다음과 같이 묻습니다. "로봇이 물체 인식에 대한 박사 학위나 세상의 모든 물체에 대한 방대한 데이터베이스 없이도, 어디를 잡아야 하는지 이해하게 만들 수 있을까?"

문제점: 잘못된 끝부분을 잡는 로봇

이 논문의 저자들은 우스꽝스럽지만 좌절스러운 문제를 발견했습니다. 기존의 로봇 플래너는 커피 머그잔을 한 번도 본 적 없는 사람과 같습니다. 만약 당신이 그들에게 머그잔을 집으라고 요청한다면, 그들은 테두리를 잡거나, 바닥을 잡거나, 혹은 운이 좋다면 손잡이를 잡을 수도 있습니다. 그들은 물리적으로 잡을 능력은 갖추고 있습니다(움켜쥐는 힘은 강합니다). 하지만 결과는 재앙입니다. 만약 머그잔을 테두리로 잡는다면 손을 데거나 커피를 쏟을 수 있습니다. 만약 드릴을 모터 부분으로 잡는다면, 제품을 망가뜨릴 수도 있습니다.

현재의 해결책들은 두 가지 방식으로 이를 고치려 시도하지만, 둘 다 결함이 있습니다. 어떤 방식은 로봇이 손잡이의 정확한 좌표를 추측하게 만들려 하지만, 로봇은 종종 사물의 위치를 "환각(hallucinate)"하여 만들어내기 때문에 서툰 실수를 저지릅니다. 다른 방식은 로봇에게 모든 물체의 모든 개별 부위를 인식하도록 가르치려 하지만, 이는 로봇이 보는 새로운 물체마다 수천 개의 사례를 학습시켜야 하므로 느리고 비용이 많이 듭니다.

해결책: "조대 영역(Coarse-Zone)" 지도

저자인 무하이 우드 딘(Muhayy UD DIN)과 이르판 후세인(Irfan HUSSAIN)은 SAGP(Semantic Affordance-Guided Grasp Planning)라고 불리는 영리하고 훈련이 필요 없는 아이디어를 제안했습니다. 이것은 로봇에게 고해상도 도로 지도 대신 크고 단순한 구역이 표시된 지도를 주는 것과 같습니다.

로봇에게 "정확한 손잡이"를 찾으라고 요구하는 대신, SAGP는 먼저 **조대 영역 추상화(coarse-zone abstraction)**라는 방법을 사용하여 물체를 크고 단순한 덩어리로 나눕니다. 이상하게 생긴 장난감이 있다고 상상해 보십시오. SAGP는 "왼쪽 날개"나 "오른쪽 버튼"을 식별하려고 하지 않습니다. 대신, PCA(주성분 분석)라는 수학적 기법을 사용하여 어느 쪽이 위쪽인지 파악한 다음, 물체를 상단(Top), 중단(Middle), 하단(Bottom), 좌측(Left), 우측(Right), 전면(Front), 후면(Back), 그리고 돌출부(Protrusions)(손잡이나 노브처럼 튀어나온 부분)라는 큰 영역으로 자릅니다.

물체가 이 큰 영역들로 잘리면, 로봇은 물체의 사진을 찍고 시각-언어 모델(VLM)—수백만 권의 책을 읽고 수백만 장의 사진을 본 초지능형 AI—에게 다음과 같은 간단한 질문을 던집 합니다: "내가 '상단' 영역을 잡으려고 한다면, 그것이 좋은가, 괜찮은가, 나쁜가, 아니면 위험한가?"

AI는 정확한 좌표를 알 필요가 없습니다. 그저 " '돌출부'(손잡이)를 잡는 것은 좋음(Good)"이라거나 " '날'을 잡는 것은 위험함(Dangerous)"이라고 말할 수 있으면 됩니다.

작동 방식: 5단계의 댄스

전체 과정은 로봇이 새로운 것을 배울 필요가 없는 파이프라인을 통해 진행됩니다:

1. 관찰 및 절단: 로봇은 물체를 보고 그것을 앞서 언급한 큰 영역(상단, 하단, 손잡이 등)으로 자릅니다.
2. 후보 생성: 표준 기하학 규칙(손가락 사이에 딱 맞는 두 지점을 찾는 법)을 사용하여 물체를 잡을 수 있는 수백 가지의 가능한 방법들을 생성합니다.
3. AI에게 질문: 로봇은 AI에게 물체를 보여주며 묻습니다. "'상단' 영역을 잡는 것이 좋은가요? '손잡이' 영역은 어떤가요?"
4. 점수 매기기 및 재순위 지정: AI는 각 영역에 점수를 부여합니다. 그러면 로봇은 자신의 기하학적 파지 목록을 다시 정렬합니다. 만약 어떤 파지가 "위험한" 영역에 닿는다면, 큰 벌점을 받습니다. 만약 "좋은" 영역에 닿는다면, 보너스를 받습니다.
5. 승자 선택: 로봇은 가장 높은 점수를 받은 파지를 선택하여 실행합니다.

연구 결과: 단순히 강한 것이 아니라 똑똑하게

연구진은 컴퓨터 시뮬레이션에서 Franka Panda 로봇 팔과 YCB 데이터셋(머그잔, 바나나, 드릴, 캔 등 일반적인 가정용품 모음)에서 추출한 14가지 물체를 사용하여 이 시스템을 테스트했습니다. 그들은 이 새로운 방법을 두 가지 다른 방법, 즉 표준 "기하학 전용" 로봇과 AI에게 정확한 파지 좌표를 묻는 로봇과 비교했습니다.

결과는 명확했습니다:

• 물리 법칙을 깨뜨리지 않음: 새로운 방법은 기존 기하학 전용 방식의 높은 성공률(시뮬레이션에서 90% 이상의 성공률)을 유지했습니다. 로봇는 여전히 물체를 단단하게 잡았습니다.
• 상식을 해결함: 가장 큰 승리는 **기능적 적절성(functional appropriateness)**에 있었습니다. 손잡이가 있는 물체(머그잔, 드릴, 가위 등)의 경우, 새로운 방법은 60% 이상의 확률로 손잡이를 잡았습니다. 기존의 기하학 전용 방식은 손잡이를 잡는 것이 무작위 확률에 의존했기에, 주로 몸체나 테두리를 잡았습니다.
• "환각" 함정을 피함: AI에게 정확한 좌표를 묻는 방식은 AI가 정밀한 위치에 대해 혼란을 느껴 더 자주 실패했습니다. 큰 영역을 사용하는 데 집중함으로써, SAGP는 이러한 실수를 피했습니다.
• 충분히 빠름: 유일하게 "느린" 부분은 처음에 AI에게 물어보는 과정(약 1~3초)이었지만, 로봇이 동일한 물체에 대한 답변을 기억하기 때문에 반복 시도 시에는 더 빨라집니다.

결론

이 논문은 SAGP가 세상의 모든 물체를 학습시키지 않고도 로봇에게 상식을 부여할 수 있는 실용적인 방법임을 시사합니다. 이 방식은 물체의 형태만으로는 "올바른" 파지 위치가 명확하지 않은 물체(손잡이가 있는 드릴 등)에서 가장 효과적입니다. 탄산음el 캔처럼 완벽하게 둥근 물체의 경우, SAGP는 기존의 기하학 전용 로봇과 똑같이 작동하며, 이는 문제가 되지 않습니다(캔의 어느 지점이든 보통 잡기 좋은 곳이기 때문입니다).

저자들은 시뮬레이션을 바탕으로 이러한 결과에 자신감을 보이지만, 실제 세계의 로봇은 매우 작은 물체나 특이한 위치에 있는 물체에 직면할 수 있다는 점을 언급했습니다. 그러나 인간의 언어를 로봇의 행동으로 번역하기 위해 크고 단순한 영역을 사용하는 핵심 아이디어는, 로봇이 무엇을 '볼 수 있는지'와 무엇을 '해야 하는지' 사이의 견고하고 훈련이 필요 없는 가교 역할을 하는 것으로 보입니다. 이는 로봇이 단순히 물건을 집어 드는 것을 넘어, '올바른 방법'으로 집어 들게 만드는 단계입니다.