Zero-shot 2D Grounding with Novel Affordance Types

로봇에게 세상과 상호작용하는 법을 가르치고 있다고 상상해 보세요. 당신은 로봇에게 "칼"이 어떻게 생겼는지 말해줄 수 있고, 로봇은 사진 속에서 칼을 찾아낼 수 있습니다. 하지만 칼이 무엇인지 아는 것과 그것으로 무엇을 할 수 있는지 아는 것은 다릅니다. 이것이 객체 인식(object recognition)과 "어포던스(affordance, 행동 유도성)"의 차이입니다. 어포던스는 물체가 우리에게 주는 숨겨진 단서라는 멋진 단어입니다. 머그컵의 손잡이는 "쥐기"를 유도하고, 칼의 평평한 면은 "자르기"를 유도하며, 오렌지의 껍질은 "껍질 까기"를 유도합니다. 로봇이 우리의 복잡하고 실제적인 주방이나 거실에서 진정으로 도움이 되려면, 단순히 물체를 아는 것이 아니라 이러한 동작들을 이해해야 합니다.

큰 과제는 대부분의 로봇 두뇌가 특정 시험만을 위해 공부하는 학생처럼 훈련되어 왔다는 점입니다. 만약 로봇이 사과를 "자르는" 법을 배웠다면, 토마토를 "자르라"는 요청을 받았을 때 혼란에 빠질 수 있으며, 혹은 특정 동작을 본 적이 없다면 바나나를 "껍질 까는" 법을 모를 수도 있습니다. 이는 수학 학습지의 답만 암기했다가 선생님이 비슷한 질문을 다른 숫자로 던졌을 때 얼어붙는 학생과 같습니다. 과학자들은 로봇이 이러한 새로운, 보지 못한 명령을 처리할 수 있도록 구축하려고 노력해 왔지만, 지금까지의 초점은 주로 새로운 '물체'를 가르치는 것이었지 새로운 '동작'을 가르치는 것이 아니었습니다.

이 논문은 로봇에게 "새로운 어포던스 유형(novel affordance types)"—기본적으로 명시적으로 배우지 않은 새로운 방식으로 사물을 사용하는 법—을 다루도록 가르치는 새로운 방법을 소개합니다. 퍼듀 대학교의 하오멩 장(Haomeng Zhang)과 레이먼드 A. 예(Raymond A. Yeh) 연구진은 기존의 AI 모델들이 새로운 물체를 찾는 데는 뛰어나지만, 새로운 동작을 파악하는 데는 형편없다는 점에 주목했습니다. 그들은 이 특정 기술을 테스트하기 위해 새로운 벤치마크(challenges)를 만들었습니다. 그들은 현재 가장 뛰어난 성능을 보이는 모델들이 물체를 인식하는 데는 매우 똑똑하지만, 특정 동작이 학습 데이터에 없었던 경우 무언가를 "껍질 까거나" "앉는" 적절한 위치를 찾는 데 완전히 실패한다는 것을 발견했습니다.

이를 해결하기 위해 연구팀은 AffordAnything이라는 새로운 시스템을 구축했습니다. 이것을 전체 그림을 보는 것이 아니라 아주 작은 단서들에 줌인(zoom in)하는 탐정이라고 생각하세요. 이 시스템은 물체와 상호작용하는 지점이 보통 물체의 특정 부분(예: 컵의 손잡이나 책의 모서리)이라는 것을 깨닫습니다. 모든 가능한 동작을 암기하는 대신, 이 시스템은 강력하게 사전 훈련된 AI(시각 언어 모델, Visual Language Model)를 사용하여 물체를 작은 패치(patch) 단위로 나누고 어떤 패치가 동작 단어와 일치하는지 파악합니다. 예를 들어, "자르다"라고 요청하면 날카로운 모서리를 찾고, "잡다"라고 요청하면 손잡이를 찾습니다.

연구진은 두 가지 버전을 테스트했습니다. 첫 번째인 AffordAnything은 "훈련이 필요 없는(training-free)" 버전으로, 재학습 없이도 즉시 작동합니다. 이 모델은 이미 기존 방식들보다 유의미하게 더 나은 성능을 보였습니다. 두 번째 버전인 **AffordAnything+**는 이러한 단서들을 더 잘 조합하는 법을 아주 약간의 연습만으로 배울 수 있는 "훈련 가능한(trainable)" 업그레이드 버전입니다. 새로운 테스트 세트에서 이 업그레이드된 모델은 기존의 가장 좋은 방법과 비교했을 때 적절한 위치를 찾는 정확도(IoU@0.4로 측정)를 12.3% 향상시켰습니다.

이 논문은 단순히 더 크고 똑똑한 AI 모델을 사용하거나 물체를 인식하는 것만으로는 충분하다는 생각에 명시적으로 반대합니다. 그들은 가장 진보된 모델조차 동작이 새로울 때는 실패한다는 것을 보여주었습니다. 또한 그들은 모델들이 "칼"을 인식할 수는 있지만, 동작과 물체의 형태 사이의 관계를 보도록 특별히 설계되지 않았다면 자동으로 "껍질 까기"를 알 수는 없다는 것을 입증했습니다. 연구 결과는 로봇을 진정으로 적응 가능하게 만들기 위해서는, 고정된 동작 목록을 가르치는 것이 아니라 물체의 어떤 부분이 동작을 가능하게 하는지에 대해 추론하는 법을 가르쳐야 한다는 것을 시사합니다. 저자들은 이 새로운 방식의 테스트와 시스템 구축이 로봇이 더 유연해지고, 명령이 계속 변하는 실제 세상에 대비할 수 있게 도와주기를 희망합니다.