당신이 피망, 신발, 램프, 그리고 속이 빈 돌멩이가 놓인 무작위 물건들로 가득한 방을 걷고 있다고 상상해 보세요. 인간은 단순히 "빨간 것"이나 "반짝이는 것"으로만 보지 않습니다. 인간은 그 피망이 물을 담을 수 있다는 것, 신발이 망치가 될 수 있다는 것, 그리고 돌멩이가 의자가 될 수 있다는 것을 즉각적으로 이해합니다. 이 초능력을 **어포던스 추론(affordance reasoning)**이라고 부릅니다. 이는 사물의 외형과 촉감을 바탕으로 그것으로 무엇을 할 수 있는지 이해하는 능력입니다. 로봇이 샌드위치를 만들거나 방을 청소하는 것처럼 복잡하고 무질서한 현실 세계에서 유용하게 작동하려면, 이와 동일한 초능력이 필요합니다. 로봇은 단순히 "컵을 집어라"라는 명령을 듣는 것에 그쳐서는 안 됩니다. "아, 저기 있는 저것이 컵이니, 저것을 사용해 물을 마실 수 있겠구나"라고, 설령 컵이 반쯤 가려져 있거나 조금 이상하게 생겼더라도 스스로 파악할 수 있어야 합니다.

큰 문제는 현재의 로봇 두뇌가 이를 스스로 파악하기에는 너무 멍청하거나, 혹은 (거대 AI 모델처럼) 너무 거대하고 복잡해서 로봇의 머릿속에 들어가 빠르게 실행될 수 없다는 점입니다. 로봇은 단어 때문에 혼란에 빠지거나 생각하는 데 너무 오랜 시간이 걸립니다. 이 논문은 Afford-X라고 불리는 새로운 해결책을 소개합니다. 이것은 "똑똑하고 날렵한 로봇 두뇌"라고 생각하면 됩니다. 특정 사진과 작업(예: "몸을 말려라")을 보고, 방해 요소들을 무시한 채 즉시 최적의 도구(예: 수건)를 가리키도록 특별히 훈련되었습니다. Afford-X는 로컬 컴퓨터에서 실행될 수 있을 만큼 작고, 실시간으로 작동할 만큼 빠르며, 한 번도 본 적 없는 새로운 상황도 처리할 수 있을 만큼 똑똑하게 설계되었습니다.

문제점: 명사에 정신이 팔리는 로봇들

이 논문이 왜 중요한지 이해하기 위해, 당신이 로봇과 함께 "사이먼 가라사대(Simon Says)" 게임을 하고 있다고 상상해 보세요. 당신이 "무언가로 병을 닦아라"라고 말합니다. 표준적인 로봇은 이미지를 보고 반짝이는 병을 보자마자 즉시 병을 잡으려 할 것입니다. 로봇은 "닦다"라는 동작 대신 "병"이라는 명사에 갇혀버렸기 때문에 실패하게 됩니다. 로봇은 병이 닦아야 할 대상이 아니라, 닦는 도구라고 생각한 것입니다. 이는 마치 학생이 과일 샐러드에 관한 수학 문제를 풀면서 "사과"라는 단어에 매몰되어 정작 수학 문제를 풀지 못하는 것과 같습니다.

현재의 AI 모델들은 종종 로컬 컴퓨터에서 실행하기에는 너무 크고(거대한 서버가 필요함), 더 작은 모델들은 도구와 대상을 구분할 만큼 똑똑하지 못합니다. 그들은 냅킨이 병을 닦을 수는 있지만, 병이 스스로를 닦을 수는 없다는 식의 "상식"이 부족합니다.

해결책: Afford-X와 "교사-학생" 기법

저자들은 Afford-X라는 새로운 시스템을 구축했습니다. 이것은 로컬 장치에서도 실행 가능하면서 놀라울 정도로 똑똑한 "날렵한" AI 모델입니다. 모델을 거대하게 만들지 않고도 똑똑하게 만들기 위해, 그들은 **지식 증류(knowledge distillation)**라는 영리한 훈련 기법을 사용했습니다.

완벽한 요리를 하는 법을 아는 숙련된 셰프(교사)를 상상해 보세요. 셰프는 모든 재료의 이름(예: "소파" 또는 "컵")을 알고 있습니다. 이제, 배우려고 노력 중이지만 아직 재료의 구체적인 이름을 배우지는 못한, 오직 "편안하게 앉으세요"와 같은 지침만을 아는 초보 셰프(학생)를 상상해 보세요.

논문의 방식은 다음과 같습니다:

1. 교사는 구체적인 이름(예: "소파에 앉으세요")을 사용하여 학습합니다.
2. 학생은 모호한 단어(예: "무언가 위에 앉으세요")를 사용하여 학습합니다.
3. 교사는 단순히 학생에게 정답을 알려주는 것이 아니라, 학생이 생각하는 법을 보여줍니다. 교사는 이렇게 말합니다. "이 모양을 보고 '앉다'라는 말을 들으면, 비록 그 단어를 모르더라도 '소파'를 떠올려라."

이를 통해 학생(최종 로봇 모델)은 모든 사물의 이름을 담은 거대한 데이터베이스를 필요로 하지 않고도 도구의 개념을 이해할 수 있게 됩니다. 학생은 적절한 물건의 "느낌"을 배우게 됩니다.

핵심 비결: 동사 주의 집중(Verb Attention)과 바이-퓨전(Bi-Fusion)

로봇이 물체가 아닌 동작에 집중하도록 하기 위해, 저자들은 AI의 두뇌에 두 가지 특별한 도구를 추가했습니다.

• 동사 주의 집중 (Verb Attention, VA): 이것은 동작 단어를 위한 형광펜과 같습니다. 로봇이 "병을 닦아라"라고 읽으면, VA 모듈은 "닦다"라는 단어에 밝은 빛을 비춥니다. 이는 로봇에게 "병만 보지 마! 무언가를 닦는 것을 찾아!"라고 알려줍니다. 이를 통해 로в은 사진에서 가장 눈에 띄는 물체에 의해 주의가 분산되는 것을 방지합니다.
• 바이-퓨전 (Bi-Fusion, BF): 이것은 로봇의 눈(시각)과 두뇌(언어) 사이의 양방향 대화입니다. 단순히 사진과 단어를 하나로 붙여버리는 대신, 이 모듈은 둘이 서로 주고받으며 대화하게 합니다. 눈은 "부드럽고 직사각형인 것을 보고 있다"라고 말하고, 두뇌는 "그것은 몸을 말리기 위한 수건처럼 들린다"라고 답합니다. 이들은 서로의 노트를 합쳐 완벽한 결정을 내립니다.

훈련 장소: LVIS-Aff와 COCO-Aff

로봇을 똑똑하게 가르치려면 방대한 예시 라이브러리가 필요합니다. 저자들은 COCO-Aff와 LVIS-Aff라는 두 개의 거대한 새로운 데이터 라이브러리를 만들었습니다.

이것들은 로봇을 위한 거대한 "연습 시험"이라고 생각하면 됩니다. 단순히 사진 속의 컵을 보여주고 "이것은 무엇인가?"라고 묻는 대신, 이 데이터셋들은 사진과 함께 "~~를 사용하여 물을 마시다"와 같은 과제를 제시하며, 로봇은 컵을 찾아내야 합니다.

• COCO-Aff는 약 112,000개의 이미지와 1,144개의 서로 다른 과제를 포함합니다.
• LVIS-Aff는 훨씬 더 커서, 119,000개의 이미지와 1,496개의 과제를 포함하며, 1,000가지 이상의 다양한 물체 유형을 다룹니다.

저자들은 GPT-4라는 거대 AI를 활용하여 이 연습 문제들을 자동으로 작성하고, 정답이 타당한지 검증했습니다. 이를 통해 로봇은 훨씬 더 넓은 범위의 경험을 통해 학습할 수 있었고, 이전보다 새로운 상황을 더 잘 처리할 수 있게 되었습니다.

결과: 빠르고, 작고, 정확함

저자들은 시뮬레이션된 로봇 환경(실제 방처럼 보이는 가상 환경)에서 Afford-X를 테스트했습니다. 결과는 다음과 같습니다:

• 속도: Afford-X는 매우 빠릅니다. 초당 **2.38 프레임(FPS)**의 속도로 이미지를 처리할 수 있습니다. 이를 체감하기 위해 비교하자면, 동일한 작업을 수행하기 위해 거대 클라우드 기반 AI(예: GPT-4V)에게 요청하는 것보다 거의 50배 더 빠릅니다.
• 크기: 이 모델은 파라미터가 1억 8,700만 개에 불과할 정도로 매우 작습니다. 이는 거대한 서버 팜 없이도 로컬 컴퓨터에서 실행될 수 있음을 의미합니다.
• 정확도: 테스트에서 Afford-X는 거대 AI 모델을 사용하지 않는 기존의 최선 방법들보다 성능이 12.1% 향상되었습니다. 또한 저자들의 이전 연구보다 1.2% 높은 성과를 보였습니다.
• 일반화: 로봇이 학습하지 않은 새로운 물체를 사용하는 과제에 직면했을 때도 여전히 우수한 성능을 보였습니다. 예를 들어, 새로운 과제에서 기존 모델들에 비해 정확도가 약 24% 향상되었습니다.

로봇의 일상

이것이 작동함을 증명하기 위해, 저자들은 시뮬레이션된 로봇 팔에 Afford-X를 탑재했습니다. 그들은 로봇에게 "물로 마시다"와 같은 과제를 주었습니다.

1. 로봇은 병, 유리잔, 컵, 숟가락이 놓인 지저한 테이블을 관찰했습니다.
2. Afford-X는 즉시 컵을 최적의 도구로 식별했습니다. 병(담는 용도이지 직접 마시는 용도가 아님)과 숟가락을 무시하고 말이죠.
3. 그 후 로봇은 움직임을 계획하고 성공적으로 컵을 잡았습니다.

"작업 공간을 구축하라"는 복잡한 테스트에서, 시스템은 큰 과제를 작은 단계(테이블 찾기, 의자 찾기, 램프 찾기)로 나누고 이를 하나씩 실행했습니다. 이 시뮬레이션에서 로봇은 적절한 물체를 찾는 데 **86%**의 성공률을 보였으며, 물체를 잡는 데는 **45%**의 성공률을 보였습니다. (실패는 주로 로봇 팔이 숟가락처럼 얇고 평평한 물체를 잡는 데 어려움을 겪었기 때문이지, 잘못된 물체를 골랐기 때문이 아니었습니다.)

이것이 왜 중요한가

이 논문은 로봇에게 상식을 부여하기 위해 반드시 거대하고 느린 클라우드 기반 AI가 필요한 것은 아니라는 점을 보여줍니다. 올바른 종류의 데이터로 훈련된 똑똑하고 날렵한 모델을 사용함으로써, 로봇은 현실 세계에서 도구를 사용하는 법을 빠르고 효율적으로 이해할 수 있습니다. 이는 로봇이 단순히 슈퍼컴퓨터의 지시를 기다리며 실험실에 갇혀 있는 것이 아니라, 실제로 우리의 가정과 일터에서 도움을 줄 수 있는 단계로 나아가는 데 있어 매우 중요한 진전입니다.

저자들은 로봇이 여전히 컵과 컵 받침(또는 칫솔꽂이)이 똑같이 생겼을 때 구분하는 문제나, 물체가 다른 물체 뒤에 숨겨져 있는 경우와 같이 매우 까다로운 상황에서는 다소 어려움을 겪는다는 점을 인정합니다. 하지만 현재로서는 Afford-X는 작고, 빠르며, 똑똑한 로봇의 두뇌가 가능하다는 것을 입증해 보였습니다.