Semantic Anchoring for Robotic Action Representations

당신이 로봇에게 요리하는 법을 가르치고 있다고 상상해 보세요. 당신은 누군가 양파를 써는 영상을 보여주고, 로봇은 그 손 동작을 따라 하려고 노력합니다. 하지만 여기서 까다로운 점이 있습니다. 로봇은 단순히 손가락을 어떻게 움직여야 하는지만 알아야 하는 것이 아니라, 왜 그렇게 움직여야 하는지도 이해해야 합니다. 양파를 샐러드용으로 써는 것인가요, 아니면 그냥 동작을 연습하는 중인가요? 로боics(로보틱스)의 세계에서 이것은 생각 없는 모방자와 똑똑한 조수 사이의 차이입니다. 과학자들은 현재 "시각-언어-행동(Vision-Language-Action, VLA)" 모델을 구축하고 있습니다. 이 모델들을 세상에 대한 수백만 권의 책을 읽고 수십억 개의 영상을 본 아주 똑똑한 로봇이라고 생각하세요(이는 "사전 학습" 단계 덕분입니다). 이 로봇들은 이미 "숟가락"은 먹는 데 쓰는 것이고 "서랍"은 여는 데 쓰는 것이라는 것을 알고 있습니다. 문제는 우리가 로봇에게 특정 작업을 가르치려 할 때 발생합니다. 만약 우리가 로봇 팔이 움직이는 영상 몇 개를 보여주며 "이렇게 해봐"라고 말한다면, 로봇은 종종 자신의 거시적인 지식을 잊어버립니다. 로봇은 목표를 이해하는 대신 정확한 픽셀의 움직임을 암기하기 시작합니다. 이는 마치 수학을 이해하지 못한 채 연습 시험의 답만 외워버려서 실제 시험에서는 낙제하는 학생과 같습니다.

이 논문은 바로 그 문제를 다룹니다. 연구진은 단순하지만 심오한 질문을 던졌습니다: "무엇이 좋은 로봇의 뇌를 만드는가?" 그들은 로봇이 특정 움직임 영상만 학습할 때, 사전 학습으로부터 물려받은 "의미론적 구조(semantic structure)"—즉, 사물이 무엇을 의미하는지에 대한 조직된 지도—를 잃어버린다는 것을 발견했습니다. 이를 해결하기 위해 그들은 "의미론적 앵커링(Semantic Anchoring)"이라는 영리한 학습 기법을 발명했습니다. 로봇의 뇌에 두 개의 채널이 있다고 상상해 보세요. 하나는 "큰 아이디어"(의도)를 위한 채널이고, 다른 하나는 "세부적인 디테일"(구체적인 근육 움직임)을 위한 채널입니다. 그들의 방식은 로봇이 "큰 아이디어" 채널을 인간의 언어 및 개념의 지도와 완벽하게 일치시킨 상태로 유지하도록 강제하는 한편, "세부적인 디테일" 채널은 특정 작업의 복잡한 세부 사항을 처리하도록 내버려 둡니다. 가장 멋진 점은? 로봇 학습이 끝나면, 그들은 추가적인 학습 도구들을 버립니다. 그러면 로봇은 원래의 크기와 속도를 그대로 유지하면서도 훨씬 더 똑똑해진 상태가 됩니다.

로봇의 기억 위기

로봇이 학습을 시도할 때 어떤 일이 일으로 일어나는지 자세히 살펴봅시다. 로봇의 머릿속에 인터넷 전체를 읽어서 구축된 지식의 도서관이 있다고 상상해 보세요. 이 도서관는 아름답게 정리되어 있습니다. "열기"에 관한 모든 개념은 함께 모여 있고, "쌓기"에 관한 모든 개념은 각자의 깔끔한 구역에 있습니다. 이것이 "사전 학습된" 상태입니다. 하지만 당신이 로봇에게 "천 접기"와 같은 특정 작업을 수행하도록 학습시키기 시작하면, 당신은 겨우 몇 개의 영상—예를 들어 50개 또는 200개의 사례—만을 보여주게 됩니다.

연구진은 이 아주 적은 양의 데이터가 마치 파괴용 해머처럼 작용한다는 것을 발견했습니다. 로봇이 천을 접는 법을 배울 때, 로봇은 자신의 도서관에 있는 아름다운 체계를 무시하기 시작합니다. 로봇은 "나는 천을 접고 있다"라고 생각하는 대신, "나는 팔을 X 위치, 그다음 Y 위치로 움직여야 한다"라고 생각하기 시작합니다. 로봇은 "지름길"을 만듭니다. 이는 이야기를 읽는 대신 답이 있는 페이지 번호만 외워버리는 학생과 같습니다. 논문은 로봇이 특정 작업(in-distribution success)에 더 능숙해질수록, 작업의 의미에 대한 이해는 오히려 나빠진다는 것을 보여줍니다. 로봇은 자신이 본 특정 영상의 달인이 되지만, 새로운 상황에는 실패하는 존재가 됩니다.

거울 뉴런 아이디어

이를 해결하기 위해 저자들은 인간의 뇌가 어떻게 작동하는지를 살펴보았습니다. 그들은 "거울 뉴런(mirror neurons)"에서 영감을 얻었습니다. 거울 뉴런은 당신이 직접 행동을 할 때와 다른 사람이 하는 것을 볼 때 모두 활성화되는 특별한 뇌세포입니다. 결정적으로, 이 뉴런들은 단순한 근육의 움직임이 아니라 목표(의도)를 바탕으로 활성화됩니다. 만약 당신이 누군가 컵을 마시기 위해 집어 드는 것을 본다면, 당신의 뇌는 그가 컵을 던지기 위해 집어 드는 것을 볼 때와는 다르게 반응합니다. 비록 손의 움직임은 동일해 보일지라도 말입니다.

연구진은 자신들의 로봇이 이러한 "의도 수준"의 인코딩이 결여되어 있다는 것을 깨달았습니다. 그들의 로봇은 목표가 아닌 근육의 움직임만을 배우고 있었습니다. 그래서 그들은 로봇의 행동과 "의미론적 매니폴드(semantic manifold)" 사이에 다리를 놓기로 했습니다. 의미론적 매니폴드를 인간의 모든 개념이 담긴 거대하고 완벽하게 조직된 지도로 생각하세요. 로봇의 사전 학습된 뇌는 이미 이 지도의 대략적인 버전을 가지고 있었지만, 학습 과정이 이를 지워버리고 있었습니다. 목표는 로봇의 "의도" 채널을 새로운 움직임을 배우는 동안에도 이 지도에 딱 붙어 있게 만드는 것이었습니다.

두 채널 솔루션

여기서 논문이 제안하는 마법 같은 기술인 "의미론적 앵커링"이 등장합니다.

로봇의 뇌가 두 개의 다이얼이 있는 라디오라고 상상해 보세요.

1. 프라이빗 채널(The Private Channel): 이 다이얼은 복잡하고 구체적인 세부 사항을 처리합니다. 테이블이 미끄러운가요? 그리퍼가 약간 휘어져 있나요? 이 채널은 특정 로봇과 특정 순간에 고유한 것입니다.
2. 공유 채널(The Shared Channel): 이 다이얼은 "큰 그림"을 처리합니다. 목표가 "서랍 열기"인가요, 아니면 "사과 집기"인가요? 이 채널은 보편적인 개념의 지도와 일치된 상태를 유지해야 합니다.

연구진의 방법은 학습 중에 로봇의 뇌를 이 두 채널로 나눕니다. 그들은 공유 채널이 지시 사항의 의미(예: "서랍 열기")에 완벽하게 고정되도록 하기 위해 특수한 "대조적 정렬(contrastive alignment)" 기술을 사용합니다. 동시에, 프라이빗 채널이 팔을 실제로 움직이는 데 필요한 나머지 세부 사항들을 처리하도록 내버려 둡니다.

왜 나누는 것일까요? 왜냐하면 "공유 채널"은 작은 변화를 무시해야 하기 때문입니다(서랍이 파란색인지 빨간색인지는 중요하지 않고, 그저 서랍이라는 사실이 중요합니다). 반면 "프라이빗 채널"은 물리적 세계에 매우 민감해야 합니다. 만약 하나의 채널로 이 두 가지를 모두 하려고 하면 로봇은 혼란에 빠집니다. 이들을 분리함으로써, 로봇은 새로운 움직임을 배우는 동안에도 자신의 "똑똑한 뇌"(공유 채널)를 온전히 유지할 수 있습니다.

결과: 더 똑똑해진 로봇, 크기는 그대로

팀은 컴퓨터 시뮬레이션과 실험실의 실제 두 팔 로봇 모두에서 이를 테스트했습니다.

시뮬레이션에서:
그들은 작업당 50개의 시연이 포함된 LIBERO 데이터셋을 사용하여 테스트했습니다. 이 적은 양의 데이터에도 불구하고, 그들의 방법은 로봇의 성공률을 높였습니다. 한 벤치마크에서 표준 로봇보다 3.1% 향상된 결과를 보였습니다. 더 복잡한 테스트인 SimplerEnv에서는 향상 폭이 더 커서 최대 **7.2%**까지 나타났습니다. 이는 로봇이 단순히 영상을 암기한 것이 아니라, 실제로 작업을 더 잘 이해하고 있음을 증명했습니다.

실제 로봇에서:
이 부분이 정말 흥미로웠습니다. 그들은 이 방법을 실제 두 팔 로봇(AgileX Cobot Magic V2)에 적용하여 과일 집기, 접시 쌓기, 상자 포장하기, 캐비닛에 보관하기 등 네 가지 유형의 작업을 수행하게 했습니다.

• In-Distribution (학습 시 보았던 작업들): 로봇의 성공률이 18.7% 향상되었습니다. 기존에는 평범한 수준이었으나 매우 신뢰할 수 있는 수준이 되었습니다.
• Out-of-Distribution (새롭고 까다로운 상황): 이것이 진짜 시험대입니다. 그들은 물체의 위치를 바꾸거나, 새로운 종류의 과일을 사용하거나, 다른 단어로 명령을 내렸습니다. 표준 로봇은 여기서 많이 실패했습니다. 하지만 "앵커링"된 로봇은 어땠을까요? 무려 **21.5%**나 향상되었습니다.

예를 들어, 딸기를 집어서 접시에 놓으라는 요청을 받았을 때(한 번도 본 적 없는 조합), 표준 로봇은 자주 혼란을 겪거나 엉뚱한 것을 잡았습니다. 하지만 앵커링된 로봇은 "딸기"와 "접시"라는 개념을 이해하고 있었기에, 그 특정 조합을 본 적이 없음에도 불구하고 올바른 동작을 찾아낼 수 있었습니다.

가장 좋은 점: 추가적인 무게가 없음

보통 로봇을 더 똑똑하게 만들려면 더 많은 컴퓨터 자원을 추가하거나 로봇의 뇌를 더 크게 만들어야 하며, 이는 속도를 느리게 만듭니다. 하지만 이 방법은 "플러그 앤 플레이(plug-and-play)" 방식입니다. 채널을 나누고 의미를 정렬하기 위해 사용된 모든 추가 도구들은 학습이 끝난 후 버려집니다. 실제 세상으로 나가는 로봇은 원래의 크기와 속도를 그대로 유지합니다. 단지 무엇을 하고 있는지에 대한 이해도가 훨씬 높아졌을 뿐입니다.

이것이 의미하는 바

이 논문은 예측 불가능한 실제 세상을 다룰 수 있는 로봇을 만드는 비결은 단순히 더 많은 영상을 보여주는 것이 아니라는 점을 시사합니다. 그것은 뇌 속의 "의미"를 보호하는 것입니다. 로봇의 의도에 대한 이해를 움직임의 세부 사항과 분리함으로써, 우리는 로봇이 단순히 우리를 흉내 내는 것이 아니라 실제로 우리를 이해하도록 만들 수 있습니다. 로봇은 새로운 물체, 새로운 위치, 새로운 명령에 적응할 수 있는데, 이는 그들이 인간이 사용하는 것과 동일한 현실의 지도에 닻을 내리고(anchored) 있기 때문입니다.

저자들은 이것이 학습 단계에서의 해결책임을 명시하고 있습니다. 그들은 로봇의 하드웨어나 최종 소프트웨어 구조를 변경하지 않았습니다. 단지 어떻게 가르칠지를 바꿨을 뿐입니다. 그리고 결과는 로봇의 "의도"를 보호하고 고정해야 할 대상으로 취급하는 이 단순한 관점의 전환이, 로봇을 훨씬 더 유능하고 신뢰할 수 있으며 실제 세상에 대비가 된 상태로 만들 수 있다는 것을 보여줍니다.