Learning to Assemble Novel Structures with Unfamiliar Parts under Semantic Constraints

=== 요약 ===
레고 브릭으로 거대하고 복잡한 성을 만든다고 상상해 보세요. 당신에게는 브릭이 있고, 브릭들이 물리적으로 어떻게 결합되는지에 대한 설명서가 있으며, 쌓기 작업을 수행할 로봇 팔이 있습니다. 하지만 여기 반전이 있습니다. 로봇은 그 성의 '규칙'을 모릅니다. 로봇은 빨간색 브릭이 파란색 브릭 위에 들어맞는다는 것은 알지만, 이 특정 왕국에서는 "빨간색 브릭은 왕의 탑을 위해서만 사용되며, 던전에는 절대 사용해서는 안 된다"라는 규칙은 모릅니다. 만약 로봇이 던전을 만드는 데 빨간색 브릭을 사용하려 한다면, 그것은 물리적으로는 가능할지 몰라도 '의미론적(semantic)'으로는 재앙입니다. 성의 이야기를 깨뜨리는 것이니까요. 이것이 바로 **뉴로심볼릭 AI(neurosymbolic AI)**의 과제입니다. 이 분야는 로봇이 세상의 모습을 보는 '직관(신경망)'과 사물이 어떻게 되어야 하는지에 대한 '논리적 규칙(기호 추론)'을 결합하도록 가르치는 것을 목표로 합니다. 보통 로봇은 당신이 작업을 한두 번 수행하는 것을 관찰하며 배웁니다. 하지만 게임 중간에 완전히 새로운 종류의 브릭이나 새로운 규칙이 등장한다면 어떻게 될까요? 로봇이 단순히 당신의 손동작을 보는 것뿐만 아니라, 당신의 말을 들음으로써 실시간으로 학습할 수 있을까요?

"Unfamiliar Parts under Semantic Constraints를 이용한 새로운 구조물의 조립 학습(Learning to Assemble Novel Structures with Unfamiliar Parts under Semantic Constraints)"이라는 제목의 이 논문은 바로 그 시나리오를 탐구합니다. 연구진은 로봇이 장난감 트럭을 조립하려고 시도하는 시뮬레이션 세계를 구축했습니다. 문제는 무엇일까요? 로봇은 "덤프트럭"이 무엇인지, "더퍼(dumper)"가 어떻게 생겼는지, 또는 "덤프트럭에는 노란색 부품이 들어갈 수 없다"라는 규칙이 무엇인지 전혀 모르는 상태에서 시작합니다. 로봇이 조립을 시도하면서 실수를 저지르면, 인간 교사가 개입합니다. 이때 교사는 단순히 로봇에게 팔을 어떻게 움직여야 하는지 보여주는 것이 아니라, 그 실수의 '논리'를 설명합니다. 연구팀은 다양한 교육 방식을 테스트했습니다: 로봇에게 사진을 보여주거나, "이것은 캐빈이다"와 같은 라벨을 주거나, "모든 덤프트럭에는 더퍼가 있어야 한다"와 같은 완전한 문장 형태의 규칙을 제공하는 방식입니다.

컴퓨터 시뮬레이션에서 발견된 결과에 따르면, 로봇을 가르치는 가장 효과적인 방법은 이러한 완전한 문장 형태의 규칙을 제공하는 것이었습니다. 교사가 단순히 "이것 대신 저것을 사용해라"라고 말했을 때, 로봇은 느리게 학습했고 많은 실수를 저질렀습니다. 하지만 교사가 일반적인 규칙("덤프트럭의 색상이 있는 부품은 노란색이어서는 안 된다")을 설명했을 때, 로봇은 훨씬 빠르게 학습했으며 훨씬 적은 오류로 트럭을 조립했습니다. 로봇에게 재사용 가능한 '경험 법칙(rule of thumb)'을 주는 것은 단일 동작을 수정하는 것이 아니라, 미래를 위한 참조 가이드를 건네주는 것과 같습니다. 이 연구는 로봇이 보고 잡는 능력은 좋아지고 있지만, 특히 이전에 본 적 없는 부품과 규칙을 마주했을 때, 조립의 '의미'를 이해하기 위해서는 우리의 언어가 반드시 필요하다는 것을 보여줍니다.

말하는 로봇 제작자의 이야기

알록달록하고 블록 형태인 장난감 부품들이 놓인 테이블 앞에 "빌더-봇(Builder-Bot)"이라는 이름의 로봇이 앉아 있다고 상상해 보세요. 이 로봇의 임무는 소방차, 미사일 트럭, 덤프트럭과 같은 특정 유형의 장난감 트럭을 만드는 것입니다. 하지만 빌더-봇은 백지 상태와 같습니다. 아직 이 특정 트럭들에 대해 학습하지 못했습니다. 무엇이 "더퍼"인지 모르고, "소방차"에는 사다리가 필요하다는 것도 모르며, "소방차는 빨간색 펜더를 가져야 한다"라는 비밀 규칙도 전혀 모릅니다.

현실 세계에서 만약 당신이 로봇에게 트럭을 만드는 법을 가르친다면, 아마 당신이 하는 모습을 한두 번 영상으로 보여줄 것입니다. 로봇은 당신의 손을 관찰하고, 움직임을 암기하고, 그것을 복제하려고 노력할 것입니다. 이것을 **시연으로부터의 학습(learning from demonstrations)**이라고 합니다. 이는 물리적인 작업에는 매우 효과적입니다. "빨간 블록을 집어서, 여기로 옮기고, 저기에 끼워라"와 같은 작업 말이죠. 하지만 '규칙'에는 최악입니다. 만약 당신이 소방차를 만들 때 빨간색 펜더를 사용하는 모습을 보여준 뒤, 나중에 덤프트럭을 만들어 달라고 요청한다면, 로봇은 실수로 덤프트럭에 노란색 펜더를 달 수도 있습니다. 물리적으로는 노란색 펜더가 잘 맞겠지만, 의미론적으로는 틀린 것입니다. 왜냐하면 덤프트럭은 다른 규칙을 가지고 있기 때문입니다. 로봇은 당신을 관찰하는 것만으로는 규칙을 추측할 수 없습니다. 반드시 설명을 들어야 합니다.

여기서 논문의 "뉴로심볼릭" 접근 방식이 등장합니다. 로봇의 뇌를 두 개의 별도 방이 있는 것으로 생각해 보세요.

1. 시각 방 (신경망 - Neural): 로봇이 테이블을 바라보는 곳입니다. 로봇은 픽셀 덩어리를 보고 "저것은 캐빈처럼 보인다, 80% 확신한다"라고 말합니다. 이 방은 이전에 보았던 것들을 바탕으로 사물을 추측하는 데 능숙합니다.
2. 논리 방 (기호 - Symbolic): 로봇이 규칙 책을 보관하는 곳입니다. 이곳에는 "만약 소방차라면, 사다리가 있어야 한다"와 같은 문장이 담겨 있습니다. 이 방은 계획이 타당한지 확인하는 데 완벽하지만, 시각 방이 세상의 사물을 알려주지 않으면 외부 세계를 볼 수 없습니다.

연구진은 로봇이 완전히 새로운 것을 마주했을 때 이 두 방이 어떻게 서로 대화할 수 있는지 알고 싶어 했습니다. 그들은 로봇이 인간 교사와 대화하며 트럭을 조립하는 시뮬레이션을 설정했습니다. 교사는 몇 가지 방식으로 도움을 줄 수 있으며, 연구진은 어떤 방식이 로봇의 학습을 가장 빠르게 돕는지 확인하기 위해 네 가지 "교육 스타일"을 테스트했습니다.

네 가지 교육 스타일

연구진은 교사가 빌더-봇과 상호작용하는 네 가지 방식을 비교했습니다:

1. 침묵하는 관찰자 (NoLabels+CaseMemory): 교사는 "캐빈"이나 "더퍼"와 같은 특정 단어를 사용하지 않습니다. 그저 가리키며 "이것을 사용하고, 저것은 사용하지 마세요"라고 말합니다. 로봇은 각 부품의 이름이 무엇인지 추측해야 하며, 그 특정 순간에 대한 수정 사항을 기억해야 합니다. 이는 마치 선생님이 이름을 부르지 않고 가리키기만 하는 새로운 언어를 배우는 것과 같습니다.
2. 라벨러 (LabelsOnly): 교사는 로봇에게 이름을 알려줍니다. "이것은 캐빈이다. 이것은 더퍼다." 로봇은 어휘를 배우고 부품을 인식할 수 있게 되지만, 그 부품들을 어떻게 사용해야 하는지에 대한 규칙은 얻지 못합니다.
3. 교정자 (Labels+CaseMemory): 교사는 이름을 알려줌과 동시에 특정 실수를 기억합니다. "기억해, 덤프트럭의 경우에는 파란색 캐빈 대신 빨간색 캐빈을 사용해라." 로봇은 이름을 배우고 특정 상황에 대한 "하지 말아야 할 것"의 목록을 저장하지만, 그 이면에 있는 일반적인 규칙은 배우지 못합니다.
4. 규칙 전달자 (Labels+TeacherRules): 이것은 모든 기능이 포함된 패키지입니다. 교사는 이름을 알려줄 뿐만 아니라 일반적인 규칙을 설명합니다. "덤프트럭은 더퍼를 가져야 한다" 또는 "덤프트럭의 색상이 있는 부품은 노란색이어서는 안 된다"와 같은 식입니다. 로봇은 이러한 문장을 받아 자신의 논리 방에 엄격한 논리 규칙으로 변환합니다.

큰 발견: 규칙이 사례를 이긴다

연구진이 40개의 서로 다른 조립 과제에 대해 시뮬레이션을 30번 실행했을 때, 명확한 패턴이 나타났습니다.

라벨과 특정 수정 사항만 받은 로봇(스타일 3)은 라벨만 받은 로봇(스타일 2)만큼 잘 학습했습니다. 둘 다 침묵하는 관찰자보다는 나았지만, 여전히 많은 실수를 저질렀습니다. 왜일까요? 로봇이 새로운 부품이나 새로운 트럭 유형을 보았을 때, 과거의 특정 실수에 대한 기억에 의존해 추측해야 했기 때문입니다. 이는 마치 상자의 그림을 이해하는 대신, 조각을 잘못 끼웠던 모든 순간을 일일이 기억하며 퍼즐을 풀려는 것과 같았습니다.

그러나 일반적인 규칙을 받은 로봇(스타일 4)은 독보적이었습니다. 이 로봇은 실수를 현저히 적게 저질렀고 훨씬 빠르게 학습했습니다. 여기서 핵심적인 발견은 로봇이 단순히 부품을 더 잘 보는 것이 아니라, 더 잘 계획하게 되었다는 점입니다. 로봇이 "덤프트럭은 더퍼를 가진다"라는 말을 들었을 때, 단순히 그 트럭 하나를 암기한 것이 아닙니다. 내부의 규칙 책을 업데이트했습니다. 다음에 덤프트럭을 만들어야 할 때, 로봇의 논리 방은 즉시 체크합니다: "더퍼가 있는가? 없다? 그렇다면 아직 이 트럭을 만들 수 없다."

이 논문은 이러한 "의미론적 제약(semantic constraint)" 학습이 핵심 요소라고 제안합니다. 자연어로 세상의 규칙을 전달함으로써, 교사는 로봇에게 반복해서 사용할 수 있는 도구를 준 것입니다. 로봇은 매번 새로운 트럭이 나타날 때마다 교훈을 다시 배울 필요가 없었습니다. 로봇은 "소방차는 빨간색 펜더를 가져야 한다"라는 규칙을 가져와서, 이전에 본 적 없는 특정 빨간색 펜더라 할지라도 마주친 모든 소방차에 적용할 수 있었습니다.

이것이 중요한 이유 (그리고 그렇지 않은 이유)

이것이 내일 당장 차고에 가서 진짜 자동차를 만들 수 있는 로봇을 의미하는 것은 아니라는 점을 유념해야 합니다. 실험은 전적으로 장난감 트럭을 이용한 컴퓨터 시뮬레이션 내에서 이루어졌습니다. 로봇의 "눈"은 완벽했습니다(모든 조각의 위치를 정확히 알고 있었습니다). 또한 교사는 엄격한 스크립트를 따랐습니다. 연구진은 이것이 로봇을 더 적응력 있게 만들기 위한 하나의 단계이지, 문제가 완전히 해결된 것은 아님을 분명히 하고 있습니다.

하지만 그 함의는 흥격합니다. 미래에 당신이 가구나 복잡한 키트를 조립하는 것을 돕고 싶다면, 당신이 직접 하는 모습을 몇 시간 동안 촬영할 필요가 없을 것입니다. 그저 "이봐, 이 테이블의 다리는 가벼운 것 말고 무거운 것으로 해야 해"라고 말하기만 하면, 로봇은 즉시 그 규칙을 이해하고 당신이 요청한 다음 테이블에도 적용할 것입니다.

이 논문은 로봇이 보는 것과 움직이는 데는 뛰어나지고 있지만, 우리 언어의 논리를 듣는 법은 여전히 배우는 중이라는 것을 보여줍니다. 로봇의 시각적 능력과 규칙에 대한 추론 능력을 결합함으로써, 우리는 로봇이 예외적인 상황을 처리할 수 있도록 가르칠 수 있으며, 이를 통해 로봇을 경직된 모방자가 아닌 유연한 학습 파트너로 변화시킬 수 있습니다. 로봇은 단순히 트럭을 만드는 법을 배운 것이 아니라, 게임의 규칙을 배우는 법을 배운 것입니다.