로봇 팔이 전자레인지를 열려고 시도를 한다고 상상해 보세요. 로봇은 실제로 당겨보기 전까지는 문이 잠겨 있는지 아니면 열려 있는지 알 수 없습니다. 만약 걸쇠가 걸려 있다면, 로봇은 먼저 손잡이를 만지작거린 다음 당겨야 합니다. 만약 걸쇠가 이미 풀려 있는 상태라면, 그 손잡이를 돌리는 동작은 그저 낭비된 노력이 됩니다. 이것이 '숨겨진 상태(hidden states)'—잠긴 문, 열리지 않은 캐비닛, 혹은 이미 열려 있는 뚜껑 같은 것들—로 가득 찬 세상에서 로봇이 겪는 일상의 고충입니다. 로봇은 상황을 파악하기 위해 쿡쿡 찌르고 두드려봐야 하며, 이는 느리고 서투릅니다. 로봇 공학 분야의 과학자들은 기계가 추측하는 것을 멈추고 기억하는 법을 배우도록 가르치려 노력하고 있습니다. 중요한 질문은 이것입니다. 만약 로로봇이 퍼즐을 한 번 풀었다면, 매번 처음부터 다시 풀지 않도록 그 해결책을 기억할 수 있을까요?

이 논문은 **인스턴스 지향 메모리(Instance-Oriented Memory, IOM)**라는 영리한 새로운 기술을 소개합니다. 이것을 로봇의 특정 물체에 대한 "포스트잇" 시스템이라고 생각하면 됩니다. 보통 로봇은 "문을 여는 법"과 같은 일반적인 규칙을 기억합니다. 하지만 이 새로운 시스템은 이 특정한 문과 그것이 정확히 어떻게 작동하는지를 기억합니다. 연구진은 로봇이 단 한 번 숨겨진 상태를 파악한 후 짧고 효율적인 "치트 시트(요약본)"를 기록함으로써, 향후 시도에서 불필요한 움직임을 **16%에서 30%**까지 줄일 수 있다는 것을 발견했습니다. 더 멋진 점은, 이 기술을 배우기 위해 특별한 훈련이 필요 없는 기존 AI 도구(시각-언어 모델, VLM)를 사용하여 테스트했다는 것입니다. 로봇은 한 번 학습하여 노트를 작성했고, 그 후에는 실패 없이 모든 번거로운 과정을 건너뛰며 작업을 수행했습니다.

"한 번 시도하고, 그다음엔 최적으로" 이야기

당신이 전자레인지를 열려는 로봇 셰프라고 상상해 보세요. 처음 다가갔을 때, 당신은 걸쇠가 걸려 있는지 풀려 있는지 모릅니다. 그래서 당신은 안전하게 행동합니다. 손을 뻗어 손잡이를 돌려보고, 그다음에 문을 당깁니다. 만약 걸쇠가 이미 풀려 있었다면, 그 돌리는 동작은 완전히 시간 낭비였습니다. 만약 걸려 있었다면, 당신은 그 동작을 해야만 했습니다. 어느 쪽이든 당신은 무언가를 배웠습니다. "이 특정 전자레인지는 먼저 돌려야 한다"는 사실 말이죠.

이제, 당신이 1년 동안 매일 아침 똑같은 전자레인지를 열어야 한다고 상상해 보세요. "멍청한" 로봇은 혹시 모를 상황에 대비해 매일 그 '돌리고 당기기' 루틴을 반복할 것입니다. 마치 주머니에 열쇠가 있는지 매일 아침 확인하는 것과 같습니다. 안전하긴 하지만, 비효율적입니다.

이 논문의 저자인 Haizhou Ge와 그의 팀은 질문했습니다. "왜 로봇은 계속해서 재탐색(re-exploring)을 하는가?" 그들은 기존의 로봇 메모리가 "성공적인 이야기"들의 도서관과 같다는 것을 깨달았습니다. 그것들은 로봇이 어떻게 성공할지는 기억하게 해주지만, 불필요한 단계를 건너뛰기 위해 지금 마주하고 있는 물체가 무엇인지를 기억하게 도와주지는 못합니다.

그들의 해결책은 **인스턴스 지향 메모리(IOM)**입니다. 이는 로봇을 잘 잊어버리는 탐험가에서 똑똑한 기억가로 바꿔주는 3단계 과정입니다.

1단계: "한 번 시도하기" (탐색)

로봇이 숨겨진 걸쇠가 있는 전자레인지 같은 새로운 물체를 만납니다. 상태를 모르기 때문에 로봇은 탐색을 해야 합니다. 일련의 움직임을 시도합니다. 실패할 수도 있고 성공할 수도 있지만, 결정적으로 이 과정은 비밀을 밝혀냅니다. 로봇은 "아, 이 전자레인지는 걸려 있구나, 먼저 돌려야 해"라는 것을 알아냅니다.

2단계: "불필요한 것을 제거한" 치트 시트 (증류)

여기서 마법이 일어납니다. 로봇은 길고 복잡한 움직임의 순서(돌리기, 당기기, 어쩌면 재시도 등)를 가져와서 군더더기를 제거합니다. 로봇은 "아, 이제 이 전자레인지는 걸려 있다는 걸 알았어. 걸려 있는지 확인할 필요 없이 그냥 돌리고 당기기만 하면 돼"라고 깨닫습니다. 그리고 "돌리고, 그다음 당기기"라는 아주 작고 완벽한 지침을 작성합니다. 로봇은 이 노트를 특별한 메모리 북에 저장하며, 이 특정 전자레인지의 사진과 함께 라벨을 붙입니다.

3단계: "회상하기" (분할 상환)

다음 날, 로봇은 똑같은 전자레인지를 봅니다. 걸쇠가 걸려 있는지 확인하기 위해 이리저리 찔러보는 대신, 로봇은 자신의 메모리 북을 확인합니다. 전자레인지를 인식하고, "돌리고, 그다음 당기기"라는 노트를 불러와 곧바로 작업을 시작합니다. 로봇은 "확인" 단계를 통째로 건너뜁니다.

논문에서는 이를 "탐색의 분할 상환(amortizing exploration)"이라고 부릅니다. 이는 영화 티켓을 한 번 사고 나면, 매일 영화를 볼 때마다 새 티켓을 살 필요 없이 계속 관람하는 것과 같습니다. "알아내는 데 드는 비용"은 한 번 지불하고, 절감된 혜택은 그 이후 매번 누리는 것입니다.

어떻게 테스트했나 (실험실 vs 실제 세상)

팀은 단순히 말로만 설명하지 않고, 네 가지 시나리오에서 직접 구축하고 테스트했습니다:

1. 전자레인지 (컴퓨터 시뮬레이션)
2. 문 (컴퓨터 시뮬레이션)
3. 병 (실제 로봇 팔)
4. 캐비닛 (실제 로봇 팔)

모든 작업에서 로봇은 숨겨진 상태를 다뤄야 했습니다: 문이 잠겼는가? 병 뚜껑이 이미 열려 있는가? 캐비닛 걸쇠가 걸려 있는가?

그들은 세 종류의 로봇을 비교했습니다:

• "랜덤" 로봇: 메모리가 없습니다. 매번 처음부터 다시 시도하며, 종종 불필요한 단계를 수행합니다.
• "오라클(Oracle)" 로봇: 정답을 완벽하게 알고 있는 마법의 치트 시트를 가진 로봇입니다. 이는 가능한 최고의 성능을 나타냅니다.
• "VLM" 로봇: 이 프로젝트의 주인공입니다. 기성 AI(시각-언어 모델)를 사용하여 첫 번째 시도의 영상을 보고, 요령을 파악하여 노트를 작성합니다. 이 작업을 위해 별도의 훈련을 받지 않았으며, 단지 일반적인 지능을 사용했을 뿐입니다.

결과: 덜 흔들리고, 더 많이 성공하다

수치는 매우 인상적입니다. 로봇들이 물체를 반복해서 열어야 할 때:

• 오라클 로봇(완벽한 로봇)은 모든 것을 다시 탐색하는 로봇에 비해 움직임의 수를 16%에서 30% 줄였습니다.
• VLM 로봇(표준 AI를 사용하는 로봇)은 그 절감 효과의 **69%에서 88%**를 잡아냈습니다. 즉, 이미 만들어진 AI 도구를 사용함으로써, 새로운 것을 배울 필요 없이 완벽한 메모리의 이점을 거의 다 누릴 수 있었습니다.

실제 로봇 팔에서의 결과는 시뮬레이션보다 더 좋았습니다. 메모리 시스템을 사용한 로봇은 단순히 시간을 아끼는 것을 넘어, 메모리를 사용하지 않는 로봇보다 물체를 여는 데 훨씬 더 성공적이었습니다.

만약 메모리가 틀리면 어떻게 될까?

메모리 시스템의 큰 걱정거리는 "로봇이 잘못된 것을 기억하면 어떡하지?"입니다. 만약 로봇이 전자레인지가 걸려 있다고 생각했는데 실제로는 열려 있다면 어떨까요? 로봇이 잘못된 노트를 맹목적으로 따른다면 문을 망가뜨릴 수도 있습니다.

연구진은 IOM을 "소프트 바이어스(soft bias)"로 설계했습니다. 이것은 메모리가 명령이 아니라 하나의 '제안'이라는 뜻입니다. 로봇은 여전히 센서의 신호에 귀를 기울입니다. 만약 노트에는 "돌리기"라고 되어 있지만 문이 쉽게 열린다면, 로봇의 피드백 루프가 작동하여 돌리는 동작을 멈춥니다.

그들은 약 **12%**의 문 사례에 대해 잘못된 노트를 제공하여 테스트했습니다. 결과는 어땠을까요? 로봇은 실패하지 않았습니다. 단지 스스로를 수정하기 위해 몇 번의 추가 동작을 했을 뿐입니다. 성공률은 동일하게 유지되었으며, 이는 시스템이 안전하다는 것을 증명했습니다. 이는 마치 GPS가 경로를 제안하지만, 도로 차단벽을 발견하면 그냥 방향을 틀어 계속 운전하는 것과 같습니다.

이것이 왜 중요한가

이 논문은 우리가 로봇에게 단순히 업무를 잘 수행하는 법을 가르칠 것이 아니라, 특정 물체를 잘 기억하는 법을 가르쳐야 한다고 주장합니다. 현재의 로봇 메모리는 "성공했는가?"에 집중하지만, 이 새로운 시스템은 "이 물체는 무엇이며, 그것을 어떻게 다루는가?"에 집중합니다.

모든 물체를 고유한 역사를 가진 개별적인 존재로 취급함으로써, 로봇은 이미 알고 있는 것에 대해 "탐색"하며 에너지를 낭비하는 것을 멈춥니다. 저자들은 이 접근 방식이 컴퓨터 시뮬레이션과 실제 물리적 로봇 모두에서 작동한다는 것을 발견했습니다. 심지어 뚜껑이 덮여 있는지 열려 있는지 육안으로 구분이 어려운 병과 같이 까다로운 물체의 경우, 로봇은 시각적 추측을 건너뛰고 첫 번째 상호작용에서 얻은 기억을 활용할 수 있다는 점도 언급했습니다.

요약하자면, 이 논문은 로봇이 단순한 물체별 일기를 작성함으로써 효율적으로 학습할 수 있음을 보여줍니다. 한 번 시도하고, 요령을 적어두고, 그다음부터는 막힘없이 진행합니다. 그리고 가장 멋진 점은, 매번 새로운 뇌를 만들 필요 없이 우리가 이미 가지고 있는 도구들을 사용하여 이 일을 해낼 수 있다는 것입니다.