Sandwich-Residuals: Parameter-Efficient Test-time Adaptation of World Models

스스로 움직임을 계획할 수 있는 로봇은 종일 세상이 어떻게 돌아가는지에 대한 내부 지도를 활용하는 경우가 많습니다. 로봇 팔이 테이블 위에서 블록을 밀려고 하는 상황을 상상해 보십시오. 단순히 눈에 보이는 것에 즉각적으로 반응하는 대신, 똑똑한 로봇은 자신이 특정 방식으로 움직였을 때 어떤 일이 일어날지 예측하는 정신적 모델을 구축합니다. 이 로봇은 "내가 여기를 밀면, 블록은 저기로 미끄러질 것이다"라고 말하는 법을 배웁니다. 흔히 '월드 모델(world model)'이라 불리는 이 정신적 모델을 통해 로봇은 실제로 움직이기 전에 마음속으로 미래의 행동을 시뮬레이션할 수 있으며, 이를 통해 실수를 피하고 효율적으로 목표에 도달할 수 있습니다. 이러한 모델은 보통 조명이 완벽하고 물리 법칙이 일관된 컴퓨터 시뮬레이션과 같은 통제된 환경에서 훈련됩니다. 하지만 현실 세계는 무질서합니다. 시뮬레이션에서 훈련된 로봇이 조명이 다른 새로운 방에 놓이거나 테이블 표면이 미끄러워지면, 로봇의 내부 지도는 틀려질 수 있습니다. 로봇이 내리는 예측은 더 이상 현실과 일치하지 않게 되며, 로봇은 과업을 완수하는 데 실패합니다. 수년 동안 이 문제에 대한 표준적인 해결책은 로봇이 작동하는 동안 로봇의 뇌 일부를 재학습시켜, 새로운 조건에 맞게 수백만 개의 내부 설정을 조정하는 것이었습니다. 이 과정은 무겁고 느리며, 로봇이 사물의 움직임에 대한 자신의 이해를 끊임없이 다시 써야 한다는 것을 의미합니다.

한 연구팀은 이 문제를 해결할 훨씬 가벼운 방법을 발견했습니다. 로봇에게 내부 지도를 통째로 다시 쓰라고 요구하는 대신, 로봇이 입력을 읽고 출력을 쓰는 가장자리 부분을 조정하는 것만으로도 충분하다는 것을 발견한 것입니다. 새로운 연구에서 연구진은 "샌드위치 잔차(Sandwich-Residuals)"라고 부르는 방법을 도입했습니다. 그들은 이미 시뮬레이션에서 움직이는 법을 배운 로봇을 가져와, 그 수백만 개의 학습된 설정 중 어느 것도 변하지 않도록 내부의 뇌를 완전히 고정(freeze)했습니다. 그런 다음, 로봇의 뇌로 들어오는 정보를 미세하게 조정하는 층과, 나오는 예측을 미세하게 조정하는 층이라는 두 개의 매우 작고 유연한 소프트웨어 층을 추가했습니다. 이 작은 층들은 마치 샌드위치의 속재료처럼 고정된 핵심부를 감싸게 됩니다. 로봇이 움직이려고 시도하며 실수를 할 때, 이 작은 층들이 고정된 거대한 뇌를 건드리지 않고도 실시간으로 오류를 수정하는 법을 배웁니다. 로봇은 "내 뇌는 블록이 여기로 갈 것이라고 생각하지만, 나의 새로운 보정 층은 바닥이 미끄럽다는 것을 알고 있으므로, 대신 저기로 가도록 계획을 조정하겠다"라고 말하는 법을 배우게 됩니다.

연구진은 미로 찾기나 다양한 모양의 물체 밀기 등 다양한 도전적인 과제에서 이 아이디어를 테스트했습니다. 그들은 이 방법(새로운 방식)을 로봇의 내부 뇌를 업데이트하는 표준 방식, 그리고 아무런 조정도 하지 않은 로봇과 비교했습니다. 21가지의 서로 다른 테스트 시나리오에서, '샌드위치' 방식을 사용한 로봇은 65%의 확률로 목표에 도달하는 데 성공했습니다. 이는 조정이 없는 로봇이 약 49%의 성공률을 보인 것에 비해 유의미한 개선입니다. 더 중요한 점은, 새로운 방식이 로봇의 뇌를 다시 쓰는 표준 방식(약 68% 성공)과 거의 대등한 성능을 보였다는 것입니다. 결정적인 차이는 효율성에 있습니다. 표준 방식은 새로운 조건에 적응하기 위해 거의 천만 개의 설정을 업데이트해야 했습니다. 반면, 새로운 방식은 약 십만 개의 설정만을 조정하면 되었습니다. 이는 새로운 방식이 기존 방식에 필요한 계산량의 3% 미만을 사용하면서도 거의 동일한 수준의 성공을 거두었다는 것을 의미합니다.

또한 연구진은 로봇이 조명 변화와 물체의 무게감 변화가 동시에 발생하는 것과 같이 여러 문제를 한꺼번에 직면했을 때 어떤 일이 일어나는지 살펴보았습니다. 이러한 어려운 "복합적" 상황에서 새로운 방식은 더욱 인상적이었습니다. 이 방식은 조정을 하지 않은 로봇보다 1.9배 더 자주 성공하면서도, 무거운 뇌 업데이트 방식만큼 효과적이었습니다. 연구진은 필요한 보정의 유형이 구체적인 문제에 따라 다르다는 것을 발견했습니다. 로봇이 미로를 탐색하고 움직임의 물리 법칙이 변했을 때는 예측이 이루어진 후의 예측을 수정하는 층이 대부분의 역할을 수행했습니다. 반면, 로봇이 물체를 밀고 컨트롤러의 민감도가 높아졌을 때는 로봇의 입력 명령을 조정하는 층이 더 중요했습니다. 두 층을 모두 유지함으로써, 시스템은 어떤 종류의 문제가 발생할지 미리 알 필요 없이 다양한 예기치 못한 변화에 대처할 수 있었습니다.

이 아이디어가 단순한 미로 게임을 넘어 작동함을 증명하기 위해, 연구진은 3차원 공간에서 큐브를 움직이는 실제 스타일의 로봇 팔을 포함한 더 복잡한 과제에도 이를 적용했습니다. 이 과제에는 이전 설계와 달리 시각적 패턴에 의존하는 다른 유형의 로봇 뇌를 사용했습니다. 이러한 다른 구조를 가진 뇌를 사용했음에도 불구하고, 동일한 "샌드위치" 원칙이 작동했습니다. 로봇은 조명, 카메라 각도, 그리고 자체 모터의 강도 변화에 적응할 수 있었습니다. 조건이 변한 모든 테스트 케이스에서, 새로운 방식은 아무것도 하지 않았을 때보다 로봇의 성능을 향상시켰으며, 반면 다른 방식들은 때때로 로봇의 성능을 오히려 떨어뜨리기도 했습니다. 이는 로봇이 세상을 이해하는 방식을 근본적으로 바꾸지 않고도 적응할 수 있다는 점을 시사합니다. 때로는 현재 상황을 올바르게 해석하도록 돕는 작고 유연한 필터를 추가하는 것만으로도 충분합니다.

이러한 발견은 우리가 미래의 로봇을 어떻게 구축해야 하는지에 대한 관점의 변화를 시사합니다. 오랫동안 로봇의 환경이 변하면 로봇의 물리적 내부 모델도 그에 맞춰 다시 작성되어야 한다는 가정이 지배적이었습니다. 본 논문은 그러한 가정이 항상 필요한 것은 아님을 보여줍니다. 만약 로봇의 핵심적인 세상 이해도가 여전히 대부분 정확하다면, 단순히 입출력을 조정하여 새로운 현실에 맞출 수 있습니다. 이 접근 방식은 더 빠르고 저렴할 뿐만 아니라, 새로운 것을 배우는 과정에서 이미 알고 있는 것을 잊어버릴 위험을 피할 수 있기 때문에 더 안정적입니다. 실험은 컴퓨터 시뮬레이션에서 수행되었지만, 결과는 로봇이 새로운 환경에 진입하여 거대한 지능의 개편 없이도, 작고 효율적인 조정을 통해 현실 세계의 돌발 상황을 처리하며 즉시 업무를 시작할 수 있는 미래를 가리키고 있습니다.