Lost in Reconstruction: Aligning Action Representations with Language in Vision-Language-Action Models

로봇에게 요리를 가르치고 있다고 상상해 보세요. 당신은 로봇에게 가장 중요한 것이 "수프는 뜨거워야 하고 그릇 안에 담겨 있어야 한다"와 같이 최종 요리가 어떤 모습이어야 하는지를 알려주는 것이라고 생각할 수도 있습니다. 하지만 만약 로봇이 오직 최종적인 결과물(사진)에만 신경을 쓴다면 어떻게 될까요? 로봇은 수프를 공중으로 던지거나, 사방에 튀기거나, 혹은 냄비를 떨어뜨리는 방식으로 그릇에 수프를 넣으려 할지도 모릅니다. 제대로 요리하기 위해서 로봇은 단순히 목적지만이 아니라, 움직임 그 자체의 '춤'을 이해해야 합니다. 즉, 부드럽게 젓는 동작, 조심스럽게 따르는 동작, 손으로 손잡이를 잡는 특정한 방식 같은 것들 말이죠. 이것이 바로 시각-언어-행동(Vision-Language-Action, VLA) 모델의 세계입니다. 이 모델들은 로봇이 무엇을 보는지(시각), 무엇을 하라는 명령을 받는지(언어), 그리고 몸을 어떻게 움직이는지(행동)를 결합한 매우 똑똑한 AI 두뇌입니다. 오랫동안 과학자들은 로봇에게 '무엇(what)'과 '어디(where)'를 가르치는 데는 뛰어난 성과를 보였지만, '어떻게(how)'를 가르치는 데는 어려움을 겪어왔습니다. 그들은 로봇의 복잡하고 연속적인 움직임을 단순한 명령어 목록으로 변환하려고 시도해 왔지만, 그 과정에서 레시피의 가장 중요한 부분인 움직임의 스타일과 뉘앙스를 실수로 삭제했을지도 모릅니다.

"Lost in Reconstruction"이라는 제목의 이 논문은 우리가 로봇의 두뇌에 움직임을 가르치는 방식에 관한 특정 문제를 다룹니다. 연구진은 로봇의 매끄럽고 흐르는 듯한 움직임을 디지털 '토큰'(마치 노래를 음표 목록으로 바꾸는 것과 같은)으로 변환할 때, 표준적인 방식이 로봇에게 어떤 동사(verb)가 수행되고 있는지를 알려주는 단서들을 버린다는 사실을 발견했습니다. 그들은 "뒤집다(flip)", "밀다(push)", "접다(fold)"와 같은 단어들이 단순히 어디에 도달하느냐가 아니라, 로봇이 움직이는 '방식' 속에 숨겨진 정보를 담고 있다는 것을 발견했습니다. 이들은 로봇의 움직임을 디지털 코드로 번역하는 방식을 개선함으로써 SALT(Semantically ALigned action Tokenizer)라고 불리는 새로운 시스템을 만들었습니다. 테스트 결과, SALT를 사용하는 로봇은 기존 방식(43% 미만)보다 훨씬 높은 약 72%의 성공률로 명령을 수행했습니다. 이 논문은 로봇이 인간의 언어를 진정으로 이해하게 하려면, 단순히 경로를 얼마나 정확하게 다시 그려내느냐에 집중하는 것이 아니라, 그들의 '움직임 어휘'가 동사의 의미를 유지할 수 있도록 해야 한다고 제안합니다.

문제점: "어떻게"가 "무엇" 속에서 길을 잃을 때

로봇의 움직임을 흐르는 강물이라고 생각해 보세요. VLA 모델을 사용하여 로봇을 가르칠 때, 과학자들은 종종 이 흐르는 강물을 일련의 디딤돌로 바꿔야 합니다. 그들은 움직임을 아주 작은 조각으로 나누고 각 조각에 디지털 라벨, 즉 '토큰'을 부여합니다. 이는 부드러운 재즈 멜로디를 컴퓨터가 읽을 수 있도록 숫자 목록으로 바꾸는 것과 같습니다.

문제는 표준적인 방식이 **재구성(reconstruction)**에 집착한다는 점입니다. 이 방식은 "이 숫자들을 다시 원래의 똑같은 강물로 되돌릴 수 있는가?"라고 묻습니다. 만약 숫자들이 원래의 움직임과 충분히 비슷하다면, 시스템은 "잘했어!"라고 말합니다. 하지만 연구진은 '충분히 비슷한 것'이 '의미 있는 것'과 같지는 않다는 사실을 깨달았습니다.

당신이 무용을 설명한다고 가정해 봅시다. 당신은 "무용수가 지점 A에서 지점 B로 이동했다"라고 말할 수 있습니다. 그것은 '목표'입니다. 하지만 그 사람이 "미끄러지듯 움직였는지", "발을 구르며 움직였는지", 아니면 "빙글빙글 돌았는지"와 같은 '동사'는 움직임의 세부 사항 속에 숨겨져 있습니다. 논문은 현재의 로봇 시스템이 오직 목적지에만 관심을 갖는 번역가와 같다고 주장합니다. 두 움직임이 결국 같은 지점에 도착한다면, 시스템은 "뒤집기"와 "밀기"를 동일한 디딤돌 세트로 변환해 버릴 수 있습니다. 비록 두 움직임이 완전히 다름에도 불구하고 말입니다. 이로 인해 시스템은 '동사-접지(verb-grounding)' 정보, 즉 로봇에게 어떻게 행동해야 하는지를 알려주는 단서들을 잃게 됩니다.

발견: 동사는 움직임 속에 살아있다

이를 증명하기 위해 연구진은 인간이 제어하는 실제 로봇의 방대한 데이터셋을 조사했습니다. 여기에는 모든 움직임이 "숟가락을 수건 위에 놓아라" 또는 "팬케이크를 뒤집어라"와 같은 구두 명령과 쌍을 이루고 있었습니다. 그들은 명령을 동사 단위로 나누고 로봇의 움직임을 분석했습니다.

그들은 두 가지 뚜렷한 정보원을 발견했습니다:

1. 목표(Goal): 시작과 끝 사이의 시각적 변화 (예: 숟가락이 이제 수건 위에 있음).
2. 움직임 역학(Motion Dynamics): 로봇이 그곳에 도달하기 위해 실제로 취한 경로 (예: 그리퍼의 속도, 곡선, 타이밍).

논문은 이 두 가지 정보원이 상호 보완적임을 보여줍니다. "접다(fold)"와 같은 일부 동사의 경우, 최종 형태가 가장 중요한 단서가 됩니다. 하지만 "뒤집다(flip)"나 "돌리다(turn)"와 같은 다른 동사들의 경우, 로봇이 움직이는 방식만이 그 동사가 무엇인지 알려주는 유일한 단서가 됩니다. 시작점과 끝점만 보고는 "뒤집기"와 "밀기"를 구분할 수 없습니다. 반드시 움직임을 관찰해야 합니다. 연구진은 이를 측정하여, 움직임의 역학이 시각적 목표만으로는 포착할 수 없는 고유한 정보를 제공한다는 것을 발견했습니다. 실제로 특정 동사들의 경우, 움직임이 약 0.059 비트의 고유한 정보를 담고 있었으며, 이는 명령을 이해하는 데 있어 엄청난 차이를 만들기에 충분했습니다.

실수: 압축은 의미를 지운다

연구진은 움직임을 디지털 토큰으로 변환하는 다양한 방법들이 이 '동사' 정보를 얼마나 잘 보존하는지 테스트했습니다. 그들은 세 가지 일반적인 방법을 살펴보았습니다:

• Bin: 움직임을 고정된 크기의 바구니로 단순히 나누는 방식.
• FAST: 움직임을 주파수 패턴으로 압축하는 방식.
• VQ-VAE: 최대한 정확하게 움직임을 재구축하려고 노력하며 '디딤돌' 세트를 학습하는 방식.

그들은 이러한 시스템들이 데이터를 더 작게 만들기 위해(더 적은 토큰을 사용하기 위해) 압축할수록, 동사 정보를 체계적으로 삭제한다는 것을 발견했습니다. 이는 마치 스펀지를 짜는 것과 같습니다. 스펀지를 짤 때 물(데이터)을 짜내면, 그 모양(의미)도 함께 짜내게 되는 것입니다. 오직 경로를 정확하게 재구축하는 데만 집중하는 '재구성 전용' 방식들은 언어적 단서를 유지하는 데 실패했습니다. 압축이 강해질수록 원래의 움직임과 토큰화된 버전 사이의 격차는 더 커졌습니다. 논문은 이것이 병목 현상이라고 주장합니다. 즉, 로봇의 내부적인 움직임 언어가 인간의 움직임 언어와 일치하지 않는다면, 로봇은 명령을 따르는 데 어려움을 겪을 것이라는 점입니다.

해결책: SALT

이를 해결하기 위해 저자들은 SALT(Semantically ALigned action Tokenizer)를 도입했습니다. 단순히 로봇에게 움직임을 재구건하도록 가르치는 대신, 새로운 규칙을 추가했습니다: "너는 또한 그 움직임을 보고 원래의 명령이 무엇인지 맞출 수 있어야 한다."

이것이 어떻게 작동하는지 간단한 비유로 설명해 보겠습니다. 당신이 학생에게 그림을 그리도록 가르치고 있다고 상상해 보세요.

• 기존 방식: 당신은 학생에게 "이 그림을 원래 것과 똑같이 그려라"라고 말합니다. 학생은 선을 정확하게 긋는 데 집중합니다.
• SALT 방식: 당신은 학생에게 "이 그림을 원래 것과 비슷하게 그리되, 만약 네가 그린 그림을 친구에게 보여준다면, 그 친구가 이 그림이 무엇을 그린 것인지 맞출 수 있어야 한다"라고 말합니다.

기술적으로 말하면, SALT는 움직임의 디지털 '디딤돌'을 가져와서 고정된(frozen) 사전 학습된 언어 모델에 입력합니다. 모델은 오직 그 디딤돌만을 바탕으로 원래의 명령(예: "컵을 뒤집어라")을 추측해야 합니다. 만약 디딤돌이 명령을 추측하기에 충분한 정보를 담고 있지 않다면, 시스템은 벌칙을 받습니다. 이는 로봇이 움직임을 정확하게 재구축하는 법을 배우면서도, 동시에 '동사' 정보를 안전하게 보존하는 방식으로 움직임 토큰을 조직하도록 강제합니다.

결과: 더 나은 로봇, 더 명확한 의미

연구진은 로봇이 숟가락을 수건 위에 놓거나 블록을 쌓는 것과 같은 네 가지 서로 다른 과제를 수행하는 SimplerEnv 시뮬레이션에서 이 새로운 시스템을 테스트했습니다. 그들은 세 가지 버전의 로봇을 비교했습니다:

1. 표준 FAST 토크나이저를 사용하는 로봇.
2. 표준 VQ-VAE(재구성 전용) 토크나이저를 사용하는 로봇.
3. 새로운 SALT 토크나이저를 사용하는 로봇.

결과는 명확했습니다. SALT를 사용한 로봇은 **71.9%**의 성공률을 보였습니다. 표준 VQ-VAE 로봇은 **42.7%**의 성공률을 보였고, FAST 로봇은 겨우 **31.2%**에 그쳤습니다.

하지만 이는 단순히 게임에서 더 많이 이기는 것에 관한 문제가 아니었습니다. 연구진은 로봇의 '두뇌' 내부를 들여다보며 로봇이 움직임 어휘를 어떻게 조직하는지 살펴보았습니다. 그 결과, SALT는 **동사 특화 코드(verb-specialized codes)**를 개발했다는 것을 발견했습니다. 예를 들어, 특정 디지털 토큰들이 "뒤집기"나 "돌리기" 동작에 매우 특화되었습니다. 반면, 기존 방식들은 이러한 움직임들을 일반적이고 뒤섞인 토큰들로 흩뿌려 놓았습니다. SALT는 심지어 "레버를 돌려라"와 "레버를 앞쪽으로 수직으로 움직여라"와 같이 같은 동작을 다르게 표현하는 방식들을 동일한 움직임 코드로 그룹화하는 법을 배웠는데, 이는 로봇이 표면적인 단어가 아닌 '의미'를 이해했음을 보여줍니다.

이것이 의미하는 바

이 논문은 로봇이 인간의 언어를 진정으로 이해하고 따르게 하려면, 단순히 움직임을 올바르게 보이게 만드는 데만 집중해서는 안 된다는 점을 시사합니다. 우리는 로봇의 내부적인 움직임 표현이 인간이 만드는 언어적 구분을 보존하도록 만들어야 합니다. 로봇의 행동 토큰을 그것을 설명하는 언어와 정렬함으로써, 우리는 더 정확할 뿐만 아니라 더 직관적인 로봇을 만들 수 있습니다. 저자들은 이러한 결과가 유망하지만, 이는 특정 데이터셋을 사용한 시뮬레이션 환경에서의 테스트였으므로, 향off의 연구를 통해 이러한 이점이 복잡하고 예측 불가능한 실제 세계에서도 유지되는지 확인해야 한다고 언급했습니다. 그러나 '어떻게'라는 행동의 방식을 보존하는 것이 '무엇'을 하는 것만큼 중요하다는 핵심 아이디어는, 우리를 진정으로 이해하는 로봇을 만들기 위한 새로운 길을 제시합니다.