An Empirical Study on Stage-Information Interfaces for VLA Fine-Tuning

당신이 로봇에게 복잡한 식사, 예를 들어 3코스 저녁 식사를 요리하는 법을 가르치고 있다고 상상해 보세요. 당신은 그저 "저녁을 만들어"라고 말하고 로봇이 채소 썰기, 물 끓이기, 스테이크 굽기, 음식을 접시에 담기 같은 순서를 스스로 알아내기를 바랄 수도 있습니다. 이것이 오늘날 많은 VLA(Vision-Language-Action, 시각-언어-행동) 모델이라 불리는 현대 로봇들이 학습하는 방식입니다. 이들은 카메라를 통해 세상을 보고, 당신의 말을 이해하며, 작업을 수행하기 위해 팔을 움직일 수 있는 매우 똑똑한 학생과 같습니다. 하지만 여기서 까다로운 점이 있습니다. 작업이 길고 단계가 많아지면 로봇은 혼란에 빠질 수 있습니다. 이는 마치 한 호흡에 소설 한 권 전체를 쓰려는 것과 같습니다. 때로는 이야기를 '장(chapter)'으로 나누는 것이 더 쉽습니다.

과학자들은 이런 의문을 가졌습니다. 만약 우리가 로봇에게 현재 어떤 "장"에 있는지 정확히 알려준다면 어떨까? 단순히 "저녁을 만들어"라고 말하는 대신, "너는 지금 채소를 썰고 있어" 또는 "너는 이제 물을 끓이고 있어"라고 말해주는 것입니다. 로봇이 자신이 어떤 단계에 있는지 정확히 알게 된다면 길을 잃지 않고 더 빠르게 배울 수 있다는 아이디어입니다. 이 논문은 바로 그 질문을 깊이 파고듭니다. 로봇에게 현재 단계를 지속적으로 상기시켜 주는 것이 실제로 학습을 더 잘하게 만드는지, 그리고 만약 그렇다면 어떻게 알려주어야 하는지를 묻습니다. 단계 이름을 귀에 속삭여 주어야 할까요(텍스트 메시지처럼)? 아니면 뇌 속에 비밀 숫자 코드를 넣어주어야 할까요?

---

위대한 로봇 단계 카운터 실험

이 연구에서 연구진은 "단계 정보"를 제공하는 방식이 로봇의 학습 능력에 어떤 영향을 미치는지 알아보기 위해 경주를 설정했습니다. 그들은 GR00T N1.6이라는 로봇 브레인을 사용했고, 모카 포트를 가스레인지 위에 올리는 것과 같은 10가지 다른 조작 작업이 포함된 LIBERO-10 테스트 키친을 사용했습니다.

먼저, 그들은 모든 긴 작업을 작은 "단계(stages)"로 나누었습니다. 예를 들어, "포트를 가스레인지 위에 놓으시오"라는 작업은 1) 버튼 누르기, 2) 포트 놓기, 3) 팔 회수하기의 세 단계로 나뉘었습니다. 그런 다음 연구진은 어떤 방법이 가장 효과적인지 보기 위해 세 가지 방식으로 로봇을 훈련시켰습니다:

1. 원래 방식 (단계 정보 없음): 로봇은 "포트를 가스레인지 위에 놓으시오"라는 전체 지시만 듣고 나머지는 스스로 알아서 해결해야 합니다.
2. 텍스트 속삭임 (TASKCTX): 로봇은 전체 지시와 함께 "너는 지금 버튼을 누르고 있어"와 같이 현재 어떤 단계에 있는지 알려주는 텍스트 업데이트를 듣습니다.
3. 비밀 숫자 코드 (ORDINAL STAGE-STATE): 로봇은 전체 지시를 듣지만, 추가적인 단어를 사용하지 않고 자신이 어느 단계에 있는지 알려주는 아주 작은 정규화된 숫자(-1에서 1 사이의 코드)를 상태 데이터 내부에서 전달받습니다.

연구진은 이 방법들이 어떻게 버티는지 확인하기 위해 두 가지 서로 다른 훈련 시나리오를 실행했습니다.

시나리오 1: 처음부터 배우기

첫 번째 시나리오에서는 이 새로운 방법들을 사용하여 로봇을 처음부터 가르쳤습니다. 결과는 다소 놀라웠습니다. 연구진은 단계 정보를 아는 것이 마치 하이킹을 할 때 지도를 가진 것처럼 학습을 쉽게 만들 것이라고 기대했습니다. 그러나 데이터에 따르면, 텍스트 속삭임이나 비밀 숫자 코드 모두 로봇을 원래 방식보다 더 잘하게 만들지 못했습니다.

사실, 원래의 "단계 정보 없음" 방식으로 훈련된 로봇이 이번 라운드에서 승리하여 평균 성공률 **57.45%**를 달성했습니다. 텍스트 업데이트를 받은 로봇은 **50.24%**에 그쳤고, 비밀 숫자 코드를 받은 로로봇은 **54.36%**를 기록했습니다. 이는 단순히 단계 정보를 추가하는 것이 로봇을 자동으로 더 똑똑하게 만드는 것은 아니며, 때로는 학습 과정을 혼란스럽게 만드는 노이즈를 추가할 뿐이라는 것을 시사합니다.

시나리오 2: "결승선" 부스트

두 번째 시나리오는 더 흥ло로운 것이었습니다. 여기에서 그들은 먼저 원래 방식(베이스라인)을 사용하여 로봇에게 전체 작업을 가르쳤습니다. 로봇이 작업에 대한 기본적인 이해를 갖춘 후, 기술을 미세 조정할 수 있도록 단계 정보를 도입했습니다.

이번에는 결과가 뒤집혔습니다! **비밀 숫자 코드 (ORDINAL STAGE-STATE)**를 받은 로봇이 챔피언이 되었습니다. 이 로봇은 평균 성공률 **53.75%**를 기록하며, 원래 방식(49.07%)과 텍스트 속삭임 방식(50.00%)을 모두 제쳤습니다. 실험의 모든 쌍별 실행에서 숫자 코드 버전이 다른 방식들을 능가했습니다.

이것이 의미하는 바는 무엇인가?

그렇다면 핵심적인 결론은 무엇일까요? 이 논문은 로봇에게 정보를 주는 방식이 무엇을 주느냐만큼 중요하다는 점을 시사합니다.

로봇이 새로운 작업을 처음부터 배울 때, 현재 단계에 대한 추가적인 텍스트를 더하는 것은 로봇을 혼란스럽게 만드는 것처럼 보입니다. 이는 마치 운전법을 배우는 사람에게 핸들을 어떻게 잡아야 할지 익히기도 전에 기어 변속의 이름을 계속 외치는 것과 같습니다. 로봇은 변화하는 텍스트 지시 사항에 압도당합니다.

하지만 로봇이 이미 작업의 기초를 알고 있다면(초기 훈련 이후), 단순한 저차원 숫자 코드를 추가하는 것은 놀라운 효과를 발휘합니다. 이는 마치 경로를 이미 알고 있는 운전자에게 "지금 좌회전하세요"라고 말하는 작고 조용한 GPS 신호를 주는 것과 같습니다. 로봇의 뇌(특히 언어를 처리하는 부분)가 이미 원래의 지시사항에 맞춰 고정되어 있었기 때문에, 상태 데이터에 작은 숫자를 추가하는 것은 부드럽고 쉬운 조정이 되었습니다. 이는 로봇이 언어를 이해하는 법을 다시 배우도록 강요하지 않고, 그저 작고 정밀한 자극을 준 것입니다.

연구진은 텍스트 기반 방식(TASKCTX)이 두 번째 시나리오에서도 잘 작동하지 않았다는 것을 발견했는데, 이는 아마도 로봇이 언어 맥락을 끊임없이 재해석하도록 강요했기 때문이며, 이는 단순한 숫자보다 적응하기 더 어려웠을 것입니다.

결론

이 연구가 단계 정보가 쓸모없다는 것을 증명하는 것은 아닙니다. 대신, 명시적인 단계 주석(explicit stage annotations)은 시작 단계에서 도입될 때 정책 학습을 자동으로 단순화하지 않는다는 점을 시사합니다. 하지만 이미 직업을 알고 있는 로봇이 있다면, 언어를 바꾸는 것보다 저차원의 단계-상태 인터페이스(단순한 숫자 코드와 같은)를 제공하는 것이 더 효과적일 수 있습니다.

연구진은 이러한 결과가 특정 데이터셋(LIBERO-10)의 특정 시뮬레이션과 특정 로봇 모델에서 나온 것임을 주의 깊게 명시했습니다. 그들은 이 패턴이 다른 설정에서도 유효할 수 있다고 제안하지만, 아직 모든 곳의 모든 로봇에 적용되는 보편적인 법칙이라고 주장하지는 않습니다. 이는 엔지니어들에게 유망한 단서입니다. 만약 로봇이 긴 작업을 마스터하도록 돕고 싶다면, 처음부터 단계들을 소리 높여 말하지 마세요. 먼저 노래 전체를 가르친 다음, 리듬을 유지할 수 있도록 작고 조용한 메트로놈을 건네주세요.