로봇이 엄격한 규칙에 따라 프로그래밍되는 것이 아니라, 마치 아이가 부모님이 신발 끈을 묶는 것을 보고 배우는 것처럼 인간을 관찰하고 모방하며 집안일을 배우는 세상을 상상해 보십시오. 이 분야는 로봇이 자신의 "눈"(카메라)과 "뇌"(언어 모델)를 사용하여 다음 행동을 결정하는 **시각-언어-행동(Vision-Language-Action, VLA)**이라고 불립니다. 이 접근 방식의 큰 문제는 로봇이 주로 성공적인 사례로부터만 학습한다는 점입니다. 이는 마치 넘어지는 모습이 한 번도 나오지 않는 사람들의 영상만을 보고 자전거 타기를 배우려는 것과 같습니다. 만약 로봇이 비틀거리거나 핸들을 놓치기 시작한다면, 전체 과정이 완전히 망가지기 전까지는 자신이 실패하고 있다는 사실을 알지 못합니다. 로봇에게는 "잘하고 있어!"라거나 "멈춰! 샌드위치를 떨어뜨릴 것 같아!"라고 알려줄 내부적인 "직감"이 없습니다.

이 논문은 그 결여된 "직감"을 다룹니다. 연구진은 로봇에게 진행 표시줄 역할을 할 수 있는 더 작고 두 번째인 '두 번째 뇌'를 만들어주고 싶었습니다. 단순히 로봇이 작업을 마칠 때까지 기다렸다가 마지막에 "잘했어" 또는 "실패했어"라고 말하는 대신, 이 새로운 시스템은 프레임 단위로 로봇을 실시간 관찰합니다. 그리고 다음과 같은 질문을 던집니다. "지금 우리는 결승선에 얼마나 가까이 와 있는가?" 그리고 "우리가 방금 실수를 했는가?" 이의 목표는 반자율 로봇을 더 안전하고 유용하게 만들어, 인간 운영자가 재앙이 발생하기를 기다리며 화면을 뚫어지게 쳐다보고 있지 않아도 되도록 하는 것입니다.

---

당신이 막혔을 때를 아는 로봇의 "진행 표시줄"

로봇에게 진행 상황을 알려주는 감각을 부여하기 위해 설계된 새로운 도구인 ValueFormer를 만나보십시오. 로봇이 샌드위치를 만드는 상황을 생각해 봅시다. 로봇은 밑단 빵을 놓고, 패티를 올리고, 치즈, 토마토, 상추를 더한 뒤, 마지막으로 윗단 빵을 올려야 합니다. 만약 로봇이 상추 단계에서 막힌다면, 성공 사례로만 훈련된 일반적인 로봇은 상추를 잡으려고 영원히 시도하거나, 더 나아가 상추를 건너뛰고 빈 패티 위에 윗단 빵을 올려버리면서도 모든 것이 괜찮다고 생각할 수도 있습니다. 로봇은 자신이 곤경에 처했다는 사실을 전혀 모릅니다.

이 논문의 저자들은 가장 큰 장애물이 화려한 새로운 로봇 뇌를 만드는 것이 아니라, 매 초마다 로봇에게 "잘하고 있다"는 것이 무엇인지 어떻게 가르칠 것인가를 알아내는 것이라는 점을 깨달았습니다.

"전부 아니면 전무(All or Nothing)" 라벨링의 문제점

수학 시험을 채점하는 상황을 상상해 보십시오. 만약 학생에게 맨 마지막에만 성적을 준다면, 학생이 언제 막혔는지는 알 수 없습니다. 첫 번째 문제에서 틀린 것일까요, 아니면 마지막 문제일까요?

• 기존 방식: 대부분의 로봇은 작업 끝에 단순한 "성공/실패" 스위치로 훈련됩니다. 샌드위치가 완성되면 1, 엉망이면 0입니다.
• 결함: 이것은 너무 희소합니다(sparse). 만약 로봇이 중간에 실수를 했더라도 계속 진행한다면, 마지막의 "0"이라는 결과는 로봇에게 어느 부분이 잘못되었는지 알려주지 않습니다. 이는 달리기 선수에게 "네가 경기에서 졌어"라고 말하면서, 2마일 지점에서 발이 걸려 넘어졌다는 사실은 말해주지 않는 것과 같습니다.

연구진은 다른 접근 방식을 시도했습니다. 그들은 매 순간 업데이트되어 로봇이 목표에 얼마나 가까운지를 보여주는 **조밀한 라벨(dense label)**을 원했습니다. 하지만 까다로운 점이 있습니다. 만약 단순히 실패한 시도 전체에 대해 로봇에게 "너는 실패했으니 점수는 0이다"라고 말한다면, 로봇은 혼란에 빠집니다. 로봇은 잘하고 있었던 처음 몇 초를 보고는 "잠깐, 나는 잘하고 있었는데 왜 실패라고 하는 거지? 처음부터 실패하고 있었던 건가?"라고 생각하게 됩니다. 이는 로봇을 혼란스럽게 만들고, 성공적인 시도에 대해서도 성능을 저하시키게 만듭니다.

"단계 인지형, 성공 후 감쇠(Stage-Aware, Success-Then-Decay)" 솔루션

이 논문의 핵심적인 돌파구는 **"단계 인지형, 성공 후 감쇠"**라고 불리는 영리한 실수 라벨링 방식입니다.

로봇이 산을 오르고 있다고(샌드위치를 만들고 있다고) 상상해 보십시오.

1. 등반: 산을 오르는 동안 "진행 점수"는 부드럽게 올라갑니다.
2. 미끄러짐: 만약 미끄러져서 떨어진다면(실수를 한다면), 점수가 즉시 0으로 떨어지지 않습니다. 대신, 로봇이 제대로 해낸 부분(밑단 빵과 패티)에 대해서는 높은 점수를 유지하다가, 문제가 생겼음을 인지함에 따라 **천천히 감쇠(decay)**합니다.
3. 결과: 이는 로봇에게 첫 번째 절반의 시도는 실제로 좋았지만, 마지막 부분이 나빴다는 것을 가르쳐줍니다. 즉, 실수하기 전까지 수행한 작업에 대한 "부분 점수"를 보존해 줍니다.

저자들은 이를 네 가지 다른 실수 라벨링 방식(점수를 즉시 0으로 떨어뜨리거나 전체 점수를 낮추는 방식 등)과 비교 테스트했습니다. 그 결과, 그들의 "부드러운 감쇠" 방식만이 로봇을 혼란스럽게 하지 않는 유일한 방법임을 발견했습니다. 이 방식은 실패한 시도라도 초반에는 가치가 있었다는 것을 로봇이 배울 수 있게 하여, 나중에 성공적인 시도에 대한 예측이 "붕괴"되는 것을 방지했습니다.

두 개의 머리, 하나의 뇌

ValueFormer는 로봇의 메인 뇌 옆에서 실행되는 작고 효율적인 모델입니다. 이 모델은 마치 두 종류의 눈을 가진 로봇처럼 독특한 "듀얼 헤드(dual-head)" 설계를 가지고 있습니다.

1. 부드러운 눈 ($V_{mc}$): 연속적이고 완만한 진행 점수(0~1)를 제공합니다. 이는 운영자에게 "우리는 60% 완료되었습니다" 또는 "정체 중입니다"라고 알려줍니다. 전반적인 진행 상황을 추적하는 데 적합합니다.
2. 날카로운 눈 ($V_{bin}$): 이진 경보 장치입니다. 실수가 발생하는 즉시 "위험!"이라고 반응합니다. 로봇이 상추를 떨어뜨리는 것처럼 오류를 빠르게 포착하여, 샌드위치가 완전히 망가지기 전에 인간이 개입할 수 있도록 설계되었습니다.

논문은 1,427개의 실제 로봇 샌드위치 제조 에피소드를 통해 이 시스템이 네 가지 뚜렷한 패턴을 인식하도록 학습되었음을 보여줍니다.

• 깔끔한 성공: 점수가 정상적으로 꼭대기까지 올라갑니다.
• 재시도를 동반한 성공: 로봇이 실수할 때(예: 패티를 떨어뜨림) 점수가 내려갔다가, 다시 문제를 해결하면 다시 올라갑니다.
• 조기 붕괴: 점수가 올라갔다가, 로봇이 초기에 실수를 하면 떨어져서 낮은 상태를 유지합니다.
• 제자리 헛손질: 로봇이 그냥 헛돌고 있기 때문에 점수가 낮게 유지됩니다.

실제 세계의 결과

연구진이 이 "진행 표시줄"을 사용하여 로봇의 학습을 도왔을 때, 결과는 유망했습니다. 로봇의 "직감"을 사용하여 훈련 데이터의 가중치를 조절함으로써(로봇이 어려움을 겪는 부분에 더 집중하도록 함), 샌드위치 제조 작업의 성공률을 70%에서 85%로 높였습니다. 또한 로봇이 이미 성공적으로 배치한 재료를 계속 집으려고 하는 특정 나쁜 습관("반복 집기" 오류)을 제거하는 데도 성공했습니다.

하지만 저자들은 개선 효과는 분명하지만, 최종 테스트의 표본 크기(20개의 샌드위치)가 작기 때문에 결과가 "확정적인 해결"이라기보다는 "시사하는 바가 크다"는 점을 주의 깊게 언급했습니다. 또한 시스템이 판단을 내리기 위해 이전의 짧은 기록을 살펴봐야 하므로, 반응하는 데 약 5~10초 정도의 시간이 필요하다는 점도 발견했습니다.

충분히 빠르게 실행하기

마지막으로, 팀은 이 새로운 "진행 표시줄"이 로봇의 속도를 늦추지 않도록 해야 했습니다. 하나의 컴퓨터 칩에서 두 개의 뇌를 실행하는 것은 어려운 일입니다. 그들은 주요 비용이 "생각하는 부분"이 아니라 "보는 부분"(카메라 이미지 처리)이라는 것을 발견했습니다. 이미지 처리 방식을 최적화함으로써(배칭 기술과 bf16이라는 수학적 포맷 사용), 진행 상황을 확인하는 데 걸리는 시간을 3~5배 단축했습니다. 이를 통해 시스템은 메인 로봇 뇌와 동일한 컴퓨터 칩에서 지연 없이 2 Hz(초당 2회)의 속도로 원활하게 작동할 수 있었습니다.

요약하자면, ValueFormer는 로봇에게 단순히 마지막에 조용히 실패하는 대신, "잘하고 있지만 방금 치즈를 떨어뜨렸어요, 도움이 필요해요"라고 말할 수 있는 방법을 제공합니다. 이는 단순한 모방을 넘어, 자신이 곤경에 처했을 때를 아는 반자율적인 파트너로 변화시킵니다.