당신이 로봇에게 옷을 접거나 바닥을 쓰는 것과 같은 집안일을 가르치고 있다고 상상해 보세요. 당신은 인간이 그 일을 완벽하게 수행하는 영상을 로봇에게 보여주고, 로봇은 그것을 따라 하려고 노력합니다. 이것을 "모방 학습(Imitation Learning)"이라고 부릅니다. 이 방식은 익숙한 방 안에서는 아주 잘 작동하지만, 실제 삶은 무질서합니다. 때때로 로봇은 옷을 떨어뜨리거나, 빗자루가 어딘가에 걸리기도 합니다. 과거에는 로봇이 실수를 하면, 똑같은 잘못된 동작을 계속 반복하며 상황을 점점 더 악화시키다가 결국 포기해 버리곤 했습니다. 이는 로봇에게 "그것은 실패했다"라고 알려주기만 했을 뿐, 어떻게 고쳐야 하는지에 대한 구체적인 지침을 주지 않았기 때문입니다.

여기에 **강화 학습(Reinforcement Learning, RL)**이 등장합니다. 이는 로봇이 시행착오를 거치며 성공에는 보상을, 실패에는 벌칙을 받으며 배우는 방법입니다. 보통 이 방식은 로봇이 현실 세계에서 수백만 번 연습해야 하는데, 이는 느리고 비용이 많이 들며 위험합니다(로봇이 청소를 배우는 동안 꽃병을 깨뜨리는 상황을 상상해 보세요). 최근에는 "Flow-matching VLA"(Vision-Language-Action)라는 새로운 유형의 로봇 두뇌가 등장했습니다. 이것은 마치 아주 똑똑한 예술가가 엉망인 시작점에서 완벽한 마무리까지 매끄럽고 연속적인 경로를 그려내는 것과 같습니다. 하지만 이러한 똑똑한 예술가들조차 본 적 없는 상황에 직면하면 어려움을 겪으며, 작은 실수가 총체적 재앙으로 변하는 "누적 오차(compounding errors)" 문제를 겪게 됩니다.

여기서 새로운 논문인 RedFlow가 등장합니다. 연구진은 다음과 같은 단순하지만 까다로운 질문을 던졌습니다. "우리가 매번 사람이 개입하여 고쳐주지 않고도, 로봇이 스스로 자신의 실패로부터 배울 수 있게 할 수 있을까?" 그들은 단순히 로봇이 "그것은 나빴다"라고 알기를 원한 것이 아니라, 어떤 동작이 나빴으며 대신 어떤 동작을 해야 하는지 정확히 알기를 원했습니다.

문제점: "나쁜 동작"이라는 블랙박스

당신이 자전거 타기를 배우고 있다고 상상해 보세요. 당신은 넘어집니다. 전통적인 로봇 학습 시스템은 그저 "알았어, 넘어지는 건 나빠. 그러지 마"라고 말할 뿐입니다. 하지만 왜 넘어졌는지는 말해주지 않습니다. 너무 왼쪽으로 기울었나요? 페달을 너무 세게 밟았나요? 아니면 다람쥐를 쳐다봤나요?

로봇 학습의 세계에서 "실패한 궤적(failed trajectory)"은 자전거를 타다가 사고가 나며 끝나는 전체 영상과 같습니다. 기존 방식들은 전체 영상을 보고 "이 전체 과정은 실패였다"라고 말했습니다. 그리고는 그 영상과 닮은 행동은 아예 하지 않으려고 노력했습니다. 하지만 여기에 문제가 있습니다. 아마도 자전거를 탄 과정의 90%는 완벽했는데, 마지막 10%(충돌)만이 나빴을 수도 있습니다. 만약 로봇에게 그 전체 과정을 피하라고 한다면, 로봇은 비록 앞부분은 괜찮았음에도 불구하고 페달을 밟거나 조향하는 법까지 잊어버릴 수 있습니다. 이는 마치 학생에게 에세이의 마지막 문장에 오타가 하나 있다고 해서 "그 에세이를 쓰지 마"라고 말하는 것과 같습니다. 정작 에세이의 나머지 부분은 훌륭했음에도 말이죠.

다른 방법들은 사람에게 "이 동작이 틀렸으니, 대신 이걸 해봐"라고 요청하기도 했습니다. 하지만 사람이 모든 실패한 시도를 지켜보며 구체적인 조언을 주는 것은 느리고 확장성이 떨어집니다. 우리는 로봇 스스로 자신의 실수를 파악할 수 있어야 합니다.

해결책: RedFlow의 "똑똑한 탐정"

이 논문의 저자들은 RedFlow(Redirect Failure into Action-Level Corrections, 실패를 동작 수준의 교정으로 재지정)를 제안합니다. RedFlow를 로봇의 실패한 시도를 관찰하고 어디서 경로를 벗어났는지 정확히 찾아내는 아주 똑똑한 탐정이라고 생각해보세요.

이것이 어떻게 작동하는지 두 가지 주요 기술로 나누어 설명하겠습니다.

1. "맥락 인식 교정 매칭" (탐정의 노트)
로봇이 실패했을 때, RedFlow는 단순히 충돌 장면만을 보는 것이 아닙니다. 충돌하기 바로 직전의 순간을 봅니다. 그리고 묻습니다. "로봇이 무엇을 하고 있었나? 어디에 있었나? 작업이 얼마나 진행되었나?"

• 비유: 당신이 옷을 접으려다 옷을 떨어뜨렸다고 가정해 봅시다. RedFlow는 당신이 옷을 떨어뜨린 순간을 보고 이렇게 말합니다. "아, 당신은 오른손으로 옷을 잡고 있었고, 옷은 절반 정도 접힌 상태였군요."
• 그런 다음, RedFLOW는 자신의 기억 저장소(성공적인 시도를 포함한 과거 시도들의 데이터베이스)를 뒤져서, 로봇이 그 정확히 동일한 상황(오른손으로 옷을 절반쯤 잡고 있는 상황)에 처했을 때 성공했던 다른 사례들을 찾습니다.
• 그리고 그 유사한 상황에서의 성공적인 동작을 찾아냅니다. 예를 들어, 왼손을 사용하여 옷을 잡는 동작 같은 것입니다. 이는 단순히 "옷을 떨어뜨리지 마"라고 말하는 것이 아니라, "이 특정 위치에 있을 때는 왼손을 사용해라"라고 말하는 것입니다. 이를 "교정 대상(corrective target)"을 찾는다고 합니다.

2. "적응형 재지정 목적 함수" (코치의 휘슬)
RedFlow가 올바른 "교정법"(왼손으로 잡기)을 찾으면, 이제 로봇에게 그것을 가르쳐야 합니다. 여기에는 세 가지 뚜렷한 목소리를 가진 특별한 훈련 방식이 사용됩니다.

• 치어리더: "잘 된 부분은 아주 훌륭해요! 계속 그렇게 하세요!" (성공적인 동작을 강화함).
• 정지 표지판: "잠깐, 방금 그 동작 말이에요, 그건 하지 마세요!" (나쁜 동작을 억제함).
• 가이드: "대신에, 옷을 떨어뜨리는 대신, 우리가 기억 저장소에서 찾은 것처럼 왼손으로 옷을 끌어당겨 보세요!" (실패를 교정 동작 쪽으로 유도함).

이는 단순히 "나쁜 행동을 하지 마"라고만 했던 기존 방식과는 다릅니다. RedFlow는 코치가 선수의 팔을 올바른 위치로 물리적으로 유도하듯, 로봇을 더 나은 동작을 향해 능동적으로 밀어줍니다.

연구 결과: 서투름에서 유능함으로

연구진은 두 가지 방식으로 이 아이디어를 테스트했습니다. 다양한 작업(LIBERO 벤치마크와 같은)이 포함된 컴퓨터 시뮬레이션과, 두 팔이 달린 실제 물리적 로봇을 대상으로 했습니다.

• 시뮬레이션에서: 그들은 RedFlow를 다른 똑똑한 로봇 학습 방법들과 비교했습니다. 결과는 RedFlow가 실수를 고치는 데 훨씬 뛰어났음을 보여주었습니다. 평균적으로 RedFlow는 로봇의 성공률을 약 **56.2%**에서 **68.2%**로 높였습니다. 특히 로봇이 특정 목표에 도달해야 하는 작업에서 성공률을 **51.8%**에서 **71.2%**로 크게 개선했습니다.
• 실제 로봇에서: 연구진은 실제 로봇이 옷 접기, 물건 쓸기, 테이블 닦기와 같은 세 가지 어려운 작업을 수행하도록 RedFlow를 적용했습니다.
  • RedFlow를 적용하기 전, 로봇은 옷 접기를 **36.0%**의 확률로만 성공했습니다.
  • RedFlow를 사용한 후, 성공률은 **67.0%**로 뛰었습니다.
  • 전체적으로, 모든 실제 작업에 걸쳐 성공률은 **56.7%**에서 **74.7%**로 상승했습니다.

가장 흥amm한 부분은 로봇이 "회복하는 법"을 배우는 것을 관찰하는 것이었습니다. 한 영상에서 로봇이 티셔츠를 접고 있었습니다. 셔츠가 오른손에서 미끄러졌습니다. 일반적인 로봇이라면 계속 오른손으로 잡으려고 시도하다가 실패했을 것입니다. 하지만 RedFlow로 훈련된 로봇은 "잠깐, 오른손으로는 닿을 수 없어"라고 깨달았습니다. 그러고 나서 왼손을 사용하여 셔츠를 다시 손이 닿는 곳으로 끌어당긴 뒤, 다시 옷을 접기 시작했습니다. 이것은 사람이 프로그래밍한 것이 아닙니다. 로봇이 자신의 과거 실패를 분석하고 기억 저장소에서 성공적인 대안을 찾아냄으로써 스스로 알아낸 것입니다.

이것이 왜 중요한가

RedFlow의 가장 큰 장점은 믿을 수 없을 정도로 효율적이라는 점입니다. 보통 로봇에게 실수로부터 회복하는 법을 가르치려면, 실시간(현실 세계)에서 수백만 번 연습해야 하며, 이는 오랜 시간이 걸리고 물건을 망가뜨릴 위험도 있습니다. 하지만 RedFlow는 이미 가지고 있는 "나쁜" 데이터를 영리하게 재사용하여, 실패를 학습의 황금 기회로 바꿈으로써 기존의 "온라인(online)" 방식들과 유사한 결과를 내면서도 약 10배 적은 학습 샘플만 사용했습니다.

이 논문은 실패를 버려야 할 쓰레기가 아니라 더 나은 해결책을 찾기 위한 지도로 취급함으로써, 로봇을 훨씬 더 견고하고 유능하게 만들 수 있다는 점을 시사합니다. 이는 로봇이 단순히 우리를 흉내 내는 것을 넘어, 자신의 실수를 통해 배워서 더 나은 직무를 수행할 수 있게 만드는 길로 향하는 한 걸음입니다.