💻 computer science

ReSteer: Quantifying and Refining the Steerability of Multitask Robot Policies

이 논문은 기존 멀티태스크 로봇 정책의 낮은 작업 제어성 (steerability) 문제를 해결하기 위해 제어성 정량화 지표와 데이터 생성 및 자기 정제 파이프라인을 포함한 'ReSteer' 프레임워크를 제안하고, 시뮬레이션 및 실세계 실험을 통해 로봇의 상호작용 능력을 크게 향상시켰음을 입증합니다.

원저자: Zhenyang Chen, Alan Tian, Liquan Wang, Benjamin Joffe, Yingyan Celine Lin, Yuxiao Chen, Siddharth Karamcheti, Danfei Xu

게시일 2026-03-19

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zhenyang Chen, Alan Tian, Liquan Wang, Benjamin Joffe, Yingyan Celine Lin, Yuxiao Chen, Siddharth Karamcheti, Danfei Xu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 로봇이 여러 가지 일을 할 수 있도록 훈련시켰을 때, **"작업 도중에 지시를 바꿔도 로봇이 잘 따라오는지"**에 대한 문제를 다룹니다.

제목인 ReSteer는 "다시 조종하다 (Re-steer)"라는 뜻으로, 로봇이 한 가지 일을 하다가 갑자기 "아니야, 그건 말고 저걸 해!"라고 사용자가 말해도 로봇이 즉시 반응하도록 만드는 기술입니다.

이 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

🤖 1. 문제: 로봇은 왜 '고집'을 부릴까요?

상상해 보세요. 로봇에게 **"오븐 문을 닫아"**라고 시켰습니다. 로봇이 오븐으로 가는데, 갑자기 사용자가 **"아니야, 그건 말고 그릇을 싱크대에 넣어!"**라고 명령을 바꿉니다.

기존 로봇의 반응: "오븐 문을 닫는 중이니까 이거 계속 해야지!"라고 무시하고 원래 작업을 계속합니다. (사용자가 중간에 말을 바꿔도 듣지 않음)
원하는 반응: "아, 지시가 바뀌었구나! 오븐은 그만두고 그릇으로 가자!"라고 즉시 방향을 틀어야 합니다.

이 논문은 기존 로봇들이 **"작업 도중 지시 변경"**에 매우 약하다는 것을 발견했습니다. 마치 한 번 길을 나섰으면, 중간에 "저기 가자"고 해도 "아니, 내가 가던 길로 갈래"라고 고집하는 운전기사와 같습니다.

🔍 2. 원인: 왜 로봇이 안 들을까요?

연구진은 그 이유를 데이터에서 찾았습니다.
기존 로봇 훈련 데이터는 "A 일은 A 일만, B 일은 B 일만" 하는 식으로 따로따로 모았습니다.

비유: 요리 레시피를 배울 때, "국 끓이는 법"만 100 번, "라면 끓이는 법"만 100 번 따로 연습한 겁니다.
결과: 로봇은 "국 끓이는 중"이라는 상황 (상태) 이 주어지면, "국 끓이기"라는 명령이 없어도 자동으로 국을 끓이는 행동을 합니다. 즉, **상황 (상태) 에만 의존하고, 사람의 말 (명령) 은 무시하는 '단순 암기'**를 해버린 것입니다.

🛠️ 3. 해결책: ReSteer (리-스티어)

이 문제를 해결하기 위해 개발한 ReSteer라는 새로운 방법을 소개합니다. 이 방법은 크게 3 단계로 이루어져 있습니다.

1 단계: "어디서 로봇이 가장 고집을 부릴까?" 찾기 (CMI 측정)

우선 로봇이 언제 가장 명령을 잘 듣지 않는지 찾아야 합니다. 연구진은 **'조건부 상호정보량 (CMI)'**이라는 수학적 도구를 썼습니다.

비유: 로봇의 뇌를 스캔해서 **"언어 명령을 들었을 때 행동이 얼마나 달라지는가?"**를 측정합니다.
만약 로봇이 "오븐 닫기"와 "그릇 옮기기" 두 명령을 들었을 때 행동이 똑같다면, 그 상태는 **명령을 무시하는 상태 (Low CMI)**입니다. ReSteer 는 이런 '고집 부리는 구간'을精准하게 찾아냅니다.

2 단계: "의도적으로 혼란을 주며" 훈련시키기 (데이터 생성)

찾아낸 '고집 부리는 구간'에서, 로봇에게 의도적으로 명령을 바꿔주는 데이터를 만들어냅니다.

비유: 로봇이 국을 끓이다가 (A 작업), 갑자기 "라면 끓여!" (B 작업) 라고 명령을 바꿔주며, **"그때 어떻게 행동해야 하는지"**를 가르치는 새로운 시나리오를 만들어 훈련시킵니다.
이를 통해 로봇은 "아, 상황이 비슷해도 명령이 바뀌면 행동도 바꿔야구나!"라고 깨닫게 됩니다.

3 단계: "성공한 경험"만 반복하며 다듬기 (자기 정제)

만들어진 데이터로 로봇을 훈련시킨 후, 로봇이 실제로 명령을 잘 바꿔서 성공한 경우만 골라 다시 훈련시킵니다.

비유: 로봇이 명령을 바꿔서 성공한 순간을 "잘했다!"라고 칭찬하며 그 기억을 강화합니다. 실패한 건 잊어버리고, 성공한 패턴만 남깁니다.

📈 4. 결과: 얼마나 좋아졌나요?

이 방법을 적용한 결과, 로봇의 **지시 변경 반응 능력 (Steerability)**이 크게 향상되었습니다.

시뮬레이션: 18,000 번의 테스트에서 기존 로봇보다 11% 더 잘 반응했습니다.
실제 로봇 (부엌): 실제 부엌에서 실험했을 때, 기존 로봇이 명령을 바꾸면 실패율이 높았지만, ReSteer 를 적용한 로봇은 2.2 배 더 높은 성공률을 보였습니다.
- 예: "오븐 닫기" 하다가 "그릇을 싱크대에 넣어"라고 하면, 로봇은 오븐을 닫는 걸 멈추고 바로 그릇을 들고 싱크대로 갑니다.

💡 5. 핵심 요약

이 논문의 핵심 메시지는 **"로봇이 똑똑해지려면, 단순히 많은 일을 배우는 게 아니라, '작업 도중에 지시가 바뀌는 상황'을 경험하게 해야 한다"**는 것입니다.

ReSteer 는 로봇에게 **"상황은 비슷해도, 네가 듣는 말에 따라 행동은 달라져야 해!"**라고 가르치는 새로운 훈련 방식을 제시했습니다. 덕분에 앞으로 우리가 로봇과 대화하며 작업을 지시할 때, 로봇이 더 유연하고 자연스럽게 반응할 수 있게 될 것입니다.

1. 문제 정의 (Problem Statement)

배경: 최근 Vision-Language-Action (VLA) 모델과 같은 다중 작업 (multitask) 로봇 정책은 다양한 언어 명령을 기반으로 복잡한 조작 작업을 수행하는 능력을 보여주고 있습니다.
핵심 문제 (Steerability 부재): 기존 정책들은 초기에 주어진 작업 지시를 잘 수행하지만, 실행 도중 사용자가 새로운 지시 (예: "오븐 닫기" 중 "그릇을 싱크대에 넣기"로 변경) 를 내릴 때 이를 제대로 반영하지 못합니다. 로봇은 새로운 명령을 무시하고 원래 작업을 계속 수행하거나, 상태 (state) 만을 보고 행동을 결정하는 '단락 학습 (shortcut learning)' 경향을 보입니다.
원인: 기존 다중 작업 데이터셋은 각 작업을 독립적으로 수집하여, 언어 정보가 전체 실행 과정에서 매우 제한적인 구간에서만 유효하도록 구성되어 있습니다. 이로 인해 정책이 언어 조건 (conditioning) 보다 상태 정보에 과도하게 의존하게 됩니다.
필요성: 실제 인간과의 상호작용에서는 실행 도중 의도가 변경되는 경우가 빈번하므로, 임의의 중간 상태에서 새로운 언어 명령에 반응하여 행동을 전환할 수 있는 '조종 가능성 (Steerability)' 이 필수적입니다.

2. 방법론 (Methodology)

저자들은 ReSteer라는 프레임워크를 제안하여 다중 작업 로봇 정책의 조종 가능성을 정량화하고 개선합니다. 이 프레임워크는 크게 세 가지 핵심 구성 요소로 이루어져 있습니다.

가. 조종 가능성 정량화 및 측정 (Quantifying Steerability)

정의: 특정 상태 $s$ 에서 작업 $i$ 를 수행 중일 때, 언어 지시를 $j$ 로 변경했을 때 작업 $j$ 를 성공적으로 완료할 수 있는 확률을 기반으로 조종 가능성 커버리지 비율 (Steerability Coverage Ratio, SCR) 을 정의합니다.
대리 지표 (Proxy Metric) 도입: 모든 상태에서의 풀-롤아웃 (full-rollout) 평가는 계산 비용이 너무 큽니다. 따라서 조건부 상호 정보 (Conditional Mutual Information, CMI) 를 활용합니다.
- $I(A; L | S=s)$ : 상태 $s$ 에서 언어 $L$ 이 행동 $A$ 의 불확실성을 얼마나 줄이는지 측정합니다.
- 가정: CMI 가 낮은 상태는 언어에 반응하지 않는 '지시 무감각 (instruction-blind)' 상태이므로, 이러한 상태를 우선적으로 데이터 생성의 대상으로 삼습니다. 이론적으로 CMI 는 SCR 의 하한선과 밀접한 관련이 있음을 증명했습니다.

나. ReSteer 프레임워크 (3 단계 프로세스)

CMI 기반 상태 샘플링 (CMI-guided State Sampling):
- 정책의 실행 궤적에서 CMI 가 낮은 (언어 - 행동 결합이 약한) 상태들을 식별합니다.
- 이러한 상태들이 조종성이 가장 부족한 영역임을 가정하고, 데이터 생성의 우선순위를 둡니다.
단계 인식 조종 데이터 생성 (Stage-Aware Steering Data Generation - SteerGen):
- 소스 작업 (Task A) 의 중간 상태와 타겟 작업 (Task B) 의 호환 가능한 상태 (예: 모두 '그랩 전' 단계) 를 매칭합니다.
- 두 상태 간의 전환 궤적을 합성 (Synthesize) 하여, 동일한 상태 $s$ 에서 서로 다른 언어 지시 ( $l_A, l_B$ ) 에 따라 다른 행동 ( $a_A, a_B$ ) 을 취해야 함을 학습시키는 지시 대비 (instruction-contrasting) 데이터를 생성합니다.
자기 정제 행동 모방 (Self-Refining Behavioral Cloning - SRBC):
- 생성된 데이터로 미세 조정 (Fine-tuning) 한 후, 정책이 스스로 성공적인 작업 전환 (task switching) 롤아웃을 수행하도록 합니다.
- 성공한 궤적만 선별하여 다시 학습 (Iterative Finetuning) 시킴으로써, 이론적으로 가능한 조종 영역을 실제 실행에서 안정적으로 구현되도록 '날카롭게 (sharpen)' 만듭니다.

3. 주요 기여 (Key Contributions)

조종 가능성의 정량화: 기존 VLA 모델들이 다중 작업 수행 능력은 뛰어나지만, 실행 도중의 지시 변경에는 취약하다는 사실을 체계적으로 분석하고 SCR 및 CMI 지표를 통해 정량화했습니다.
데이터 중심 개선 프레임워크 (ReSteer): 단순히 데이터 양을 늘리는 것이 아니라, 언어 - 행동 결합이 약한 상태를 식별하고, 단계 일치 (stage-matching) 를 통해 합리적인 전환 궤적을 생성하며, 자기 정제를 통해 신뢰성을 높이는 효율적인 파이프라인을 제안했습니다.
실증적 검증: 시뮬레이션 (LIBERO) 과 실제 로봇 (DROID 플랫폼) 실험을 통해 ReSteer 가 기존 SOTA 모델들보다 월등히 높은 조종 성공률을 달성함을 입증했습니다.

4. 실험 결과 (Results)

시뮬레이션 (LIBERO-Goal):
- 18,000 회 이상의 롤아웃 평가에서 ReSteer 는 기존 정책 대비 11% 의 조종성 향상을 보였습니다.
- 특히 실행 후반부 (작업에 대한 몰입도가 높은 단계) 에서의 지시 변경 성공률이 크게 개선되었습니다.
- CMI 기반 샘플링이 무작위 샘플링보다 데이터 효율성이 훨씬 높음을 확인했습니다.
실제 로봇 실험 (DROID 플랫폼):
- 주방 환경에서 4 가지 작업과 3 가지 전환 시나리오를 테스트했습니다.
- 기존 텔레오퍼레이션 데이터만 미세 조정된 정책 (FT) 은 조종 성공률이 33% 였으나, ReSteer 를 적용한 정책은 73% (2.2 배 향상) 를 기록했습니다.
- 단일 작업 수행 능력은 유지하면서 (85% 성공), 중간 지시 변경에 대한 반응성을 극대화했습니다.
장기 작업 시퀀스: 사용자의 지시에 따라 오븐 닫기 → 서랍에 차 가방 넣기 → 그릇 들어오기 등으로 작업을 유연하게 전환하는 데 성공했습니다.

5. 의의 및 결론 (Significance & Conclusion)

상호작용 가능한 로봇의 핵심: ReSteer 는 로봇이 고정된 작업 흐름이 아닌, 인간의 실시간 지시에 따라 유연하게 행동 방향을 전환할 수 있게 함으로써, 실제 환경에서의 로봇 보조기 (Robot Assistant) 로서의 실용성을 크게 높였습니다.
데이터 수집 전략의 패러다임 전환: 단순히 더 많은 데이터를 모으는 것보다, 정책의 취약점 (조종성이 낮은 상태) 을 정량화하고 이를 타겟팅하여 데이터를 생성하는 전략이 다중 작업 정책의 신뢰성 향상에 필수적임을 보였습니다.
향후 연구 방향: 온라인 상호작용 학습 (Online Interactive Learning) 으로 확장하여, 로봇이 배포 중에도 사용자의 수정 지시를 받아 실시간으로 저조도 조종성 상태를 업데이트할 수 있는 경량화 적응 기법 연구의 기초를 마련했습니다.

이 논문은 다중 작업 로봇 정책의 '블라인드 스폿 (Blind Spot)'을 해결하고, 인간과 로봇 간의 자연스러운 상호작용을 가능하게 하는 중요한 기술적 진전을 이룬 연구로 평가됩니다.