💻 computer science

Do Better Imagined Rollouts Mean Better Robot Control? A Controlled Study of World-Model Evaluation Under Feedback

이 논문은 피드백에 의존하는 로보틱스 애플리케이션의 경우, 오프라인 예측 모델 평가를 위한 오픈 루프 롤아웃(open-loop rollouts)이 궤적 재생(trajectory replay)이나 폐루프 테스트(closed-loop testing)보다 신뢰도가 낮으며, 이는 평가 스케줄이 시스템의 측정-업데이트 패턴을 명시적으로 반영하지 않는 한 실제 제어 성능과 상관관계를 갖지 못하는 경우가 많음을 입증한다.

원저자: Dharini Raghavan, Amritpal Singh

게시일 2026-09-03

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Dharini Raghavan, Amritpal Singh

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

실제 세상을 움직이는 로봇들은 자신의 눈과 바퀴, 그리고 뇌 사이의 끊임없이 이어지는 보이지 않는 대화에 의존합니다. 항해를 위해 로봇은 먼저 자신이 어디에 있는지 추측한 다음, 어떻게 움직일지 결정하고, 마지막으로 자신의 추측이 맞았는지 확인하기 위해 주변 환경을 점검해야 합니다. 이 순환은 한 시간에도 수천 번씩 반복됩니다. 만약 로봇의 내부 추측이 약간이라도 틀리면, 그로 인해 수행하는 수정 작업이 로봇을 경로에서 벗어나게 만들 수 있습니다. 반면, 추측이 다른 방식으로 틀렸다면 로봇은 완벽하게 스스로를 교정할 수도 있습니다. 수년 동안 엔지니어들은 새로운 정보 없이 미래를 예측하는 조용하고 통제된 환경에서 테스트함으로써 로봇의 '뇌'가 얼마나 우수한지를 판단하려고 노력해 왔습니다. 그들은 모델에게 앞길을 상상하게 하고, 그 상상이 실제와 얼마나 차이가 나는지 확인합니다. 하지만 이 논문은 근본적이고 중요한 질문을 던집니다. 공백 상태에서 미래를 상상하는 능력이 뛰어난 것이, 실제로 센서가 끊임없이 시야를 업데이트하는 상황에서 자동차를 운전하거나 숲을 걷는 로봇에게도 유효한 능력이 될 것인가 하는 점입니다.

조지아 공과대학교와 에모리 대학교의 연구진은 소형 바퀴 달린 로봇을 이용한 통제된 실험을 구축하여 이 질문에 답하고자 했습니다. 연구진은 로봇에게 따라야 할 특정 경로를 주었고, 때때로 미끄러지는 바퀴와 약간의 오차가 발생하는 자이로스코프를 제공했습니다. 로봇이 자신의 위치를 파악하는 데 도움을 주기 위해, 연구진은 방 안에 알려진 랜드마크들을 배치했는데, 로봇은 이를 가끔씩만 볼 수 있었고 지속적으로 볼 수는 없었습니다. 로봇은 랜드마크를 목격하는 사이의 구간 동안 바퀴 센서를 사용하여 자신의 위치를 추측해야 했습니다. 연구팀은 위치를 추정하는 여섯 가지 서로 다른 방법을 테스트했습니다. 어떤 방법은 순수하게 수학과 바퀴 데이터에 의존했고, 다른 방법은 이러한 수학적 모델의 오류를 수정하기 위해 학습된 패턴을 사용했습니다. 그 후 연구진은 이 로봇들을 테스트하는 세 가지 서로 다른 방식을 비교했습니다. 첫째, 과거에 일어났던 모든 랜드마크 업데이트를 포함하여 기록된 여정을 다시 재생하는 방식입니다. 둘째, 아무런 랜드마크도 보지 못한 채 오직 내부적인 추측에만 의존하여 미래의 20단계 여정을 상상하게 하는 방식입니다. 셋째, 로봇이 실시간으로 주행하며 자신의 추측이 직접 바퀴를 제어하고, 랜드마크 업데이트가 가능할 때마다 정보를 받는 방식입니다.

결과는 놀라운 괴리를 드러냈습니다. 연구진이 실시간 주행 테스트에서 로봇의 성능을 살펴보았을 때, 승자를 가장 잘 예측했던 방법은 로봇이 과거의 여정을 모든 랜드마크 업데이트와 함께 단순히 재현하는 방식이었습니다. 이 방법은 대부분의 경우 최고의 로봇을 정확히 식별해 냈습니다. 그러나 대중적인 방법인, 아무런 새로운 정보 없이 긴 20단계의 여정을 상상하게 하는 방식은 실제 세계의 승자를 예측하는 데 훨씬 더 형편없었습니다. 실제로, 이 '상상된 롤아웃(imagined rollout)' 방식은 24가지의 서로 다른 테스트 시나리오 중 18가지 상황에서 최상의 성능을 보인 로봇을 잘못 선택했습니다. 이 논문은 모델이 아무런 교정을 받지 않는다면 미래의 위치를 매우 잘 예측할 수 있지만, 그 기술이 새로운 센서 데이터에 의해 끊임없이 교정되는 로봇에게는 그대로 전이되지 않는다는 점을 보여줍니다. 공백 상태에서 정확하게 표류하는 능력은 도움을 받아 항해하는 능력과 다릅니다.

연구는 왜 이런 현상이 발생하는지 이해하기 위해 더 깊이 들어갔습니다. 연구진은 문제가 단지 상상된 여정의 길이가 아니라, 그 여정 동안 업데이트가 없었다는 점에 있다는 것을 깨달았습니다. 연구진이 긴 상상된 경로를 테스트하면서도 매 단계마다 센서 업데이트를 허용했을 때, 테스트는 다시 정확해졌습니다. 오직 긴 예측 시간과 업데이트의 완전한 부재가 결합되었을 때만 테스트가 현실과 일치하지 않게 되었습니다. 이는 행동하고, 감지하고, 수정하는 피드백 루프 내에서 작동하는 로봇의 경우, 테스트 방식이 로봇이 실제로 작동하는 방식을 모방해야 함을 시사합니다. 만약 로보가 현실 세계에서 빈번한 업데이트를 받는다면, 아무런 도움 없이 긴 시간 동안 추측하게 함으로써 테스트하는 것은 오해의 소지가 있습니다.

연구팀은 또한 로봇이 이러한 길고 교정되지 않은 추측을 더 잘 수행하도록 훈련할 수 있는지 탐구했습니다. 연구진은 일부 학습 기반 로봇들이 랜드마크를 보지 못하는 더 긴 기간을 견딜 수 있도록 훈련시켰습니다. 어떤 경우에는 이것이 도움이 되었습니다. 강력한 수학적 토대를 바탕으로 시작한 로봇들의 경우, 긴 공백을 처리하도록 훈련하는 것이 오차를 크게 줄여주어, 경로에서 벗어나는 거리를 1.5미터 이상에서 1미터 남짓으로 단축시켰습니다. 그러나 이러한 개선이 보편적으로 나타나지는 않았습니다. 약한 수학적 토대에서 시작한 로봇들의 경우, 긴 공백을 처리하도록 훈련하는 것이 전혀 도움이 되지 않았으며, 어떤 경우에는 오히려 성능을 약간 저하시키기도 했습니다. 이 발견은 단순히 로봇을 더 어려운 훈련 조건에 노출시킨다고 해서 반드시 더 견고해지는 것은 아니라는 점을 시사합니다. 로봇의 뇌를 구성하는 근본적인 구조가 받는 훈련만큼이나 중요하다는 것입니다.

궁극적으로, 이 논문은 로봇 공학에서 예측 모델을 평가하는 방식이 변해야 한다고 주장합니다. 우리는 단순히 데이터 없이 긴 시간이 흐른 뒤 모델이 얼마나 멀리 벗어나는지만을 측정해서는 안 됩니다. 대신, 모델이 마주할 구체적인 업데이트 일정 하에서 얼마나 잘 수행되는지를 측정해야 합니다. 만약 로봇이 1초마다 카메라 이미지나 센서 판독값을 받는다면, 그에 대한 평가는 매초 그 업데이트를 포함해야 합니다. 만약 우리가 아무런 도움 없이 1분 동안 추측하게 함으로써 테스트한다면, 그것은 전혀 다른 기술을 테스트하는 것입니다. 가장 유용한 벤치마크는 움직임, 새로운 정보의 도착, 그리고 경로의 수정이라는 로봇의 실제 삶의 리듬을 반영하는 것입니다. 우리의 테스트를 로봇이 작동하는 현실과 일치시킴으로써, 우리는 적절한 도구를 선택하고 그들이 움직이는 세상을 진정으로 이해하는 기계를 구축할 수 있습니다.

기술 요약: 더 나은 상상된 롤아웃(Imagined Rollouts)이 더 나은 로봇 제어를 의미하는가?

문제 정의

예측 모델(월드 모델)은 상태 추정, 계획 및 제어를 위해 로보틱스 분야에서 점점 더 중심적인 역할을 하고 있습니다. 그러나 이러한 모델들은 일반적으로 외부 보정 없이 상태를 전파하는 개방 루프(open-loop) 조건 하에서의 다단계 롤아웃 정확도 또는 상태 예측 오차와 같은 오프라인 지표를 사용하여 평가됩니다.

본 논문이 다루는 핵심 문제는 이러한 오프라인 평가 지표와 실제 폐쇄 루프(closed-loop) 성능 사이의 괴리입니다. 실제 로봇 시스템에서는 컨트롤러가 상태 추정치를 바탕으로 동작하고, 로봇이 움직이면 새로운 센서 측정값이 도착하며, 상태가 업데이트되고, 새로운 제어 명령이 계산됩니다. 본 논문은 (측정값 없는 긴 형태의) 오프라인 지표가 실제 운용 중에 발생하는 측정 보정의 빈도와 타이밍을 무시하기 때문에, 피드백 루프 내에서 어떤 모델이 가장 잘 작동할지를 예측하는 데 적절한 지표가 아닐 수 있다고 주장합니다. 롤아웃 정확도와 폐쇄 루프 유용성 사이의 관계는 센싱 및 업데이트 스케줄에 크게 의존하며, 이는 표준 평가 방식에서 흔히 누락되는 요소입니다.

방법론

저자들은 예측, 측정 보정 및 피드백의 효과를 격리하기 위해 평면 환경 내 차동 구동 로봇을 이용한 통제된 연구를 수행했습니다.

실험 설정

태스크: 순수 추적(pure-pursuit) 컨트롤러를 사용하여 레므니스케이트(lemniscate) 참조 궤적을 추적하는 경로 추적.
센싱: 로봇은 편향된 휠 오도메트리와 알려진 랜드마크로부터 오는 간헐적인 거리-방위(range-bearing) 측정값에 의존합니다.
조건: 랜드마크 가용성, 거리 노이즈, 자이로스코프 편향, 그리고 센싱 중단 기간(랜드마크 데이터가 없는 기간)의 지속 시간을 변화시켜 24가지의 별도 센싱 조건을 생성했습니다.
모델: 6가지 상태 추정기를 평가했습니다:
1. 데드 레코닝 (Dead Reckoning, DR).
2. 확장 칼만 필터 (Extended Kalman Filter, EKF).
3. 4가지 순환 잔차 추정기 (GRU-DR, SSM-DR, GRU-EKF, SSM-EKF): 분석적인 DR 또는 EKF 참조 모델 위에 보정 항을 학습합니다.
4. 순환 모델의 변형들은 더 긴 '확장된 블랙아웃(extended blackouts)'(랜드마크 데이터가 없는 더 긴 기간) 환경에서도 테스트하기 위해 훈련되었습니다.

평가 프로토콜

각 추정기는 오프라인 지표와 폐쇄 루프 현실을 비교하기 위해 세 가지 별도의 프로토콜로 테스트되었습니다:

궤적 재생 (Trajectory Replay): 추정기가 사용 가능한 모든 측정값을 포함하여 기록된 고정 궤적을 처리합니다. 이는 표준 오프라인 위치 정확도(Replay Position RMSE)를 측정합니다.
측정값 없는 롤아웃 (Measurement-Free Rollout): 추정기가 체크포인트에서 초기화되어 랜드마크 측정값 없이 오도메트리만을 사용하여 $H=20$ 단계 동안 앞으로 전파됩니다. 이는 개방 루프 상태 전파 정확도를 테스트합니다.
폐쇄 루프 경로 추적 (Closed-Loop Path Tracking): 추정기가 온라인으로 실행되어 컨트롤러에 상태 추정치를 제공합니다. 컨트롤러의 동작은 로봇의 궤적과 후속 센서 측정값에 영향을 미칩니다. 성능은 횡방향 오차 RMSE(Cross-Track RMSE)로 측정됩니다.

또한, 롤아웃 호라이즌( $H$ )과 측정 업데이트 간격( $k$ )을 변화시켜 이들이 어떻게 상호작용하는지 결정하기 위해 연구를 진행했습니다.

주요 결과

1. 재생 지표가 롤아웃보다 폐쇄 루프 성능과 더 잘 상관됨

예측의 어려움을 더 잘 시뮬레이션한다는 직관과는 반대로, **재생 위치 RMSE(Replay Position RMSE)**가 20단계 측정값 없는 롤아웃 오차( $\rho = 0.774$ )보다 폐쇄 루프 횡방향 RMSE( $\rho = 0.923$ )와 더 강한 상관관계를 보였습니다.

24가지 센싱 조건 중 5가지 조건에서 재생(Replay) 지표는 실제 폐쇄 루프에서 가장 잘 작동한 추정기와 다른 "최적" 추정기를 선택했습니다.
측정값 없는 롤아웃 지표는 24가지 조건 중 18가지 조건에서 차선(suboptimal)의 추정기를 선택했습니다.
이는 모델이 보정 없이 상태를 전파하는 능력(롤아웃)이, 빈번한 보정이 발생하는 피드백 루프 내에서 기능하는 능력을 반드시 예측하지는 않는다는 것을 나타냅니다.

2. 호라이즌과 업데이트 빈도의 상호작용

연구는 오프라인 평가 시 예측 호라이즌( $H$ )과 측정 업데이트 빈도( $k$ )를 체계적으로 변화시켰습니다.

업데이트 시 높은 일치도: 매 단계마다 측정값이 포함될 때( $k=1$ ), 긴 호라이즌( $H=80$ )에서도 높은 순위 상관관계( $\rho \approx 0.90$ )를 유지했습니다.
업데이트 부재 시 낮은 일치도: 측정값이 완전히 제외되었을 때( $k=\infty$ ), 상관관계가 크게 떨어졌습니다. 최악의 불일치는 긴 호라이즌과 보정 부재가 결합되었을 때( $H=80, k=\infty$ ) 발생했으며, 이때 순위 상관관계는 $\rho = 0.32$ 까지 떨어졌습니다.
결론: 예측력의 저하는 호라이즌의 길이 때문만이 아니라, 긴 호라이즌과 측정 업데이트의 부재가 결합된 결과입니다.

3. 긴 중단(Outage)에 대한 훈련은 맥락 의존적임

순환 추정기를 더 긴 센싱 중단 데이터(32~~58 단계 vs 표준 6~~27 단계)로 훈련시킨 결과는 엇갈린 결과를 보였습니다:

EKF 기반 모델: 확장된 블랙아웃으로 훈련하는 것은 복합적인 센싱 저하 상황(예: GRU-EKF 횡방향 RMSE가 1.72m에서 1.6m로 감소)에서 성능을 향상시켰습니다.
DR 기반 모델: 동일한 훈련 절차가 DR 기반 SSM 모델의 성능을 개선하지 못했으며, 오히려 성능이 약간 저하되었습니다.
고립된 중단: 확장된 훈련의 개선은 균일하지 않았습니다. 예를 들어, 확장 훈련된 SSM-EKF는 전체 중단 기간 범위에 걸쳐 표준 버전보다 성능이 낮았습니다.
시사점: 단순히 훈련 데이터 분포(블랙아웃 기간)를 평가 조건에 맞추는 것이 폐쇄 루프 강건성 향상을 보장하지는 않습니다. 근본적인 분석적 추정기의 품질과 아키텍처가 중요합니다.

의의 및 주장

본 논문은 짧은 호라이즌 예측이 보편적으로 긴 호라이즌 예측보다 우월하다고 주장하는 것이 아닙니다. 대신, 로보틱스의 예측 모델을 평가하기 위한 실질적인 원칙을 확립합니다:

평가는 운용 환경과 일치해야 함: 오프라인 예측 지표는 의도된 폐쇄 루프 시스템의 센싱 스케줄에 따라 평가되어야 합니다. 측정값 없는 롤아웃은 로봇이 정기적인 측정 보정을 받는 상황에서 성능을 나타내는 불량한 대리 지표(proxy)입니다.
호라이즌은 유일한 변수가 아님: 롤아웃 지표의 유용성은 측정 업데이트 스케줄에 달려 있습니다. 평가 프로토콜은 예측 호라이즌과 상태 보정 빈도를 모두 명시해야 합니다.
피드백 구조가 중요함: 피드백 루프 내부에서 사용되는 모델의 경우, 평가 프로토콜은 센싱, 상태 보정 및 제어 업데이트의 타이밍을 재현해야 합니다. 예측 호라이즌을 유일한 시간적 난이도 척도로 취급하는 것은 불충분합니다.

저자들은 오프라인 롤아웃이 개방 루프 상태 전파에 대한 유용한 정보를 제공하지만, 롤아웃의 센싱 및 보정 패턴이 의도된 폐쇄 루프 운용과 크게 다를 경우 오해의 소지가 있는 모델 순위를 생성할 수 있다고 결론짓습니다. 이 연구는 예측 정확도와 제어 성능 사이의 관계가 피드백 루프의 업데이트 빈도에 의해 매개된다는 점을 강조합니다.