🤖 AI

Recurrent Reasoning with Vision-Language Models for Estimating Long-Horizon Embodied Task Progress

이 논문은 긴 시간의 embodied 작업 진행 상황을 효율적으로 추정하기 위해 국소 비디오 조각을 반복적으로 처리하며 전역적 맥락을 유지하는 재귀적 추론 프레임워크인 $\text{R}^2$ VLM 을 제안하고, 이를 통해 기존 방법의 계산 비용 문제와 추론 능력 부족을 해결하여 새로운 최첨단 성능을 달성했다고 요약할 수 있습니다.

원저자: Yuelin Zhang, Sijie Cheng, Chen Li, Zongzhao Li, Yuxin Huang, Yang Liu, Wenbing Huang

게시일 2026-03-19

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yuelin Zhang, Sijie Cheng, Chen Li, Zongzhao Li, Yuxin Huang, Yang Liu, Wenbing Huang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🤖 "R2VLM": 로봇이 일을 할 때 "지금 어디까지 했지?"를 스스로 알아내는 똑똑한 비서

이 논문은 로봇이나 AI 에이전트가 오랜 시간 동안 여러 단계로 이루어진 복잡한 일(예: "커피 한 잔 만들어줘", "요리해줘")을 할 때, 지금 진행률이 정확히 얼마나 되었는지를 스스로 파악하고 관리하는 새로운 기술을 소개합니다.

기존의 AI들은 긴 영상을 다 보느라 머리가 터지거나, 단순히 "시간이 지났으니 조금은 했겠지"라고 추측하는 수준이었습니다. 하지만 이 연구의 R2VLM은 마치 현명한 요리사처럼, "어떤 재료를 다듬었는지, 어떤 단계는 건너뛰었는지"를 논리적으로 따져가며 진행률을 계산합니다.

🍳 핵심 아이디어: "요리사"와 "메모장"의 조합

이 기술을 이해하기 위해 요리사와 메모장 비유를 들어보겠습니다.

1. 기존 방식의 문제점: "한 번에 모든 영상을 보는 요리사"

기존 AI는 "요리 시작부터 끝까지" 모든 영상을 한 번에 다 보려고 했습니다.

문제: 요리 시간이 길어질수록 영상 데이터가 너무 많아져서 컴퓨터가 버거워합니다 (비유하자면, 100페이지 레시피를 한 번에 외우려다 머리가 아픈 상황).
결점: "지금 뭐가 됐지?"를 논리적으로 생각하기보다, 영상 속 장면을 단순히 인식하는 데 그쳤습니다.

2. R2VLM의 해결책: "조금씩 보며 메모하는 요리사"

R2VLM은 두 가지 핵심 전략을 사용합니다.

전략 A: "조금씩 보는 것" (Local Snippets)
- 요리사가 모든 영상을 한 번에 보지 않고, **현재 진행 중인 장면 **(예: 계란을 깨는 2초)만 봅니다.
- 장점: 컴퓨터 부담이 훨씬 줄어듭니다. 실시간으로 빠르게 반응할 수 있습니다.
전략 B: "계속 업데이트되는 메모장" (Recurrent Chain of Thought)
- 이것이 이 기술의 가장 큰 마법입니다.
- 요리사는 현재 장면만 보는 게 아니라, **이전까지 무엇을 했는지 적어둔 메모장 **(CoT)을 계속 들고 다닙니다.
- **새로운 장면 **(예: 소금을 뿌림)을 보면, 메모장을 꺼내서 *"아, 이전에 계란을 깼고, 이제 소금을 뿌렸네. 그럼 '계란 프라이' 단계는 70% 완료된 거야!"*라고 메모장을 업데이트합니다.
- 이 메모장은 시간이 지나도 사라지지 않고, 과거의 기억과 현재의 상황을 연결해 복잡한 순서 (선후 관계) 를 이해하게 해줍니다.

🧩 어떻게 작동할까요? (3 단계 프로세스)

시작: AI 는 "커피를 만들어줘"라는 명령을 받습니다.
**반복적 추론 **(Recurrent Reasoning)
- 1 단계: 커피 머신 옆으로 가는 장면을 보고, "아, 컵을 찾는 단계는 끝났네"라고 메모장에 적습니다.
- 2 단계: 커피 머신에 컵을 넣는 장면을 보고, 메모장을 보고 *"이전엔 컵 찾기가 끝났고, 지금은 컵을 넣는 중이야. 그럼 전체 작업의 40% 정도 진행됐구나"*라고 계산합니다.
- 3 단계: 만약 실수가 있다면 (예: 커피 대신 물을 넣음), 메모장을 다시 확인하며 *"아, 컵을 넣는 단계는 실패했어. 진행률은 0% 로 유지해야 해"*라고 스스로 수정합니다.
결과: 매 순간마다 **"진행률 **(Progress)을 숫자 (예: 43%) 로 정확히 알려줍니다.

🚀 이 기술이 왜 중요할까요? (실생활 적용)

이 기술은 로봇이 단순히 영상을 보는 것을 넘어, 스스로 판단하고 행동하게 만듭니다.

**🎯 더 똑똑한 학습 **(Policy Learning)
- 로봇이 일을 할 때, "시간이 지났으니 잘하고 있겠지"가 아니라, **"이 단계가 끝났으니 다음 단계로 넘어가자"**는 정확한 신호를 받습니다. 마치 학생이 시험 문제를 풀 때, "시간이 지났으니 다 풀었겠지"가 아니라 "이 문제는 풀었으니 다음 문제로 가자"는 식으로 학습하는 것과 같습니다.
**🎁 즉각적인 보상 **(Reward Modeling)
- 강화학습 (RL) 에서 로봇이 잘하면 "칭찬 (보상)"을 줘야 합니다. 기존에는 "일 끝났으면 칭찬"이었는데, R2VLM 은 **"이 단계만 잘했으니 작은 칭찬을 줘"**라고 세밀하게 보상할 수 있습니다.
**👋 proactive assistance **(선제적 도움)
- 사람이 요리를 할 때, AI 가 "지금 계란을 깼으니 소금 준비를 해두세요"라고 미리 알려줄 수 있습니다. 진행 상황을 실시간으로 파악하기 때문에 가능한 일입니다.

📊 실험 결과: 얼마나 잘할까요?

**시뮬레이션 **(ALFRED) 로봇이 가상 주방에서 요리하는 실험에서, 기존 모델들이 20~30% 오차율을 보인 반면, R2VLM 은 2% 미만의 오차율로 놀라운 정확도를 보여줬습니다.
**실제 영상 **(Ego4D) 실제 사람이 찍은 영상에서도 뛰어난 성능을 보였지만, 실제 환경은 변수가 많아 시뮬레이션보다는 약간 오차가 있었습니다. 그래도 기존 기술들보다 훨씬 뛰어났습니다.

💡 결론

이 논문은 **"긴 작업을 할 때, AI 가 과거의 기억 **(메모장)을 제안합니다.

기존의 AI 가 "영상 전체를 한 번에 보느라 지쳐서" 진행 상황을 놓쳤다면, R2VLM은 **"조금씩 보며 메모를 챙기는 현명한 비서"**처럼 행동하여, 로봇이 복잡한 일을 스스로 계획하고 수행하는 데 필수적인 **'진행 감각'**을 부여합니다. 이는 미래의 가정용 로봇이나 자율 주행 차량이 더 똑똑하고 안전하게 일할 수 있는 토대가 될 것입니다.

1. 문제 정의 (Problem)

체화 에이전트 (Embodied Agents) 가 복잡한 다단계 작업을 수행할 때, 작업 진행도 (Task Progress) 를 정확하게 추정하는 것은 계획 수립과 실행에 필수적입니다. 그러나 기존 방법론들은 다음과 같은 한계를 가지고 있습니다:

추론 능력의 미활용: 기존 비전 - 언어 모델 (VLM) 기반 방법론들은 주로 비디오 이해 능력과 긴 컨텍스트 윈도우에 의존할 뿐, 작업의 복잡한 시간적 의존성을 해결하기 위한 심층 추론 (Reasoning) 능력을 충분히 활용하지 못합니다.
계산 비용의 비효율성: 긴 비디오 궤적 (Long video trajectories) 을 전체적으로 VLM 에 입력하면, 실제 배포에 필요한 실시간성과 계산 효율성이 떨어집니다. 긴 시퀀스를 처리하는 데 드는 계산 비용이 prohibitively high(부담스러울 정도로 높음) 합니다.

2. 제안 방법론: R2VLM (Methodology)

저자들은 **R2VLM (Recurrent Reasoning Vision-Language Model)**을 제안합니다. 이는 전체 비디오를 한 번에 처리하는 대신, **국소적인 비디오 스니펫 (Local Video Snippets)**을 반복적으로 처리하면서 **진화하는 사고의 사슬 (Evolving Chain of Thought, CoT)**을 통해 전역적 맥락을 유지하는 구조를 가집니다.

핵심 구성 요소

반복적 추론 프레임워크 (Recurrent Reasoning Framework):
- 모델은 전체 비디오 대신 짧은 비디오 스니펫 (예: 4 초 단위) 을 입력받습니다.
- 각 시간 단계 $t$ 에서 모델은 **이전 단계의 CoT ( $c_{t-1}$ )**와 **현재 관찰된 비디오 스니펫 ( $v_t$ )**을 입력으로 받아, **업데이트된 CoT ( $c_t$ )**와 **진행도 ( $p_t$ )**를 출력합니다.
- 이 방식은 긴 비디오 처리로 인한 계산 과부하를 피하면서도, CoT 를 통해 작업의 전역적 맥락 (Global Context) 을 유지합니다.
동적 CoT 구조 (Dynamic CoT Structure):
- CoT 는 작업 분해 (Task Decomposition), 관찰된/관찰되지 않은 핵심 단계 분석, 그리고 완료된 단계 비율에 기반한 진행도 추정으로 구성됩니다.
- 환경이 부분적으로만 관찰되므로, 모델은 새로운 비디오 스니펫을 바탕으로 초기 작업 분해를 동적으로 수정 (병합, 분할, 재배열) 할 수 있습니다. 이는 논리적 일관성과 안정성을 보장합니다.
데이터 구축 및 학습 전략:
- 데이터셋: ALFRED(시뮬레이션) 와 Ego4D(실세계) 데이터셋에서 전문가 시연 데이터를 기반으로 대규모 자동 생성 파이프라인을 구축했습니다. 여기에는 방해 요소 (Distractor) 작업 설명이 포함된 데이터도 포함되어 모델이 시각적 단서에만 의존하지 않고 작업 구조를 추론하도록 합니다.
- 학습 단계:
  1. 지도 미세조정 (SFT): 고품질 CoT 데이터로 모델에게 작업 분해 및 진행도 추정 패턴을 학습시킵니다.
  2. 강화 학습 (RL): PPO(Proximal Policy Optimization) 알고리즘을 사용하여 다단계 추론 능력을 향상시킵니다.
- 보상 함수 (Reward Design):
  - Format Reward: 출력 형식 준수 여부.
  - Bin Reward: 예측 진행도가 올바른 단계 구간 (Interval) 에 있는지 확인.
  - MAE Reward: 예측과 정답 간의 절대 오차 최소화.
  - Improvement Reward: 이전 턴보다 오류가 감소했는지 확인 (반복적 추론 능력 강화).
  - Finish Reward: 작업 완료 신호의 정확성 평가.

3. 주요 기여 (Key Contributions)

새로운 아키텍처: 긴 비디오를 처리하지 않고도 전역적 맥락을 유지하며 복잡한 시간적 의존성을 추론할 수 있는 반복적 추론 VLM을 최초로 제안했습니다.
효율성과 정확성의 동시 달성: 전체 비디오 입력 대비 계산 비용을 획기적으로 줄이면서도, 기존 방법론보다 훨씬 정확한 진행도 추정을 가능하게 했습니다.
다양한 다운스트림 애플리케이션: 단순한 진행도 추정을 넘어, 정책 학습 (Policy Learning) 강화, 강화 학습용 보상 모델링, 적극적 보조 (Proactive Assistance) 등 다양한 체화 AI 작업에 적용 가능성을 입증했습니다.
대규모 벤치마크 및 오픈 소스: ALFRED 와 Ego4D 에서 대규모 데이터셋을 구축하고, 모델과 벤치마크를 공개하여 연구 커뮤니티에 기여했습니다.

4. 실험 결과 (Results)

성능 (State-of-the-Art): ALFRED 와 Ego4D 벤치마크에서 기존 VLM 기반 방법론 (GVL, ROVER 등) 과 대형 API 모델 (GPT-5, Gemini 등) 을 모두 압도했습니다.
- ALFRED: 진행도 평균 절대 오차 (pMAE) 가 2.19로, 기존 최상위 모델 (Qwen2.5-VL-72B 기준 24.88) 대비 압도적인 개선을 보였습니다.
- Ego4D: 실세계 데이터에서도 pMAE 19.25 를 기록하며 강력한 일반화 능력을 입증했습니다.
다운스트림 작업 효과:
- 정책 학습: 시간 기반 진행도 대신 R2VLM 이 추정한 진행도를 사용하면 에이전트의 작업 성공률이 유의미하게 향상되었습니다.
- 보상 모델링: 희소 보상 (Sparse Reward) 대신 R2VLM 이 제공하는 밀집 보상 (Dense Reward) 을 사용하여 강화 학습을 수행한 결과, 에이전트의 행동 순서 정확도가 크게 개선되었습니다.
- 적극적 보조: 실시간 비디오 스트림을 분석하여 단계별 완료 상태를 사용자에게 제공하며, 교육 및 접근성 분야에서 활용 가능성을 보였습니다.
추론 시간: 전체 비디오 입력 방식은 비디오 길이에 비례하여 추론 시간이 증가하는 반면, R2VLM 은 일정하게 유지되어 실시간 적용에 적합함을 증명했습니다.

5. 의의 및 결론 (Significance)

이 논문은 체화 AI 가 장기적인 다단계 작업을 수행할 때 겪는 진행도 추정의 어려움을 해결하기 위해, VLM 의 추론 능력을 체계적으로 활용하고 계산 효율성을 극대화한 새로운 패러다임을 제시했습니다.

R2VLM 은 단순히 비디오를 "이해"하는 것을 넘어, 작업의 논리적 구조를 "추론"하고 "수정"하며 진행도를 계산함으로써, 실제 로봇 및 에이전트 시스템에 적용 가능한 안정적이고 정확한 진행도 추정 솔루션을 제공합니다. 이는 복잡한 환경에서의 자율 에이전트 개발과 인간 - 로봇 협업 시스템의 발전에 중요한 기여를 할 것으로 기대됩니다.