기술 요약: ProcVLM

문제 제기

장기적 로봇 조작은 궤적 수준의 이진 성공/실패 결과에만 의존하는 것이 아니라, 절차적 단계를 통해 작업 진행을 정확하게 반영하는 밀집된 피드백 신호를 필요로 합니다. 기존 보상 모델은 종종 희소 말단 레이블이나 시간 기반 보간에 의존합니다. 저자들은 이러한 접근 방식이 미완료 단계, 정체, 그리고 실패 복구와 같은 중요한 상태를 포착하지 못한다고 주장합니다. 왜냐하면 복잡한 조작 작업에서 경과한 시간이 반드시 실제 작업 진행과 상관관계가 있기 때문이죠. furthermore, 대부분의 대규모 로봇 데이터셋은 절차적 구조 (예: 서브태스크 경계 및 남은 동작) 에 대한 명시적 주석이 부족하여, 보상 모델이 시간적 대리 변수와 의미적 진행을 혼동하는 간접 감독에 의존하도록 만듭니다.

방법론

1. 절차적 감독 합성 (ProcCorpus-60M)

밀집된 절차적 감독의 부족을 해결하기 위해, 저자들은 원시 로봇 궤적에서 프레임 단위 주석을 합성할 수 있는 확장 가능한 파이프라인을 개발했습니다.

• 계층적 주석: 대규모 비전 - 언어 모델 (VLM) 을 주석가로 활용하여, 파이프라인은 먼저 전체 비디오에서 고수준 작업 계획과 서브태스크의 시간적 범위를 추론합니다. 그런 다음 이러한 세그먼트를 프레임 단위 할당으로 확장하여 시각적으로 중복 제거된 키프레임에서 추론 단서 (상태 추론, 완료 상태, 남은 동작) 를 생성합니다.
• 데이터셋 구성: 이 파이프라인은 30 개의 임베디드 데이터셋 (DROID, BridgeData V2, Fractal, 시뮬레이션 벤치마크 포함) 에 적용되어 40 만 개 이상의 궤적과 6 천만 개의 주석 프레임이 포함된 ProcCorpus-60M을 산출했습니다.
• 진행 라벨링: 연속적인 진행 목표는 서브태스크 수준의 구조와 서브태스크 내 시각적 운동을 결합하여 유도됩니다. 각 서브태스크에는 상대적 지속 시간에 기반한 진행 예산이 할당되며, 이 예산은 단순한 선형 시간 보간을 피하면서 국소적 시각적 변화 ($\|\dot{\phi}(\tau)\|$) 에 따라 시간에 따라 분배됩니다.

2. ProcVQA 및 학습 패러다임

주석들은 작업 진행 추정을 중심으로 한 20B 토큰 학습 코퍼스인 ProcVQA로 변환됩니다. 학습은 "추론 후 추정" 패러다임을 따르며, 모델은 연속적인 진행 점수를 예측하기 전에 먼저 현재 실행 단계와 남은 원자적 동작을 추론해야 합니다.

• 작업 계열:
  • 서브태스크 구조 진행 예측: 모델은 <progress> 태그로 감싸진 연속적인 완료 백분율에 이어지는 남은 원자적 서브태스크를 출력합니다.
  • 동작 분할: 원자적 동작의 시간적 경계를 예측합니다.
  • 미래 계획: 작업을 완료하는 데 필요한 남은 동작의 시퀀스를 예측합니다.
• 아키텍처: ProcVLM 은 Qwen3-VL-2B-Instruct 백본을 기반으로 구축되었습니다. 텍스트 생성을 위한 표준 자기회귀 언어 모델링 헤드와 연속 회귀를 위한 전용 진행 값 헤드(3 층 MLP) 를 활용합니다.
• 학습 목적: 결합 손실 함수는 진행 점수에 대한 회귀 손실 ($L_{value}$) 과 언어 모델링 손실 ($L_{LM}$) 을 결합합니다. 게이트 메커니즘은 진행 감독이 존재할 때만 값 헤드를 활성화합니다.
• 2 단계 학습:
  1. 사전 학습: 일반적인 절차적 표현을 학습하기 위해 전체 ProcVQA 데이터셋 (~20B 토큰) 에 대한 대규모 학습.
  2. 정제: 서브태스크 정렬 및 진행 추정을 정교하게 하기 위해 선별된 고품질 부분집합 (~2.8B 토큰) 에 대한 미세 조정.

주요 기여

1. ProcVLM: 밀집된 절차 기반 보상을 예측하는 진행 인식 임베디드 VLM 입니다. 추론 후 추정 패러다임을 통해 연속적인 진행 추정을 서브태스크 의미, 남은 동작, 그리고 단계 내 진행과 연결합니다.
2. 확장 가능한 감독 파이프라인: 원시 조작 궤적을 프레임 단위 서브태스크 구조 주석으로 변환하는 방법으로, ProcCorpus-60M과 ProcVQA 벤치마크를 산출합니다.
3. 체계적 평가: 절차 인식 이해, 보상 모델링, 작업 간 적응, 그리고 하위 정책 최적화에 대한 포괄적인 평가.

실험 결과

임베디드 절차적 이해 (ProcVQA)

분포 내 (ID) 및 분포 외 (OOD) 분할에서 평가된 ProcVLM 은 동작 분할, 미래 계획, 작업 진행 추정을 포함한 GPT-5.4, Gemini 3.1 Pro, Qwen3.5 를 포함한 주요 VLM 들보다 성능이 뛰어났습니다. 이는 BF1@5, Success, VOC (Value-Order Correlation), EPR@50 (Effective Progress Resolution) 점수에서 가장 높은 수치를 기록함으로써 입증되었습니다.

일반화 가능한 진행 보상 평가

• Zero-Shot 비교: ProcVQA-OOD 부분집합에서 ProcVLM 은 Robometer 및 RoboDopamine 과 같은 베이스라인에 비해 우수한 궤적 내부 진행 순서를 나타내는 최고의 VOC 를 달성했습니다.
• One-Shot 적응: 실제 로봇 실패 분석 벤치마크인 RoboFAC 에서 단일 성공적인 데모를 추가하면 ProcVLM 의 VOC 는 85.7%, MCC 는 18.8% 향상되었습니다. 반면 Robometer 와 같은 베이스라인은 미미한 개선만 보여, 희소 선호 감독이 단일 데모 적응에는 덜 효과적임을 시사합니다.
• Ablation 연구: 절차 인식 사전 학습을 제거하면 심각한 저하 (예: 고장 국소화에서 MAE -88.8%) 가 발생하여, 대규모 사전 학습이 이전 가능한 진행 인식에 필수적임을 확인했습니다. 추론 형식 감독을 제거하는 것도 일관된 감소를 초래하여 명시적 서브태스크 구조의 중요성을 강조했습니다.

하위 정책 최적화

Evo-RL 프레임워크를 사용한 보상 안내 미세 조정 (RFT) 실험에서:

• 시뮬레이션 (LIBERO-10): ProcVLM 보상을 사용한 RFT 는 지도 미세 조정 (SFT) 대비 중간 정도의 개선 (+0.4~+1.2 퍼센트 포인트) 을 보였습니다.
• 실제 로봇 (Stack Bowls): RFT 는 SFT 대비 5k 스텝에서 성공률 +25.0%, 10k 스텝에서 +12.5% 증가하는 상당한 개선을 보여주었습니다. 저자들은 원격 조작 데이터에서 반복적인 그리프 재시도와 같은 노이즈가 있는 세그먼트를 ProcVLM 이 하중을 줄여 정책 최적화를 안정화하기 때문이라고 설명합니다.

중요성과 주장

이 논문은 절차 기반 진행 추정이 로봇 공학에서 이전 가능한 보상 모델링을 위한 핵심 촉진제라고 주장합니다. 시간적 대리 변수가 아닌 절차적 구조에 진행을 근거로 함으로써, ProcVLM 은 특히 노이즈가 많은 실제 로봇 데이터와 장기적 작업을 포함하는 시나리오에서 안정적인 정책 개선을 지원하는 차별화된 피드백을 제공합니다. 이 연구는 작업 및 실패 모드 전반에 걸쳐 일반화될 수 있는 보상 모델을 개발하기 위해 대규모 절차 인식 사전 학습이 유망한 경로임을 시사하며, 오프라인 데모를 넘어선 보상 안내 정책 최적화를 용이하게 합니다.

저자들은 한계를 인정하며, 추정치는 서브태스크 분해의 품질에 의존하며 현재 작업은 모든 정책 경사 또는 선호 기반 통합을 포괄적으로 다루기보다는 특정 보상 안내 최적화 설정에 초점을 맞추고 있음을 명시합니다.