기술 요약: CreFlow: 희소 보상 체감형 비디오 확산 RL 을 위한 교정적 리플로우

1. 문제 제기

이질적인 웹 규모 데이터로 훈련된 비디오 생성 모델 (VGM) 은 종종 체감형 조작 작업에 적용될 때 물리적 제약을 위반하는 시각적으로 그럴듯한 롤아웃을 생성합니다. 강화 학습 (RL) 사후 훈련은 이러한 모델을 특정 보상 목표에 정렬시키는 경로를 제공하지만, 기존 접근법은 조작 맥락에서 두 가지 중요한 한계에 직면해 있습니다:

1. 부족한 보상 설계: 현재 비디오-RL 보상은 종종 저수준 시각적 지표 (예: 시각적 품질, 운동 매끄러움, 텍스트 정렬) 나 단일 차점 점수에 의존합니다. 이는 객체 지속성, 운동학적 유효성, 인과적 순서와 같은 여러 논리적 조건의 동시 충족에 성공이 의존하는 조작 작업의 구성적 성격을 포착하지 못합니다. 결과적으로, 객체 텔레포테이션이나 운동학적 위반과 같은 미묘하지만 결정적인 오류를 포함하여 하류 실행 실패로 이어지는 비디오라도 높은 보상 점수를 받을 수 있습니다.
2. 고차원에서의 비효율적 최적화: 조작 비디오는 고차원이지만, 작업 결정적 오류는 종종 희소한 시공간 영역만 차지합니다. 전체 비디오 텐서에 걸쳐 균일한 RL 업데이트를 적용하면 보상과 무관한 픽셀과 시간 단계에 기울기가 낭비됩니다. 이는 이미 그럴듯하거나 작업과 무관한 영역을 교란시켜, 특히 희소 이진 보상을 다룰 때 매니폴드 이탈과 정책 붕괴를 초래할 수 있습니다.

2. 방법론: CreFlow

저자들은 희소 구성 보상을 사용하여 체감형 비디오 확산 모델을 사후 훈련하기 위한 온라인 RL 프레임워크인 CreFlow(Corrective Reflow) 를 제안합니다. 이 프레임워크는 구성 제약 기반 보상 모델과 새로운 훈련 목적 함수로 구성된 두 가지 주요 구성 요소로 이루어져 있습니다.

2.1 구성 제약 모니터

전체적 시각 점수에 의존하는 대신, CreFlow 는 작업 성공을 선형 시간 논리 (LTL) 제약의 집합으로 공식화합니다.

• 명세 합성: 주어진 작업 맥락 (지시 및 초기 관찰) 에 대해 코딩 에이전트가 작업별 LTL 공식 $\Phi_c$를 합성합니다. 이 공식은 지속성, 최종 배치, 인과적 결합, 순서라는 네 가지 범주를 다루는 원자 술어 (예: GRASP(arm, cup), IN(cup, drawer)) 의 결합입니다.
• 상태 리프팅 및 평가: 생성된 각 롤아웃에 대해 시스템은 비전 기초 모델 (마스크/궤적을 위한 SAM3, 로봇 상태를 위한 IDM, 속성 확인을 위한 VLM) 을 사용하여 비디오를 상태 궤적으로 리프팅합니다. 유한 궤적 LTL 모니터가 $\Phi_c$에 대해 롤아웃을 평가합니다.
• 출력: 모니터는 이진 성공 레이블 ($r \in \{0, 1\}$) 을 반환하고, 결정적으로 위반 궤적($V$) 을 반환하여 어떤 제약이, 어떤 개체에서, 어떤 시간 단계에 위반되었는지 정확히 식별합니다.

2.2 훈련 목적 함수

CreFlow 는 희소 이진 피드백을 두 가지 주요 손실 함수를 통해 국소화되고 실행 가능한 감독으로 변환합니다:

1. 신용 인식 NFT 손실:

   • 표준 부정 인식 미세 조정 (NFT) 은 업데이트를 균일하게 적용합니다. CreFlow 는 롤아웃 그룹에서 위반 궤적을 집계하여 **시공간 마스크 ($M$)**를 구성합니다.
   • 이 마스크는 작업 실패를 일으킨 특정 개체와 프레임을 식별합니다.
   • 손실은 양 - 음 속도 대비를 이 마스크로 제한하여 RL 업데이트를 보상 관련 영역으로 국한합니다. 이는 모델이 비디오의 무관하고 그럴듯한 영역을 교란하는 것을 방지합니다.

2. 교정적 리플로우 손실:

   • 기존 방법들은 종종 고립된 실패 롤아웃을 처리하거나 정책의 지수 이동 평균 (EMA) 을 기반으로 한 반사된 목표를 사용하여 노이즈를 유발합니다.
   • CreFlow 는 동일한 초기 관찰과 지시 하에 생성된 그룹 내 성공 롤아웃을 집계하여 경험적 평균 ($\bar{x}^+_0$) 을 형성합니다.
   • 이 평균은 위반 영역에서 실패 롤아웃을 위한 명시적인 교정 목표로 작용합니다. 단순히 부정 샘플을 억제하는 대신, 모델은 동일한 조건 내 성공 결과의 분포로 이동하도록 명시적으로 안내받습니다.

최종 목적 함수는 신용 인식 NFT 손실, 교정적 리플로우 손실, 그리고 고정된 참조 정책과의 KL 정규화기를 결합합니다.

3. 주요 기여

1. 구성 제약 기반 보상 모델: 저자들은 작업 요구 사항을 LTL 제약으로 자동 공식화하는 보상 모델을 도입합니다. 이는 하류 실행과 정렬된 충실한 이진 성공 신호를 제공할 뿐만 아니라, 희소 보상 학습에 필수적인 국소화된 진단 정보(제약, 개체, 프레임별 위반) 를 제공합니다.
2. CreFlow 프레임워크: 희소 구성 위반을 국소화된 교정 추정기로 변환하는 새로운 온라인 RL 프레임워크입니다. 이는 다음을 독특하게 결합합니다:
   • 실패 관련 시공간 영역으로 업데이트를 제한하는 신용 인식 NFT 손실.
   • 그룹 내 긍정 샘플을 명시적 교정 목표로 사용하여 훈련을 안정화하고 분산을 줄이는 교정적 리플로우 손실.
3. 경험적 검증: RoboTwin 의 여덟 가지 양손 조작 작업에 대한 광범위한 실험은 CreFlow 가 기존 비디오-RL 베이스라인 및 정책 수준 참조를 능가함을 보여줍니다.

4. 실험 결과

이 논문은 여덟 가지 RoboTwin 양손 조작 작업 (예: 픽 - 앤 - 플레이스, 관절형 조작, 다중 객체 배치) 에서 CreFlow 를 평가합니다.

• 하류 성공: CreFlow 는 기본 Vidar 모델 대비 평균 23.8 퍼센트 포인트만큼 하류 실행 성공률을 향상시켰으며, 다른 RL 사후 훈련 방법 (DanceGRPO, DiffusionNFT) 과 보상 베이스라인 (EVA, WMReward) 보다 현저히 우수한 성능을 보였습니다.
• 보상 충실도: 구성 보상 모델은 인간 성공 레이블과 88.0% 일치를, 시뮬레이션 실행 레이블과 91.0% 일치를 달성하여 연속 보상 모델 및 VLM-as-judge 베이스라인을 크게 능가했습니다.
• 훈련 효율성: CreFlow 는 베이스라인보다 빠르게 수렴하고 더 높은 누적 보상에 도달합니다. 제거 실험은 신용 인식 마스크와 교정적 리플로우 손실 모두 필요함을 확인시켜 주며, 둘 중 하나를 제거하면 성능 저하나 불안정한 훈련으로 이어집니다.
• 정성적 분석: 시각적 제거 실험은 신용 인식 마스크가 없으면 표준 RL 업데이트가 작업 외 영역 (예: 배경 객체) 을 저하시키는 반면, CreFlow 는 비중요 영역에서 사전 훈련된 사전 지식을 유지하면서 작업별 실패를 교정함을 보여줍니다.

5. 중요성 및 주장

이 논문은 CreFlow 가 체감형 비디오 생성의 근본적인 격차, 즉 글로벌 시각적 그럴듯함과 물리적 조작의 논리적 구성적 요구 사항 사이의 불일치를 해결한다고 주장합니다.

• 충실한 평가: 저수준 시각적 지표에서 논리 기반 검증으로 전환함으로써, CreFlow 는 시각적으로 좋지만 물리적으로 실패하는 비디오에서의 성공 "환각"을 피하고 작업 성공과 진정으로 정렬된 보상 신호를 제공합니다.
• 희소 보상 처리: 이 프레임워크는 최적화가 실패의 특정 영역으로 국소화되고 성공 샘플에서 파생된 명시적 교정 목표에 의해 안내된다면, 희소 이진 보상을 고차원 비디오 생성에 효과적으로 활용할 수 있음을 보여줍니다.
• 실용적 영향: 이 방법은 조밀하고 수동으로 제작된 보상을 필요로 하지 않고도 특정 로봇 작업을 위한 범용 비디오 모델의 사후 훈련을 가능하게 하여 실행 성공률을 크게 향상시킵니다.

한계: 저자들은 현재 모니터가 2D 이미지 평면 상태에 대해 추론하며 미세한 3D 공간 관계를 완전히 해결할 수 없다고 인정합니다. 깊이 또는 3D 상태 추정을 통한 제약 평가 확장을 향후 작업 방향으로 제시합니다.