기술 요약: CollabVR – 비전 - 언어 및 비디오 생성 모델을 활용한 협업적 비디오 추론

1. 문제 제기

최근 "비디오를 통한 사고 (Thinking with Video)" 분야의 발전은 정적 이미지 기반 추론을 넘어, 추론 산출물로서 시간적으로 일관된 "프레임 체인 (Chain-of-Frames)"을 생성하기 위해 비디오 생성 모델 (VGM) 을 활용하는 방식을 도입했습니다. 그러나 해당 논문은 목표 지향적 다단계 시각적 추론 작업에 적용될 때, 강력한 VGM 조차도 두 가지 반복적인 실패 모드를 보인다고 지적합니다.

1. 장기적 드리프트 (과부하된 프롬프트 실패): 단일 프롬프트가 복잡하고 다단계인 작업을 지정할 때, VGM 은 전체 궤적을 짧은 시간 범위 (short-horizon) 의 rollout 으로 압축하려 시도합니다. 작업을 일관된 하위 목표로 분해할 역량이 부족하기 때문에, 생성물이 의도된 경로에서 벗어납니다.
2. 실행 실패 (클립 중간 시뮬레이션 오류): 단일 짧은 클립 내에서도 VGM 은 국소적 오류 (예: 에이전트가 벽을 통과함, 객체의 정체성 상실, 또는 하위 동작의 조기 정지) 를 범합니다. 이러한 오류는 후속 프레임으로 전파되어 전체 궤적을 오염시킵니다.

두 가지 실패 모두 VGM 의 짧은 시간 범위 시각적 사전 지식 (visual prior) 위에 구축된 명시적이고 수정 가능한 추론 과정의 부재에서 비롯됩니다. 비전 - 언어 모델 (VLM) 은 논리적 추론과 계획 수립에 뛰어나지만, 시각적 시뮬레이션에는 약합니다. 반면 VGM 은 시뮬레이션에는 강하지만 추상적 추론에는 약합니다. $k$번의 시도 중 최선의 샘플을 선택하는 Pass@k 와 같은 기존 접근법이나 전체 비디오에 걸쳐 프롬프트를 정제하는 VideoTPO 와 같은 방법들은 사후 (post-hoc) 개입이 너무 늦거나 실현된 생성에 기반하여 계획을 적응시키지 않기 때문에 이러한 문제를 효과적으로 해결하지 못합니다.

2. 방법론: CollabVR

저자들은 CollabVR(VLM-VGM 협업적 비디오 추론) 을 제안합니다. 이는 VLM 과 VGM 을 **단계별 세분성 (step-level granularity)**으로 결합한 폐쇄 루프형 테스트 시간 프레임워크입니다. 생성 전에 전체 시퀀스를 확정하는 사전 계획 (pre-planning) 접근법과 달리, CollabVR 은 적응적으로 작동합니다.

이 프레임워크는 두 개의 긴밀하게 결합된 모듈로 구성됩니다.

A. VLM 주도 점진적 계획 (모듈 1)

이 모듈은 장기적 드리프트를 해결합니다. 전체 작업을 처음부터 분해하는 대신, VLM 플래너 ($\pi_{plan}$) 는 실시간으로 단계 수를 결정하고 이전에 생성된 프레임 (히스토리 $H$) 에 조건을 두어 직접 다음 행동만을 계획합니다.

• 메커니즘: VLM 은 입력 이미지, 작업 프롬프트, 히스토리를 수신한 후 다음 짧은 클립 ($a_t$) 을 위한 프롬프트를 출력합니다.
• 적응성: 총 단계 수 $N$은 초기에 고정되지 않으며, 하이퍼파라미터 $N_{max}$로 상한이 설정되지만 작업 완료 여부에 따라 동적으로 결정됩니다. 이를 통해 시스템은 경직된 사전 분해가 아닌 실제 생성 품질에 적응할 수 있습니다.

B. VLM-VGM 협업적 추론 (모듈 2)

이 모듈은 실행 실패를 해결합니다. VGM 이 행동 프롬프트에 기반하여 클립 ($c_t$) 을 생성한 후, VLM 검증기 ($\pi_{verify}$) 가 해당 클립을 검사합니다.

• 검증: 검증기는 $(v, d)$ 형태의 구조화된 판단을 출력합니다. 여기서 $v \in \{accept, reject\}$이며, $d$는 텍스트 기반 이유와 수정을 위한 실행 가능한 제안을 포함합니다.
• 프롬프트 진화: 클립이 거부되면, 검증기의 제안이 다음 행동 프롬프트에 직접 반영되어 ($a_t \leftarrow evolve(a_t, d)$) 특정 실패 (예: 방향 또는 목표 수정) 를 수정한 후 VGM 을 재샘플링합니다. 이는 재시도 예산 $M$ 내에서 동일한 단계 내에서 발생합니다.
• 진행: 승인된 경우에만 클립이 히스토리 $H$에 추가되며, 루프는 다음 단계 계획을 위해 진행됩니다.

전체 과정은 알고리즘 1에 공식화되어 있으며, 작업이 완료되거나 단계 예산이 소진될 때까지 계획, 생성, 검증, 그리고 잠재적 재생성을 반복합니다.

3. 주요 기여

1. 장기적 드리프트에 대한 점진적 계획: VLM 이 단계 수를 동적으로 결정하고 직접 다음 행동만을 출력하는 적응형 계획 모듈로, 사전 계획의 확정 오류를 방지합니다.
2. 실행 실패에 대한 협업적 추론: VLM 이 각 클립을 검증하고 특정 오류를 진단하며, 국소적 실패가 누적되기 전에 다음 행동 프롬프트를 수정하여 복구하는 실패 인지 개입 모듈입니다.
3. 일치된 연산 비용에서의 일관된 성능 향상: 생성 비용이 일치할 때, 단일 추론, Pass@k, 그리고 이전 테스트 시간 확장 기준 (VideoTPO 등) 에 비해 오픈소스 및 클로즈드 소스 VGM 모두에서 성능을 향상시킵니다.
4. 파인튜닝과의 직교성: 이 방법은 추론 파인튜닝된 VGM 위에서도 추가적인 개선을 제공하여, 단계별 VLM 감독이 추론 지향적 모델 학습과 직교하며 적층 가능함을 시사합니다.

4. 실험 결과

저자들은 Gen-ViRe(72 개 샘플, 6 개 카테고리) 와 VBVR-Bench(500 개 샘플, 도메인 내 및 도메인 외 분할) 에서 CollabVR 을 평가했습니다.

• 테스트된 모델: 오픈소스 (VBVR-Wan2.2, Cosmos-Predict-2.5) 및 클로즈드 소스 (Veo 3.1).
• 기준 모델: 단일 추론, Pass@2/4, VideoTPO.
• 성능:
  • Gen-ViRe에서 CollabVR 은 VBVR-Wan2.2 를 0.391(Pass@1) 에서 0.531로, Veo 3.1 을 0.481 에서 0.550으로 향상시켰습니다. 이러한 향상은 복잡한 추론이 필요한 계획 및 알고리즘 카테고리에서 가장 두드러졌습니다.
  • VBVR-Bench에서 CollabVR 은 기준 모델들을 일관되게 능가했으며, VBVR-Wan2.2 는 0.671 에서 0.757로 향상되었습니다.
  • 비용 효율성: CollabVR 은 Pass@k 및 VideoTPO 에 비해 더 낮은 생성 예산에서 더 높은 점수를 달성했습니다. 예를 들어, Gen-ViRe 에서 CollabVR 은 VideoTPO 보다 현저히 적은 생성 시간으로 더 높은 점수에 도달했습니다.
• 절대 실험 (Ablation Studies):
  • 두 모듈 (점진적 계획 및 협업적 추론) 모두 긍정적으로 기여하지만, 그 우세성은 작업 복잡도에 따라 변합니다. 점진적 계획 (M1) 은 다단계 작업 (Gen-ViRe) 에 더 중요하며, 검증/복구 (M2) 는 단일 단계 작업 (VBVR-Bench) 에 더 큰 영향을 미칩니다.
  • 이 프레임워크는 다양한 VLM(Gemini 2.5 Pro, Qwen3.5-27B, Qwen3.5-9B) 과 함께 작동하지만, 약한 플래너/검증기의 경우 성능이 점진적으로 저하됩니다.
• 인간 평가: 사용자 연구에서 인간 주석가는 Pass@4(73.8% 대 19.7%) 및 Pass@1 보다 CollabVR 출력을 선호했습니다. 인간이 주석한 벤치마크는 VLM 의 계획 깊이, 검증, 진화 결정이 전문가 판단과 잘 부합함을 확인했습니다.

5. 중요성 및 주장

이 논문은 CollabVR이 목표 지향적 비디오 생성에 개별적으로 불완전할 수 있는 강력한 범용 VLM 과 VGM 이 단계별 세분성으로 결합되어 폐쇄 루프 추론 시스템을 구성할 수 있음을 보여준다고 주장합니다.

• 패러다임의 전환: 이 연구는 비디오 추론의 미래가 점점 더 큰 엔드 - 투 - 엔드 생성기를 훈련하는 데 있기보다, 전문화된 모델 (감독자로서의 VLM, 시뮬레이터로서의 VGM) 간의 풍부한 추론 시간 협업에 더 있음을 논합니다.
• 학습 불필요 (Training-Free): 이 프레임워크는 추가 학습 없이 기존 상용 모델을 활용하여 작동합니다.
• 해석 가능성: 각 단계의 검증 결정과 프롬프트 진화가 이산적 산출물로서 노출되므로, 생성된 궤적은 단일 샷 출력보다 더 해석 가능하고 감사 가능합니다.
• 한계: 저자들은 테스트 시간 오케스트레이션이 VGM 의 근본적인 능력 격차 (예: 심볼릭 변환 또는 약한 단계별 지시 따르기) 를 극복할 수는 없다고 겸손하게 지적합니다. VGM 이 변환을 근사할 수 없다면, 분해가 그 능력을 만들어낼 수는 없습니다. 또한, 검증기는 불변하지 않으며, 검증기가 오류를 감지하지 못하면 오류가 여전히 전파될 수 있습니다.

요약하자면, CollabVR 은 계획과 검증을 생성에 직접 결합하는 단계별 폐쇄 루프 감독 메커니즘을 도입함으로써, 현재 VGM 의 추론 작업에서 발생하는 특정 실패 모드를 완화하는 견고하고 학습 불필요한 메커니즘을 제공합니다.