기술 요약: CaC – 계층적 시공간 집중을 통한 비디오 보상 모델 고도화

문제 제기

최근 비디오 생성 모델은 전역적 시각 충실도 측면에서 괄목할 만한 진전을 이루었습니다. 그러나 복잡한 동적 콘텐츠를 합성할 때, 구조적 왜곡, 물리 법칙 위반, 시간적 불일치, 손상된 텍스트와 같은 희소하고 미묘한 이상 현상이 빈번하게 발생하며, 이는 종종 작은 영역이나 짧은 시간 창에 국한됩니다. 기존 비디오 보상 모델은 전반적인 시각적 품질과 텍스트 정렬을 주로 강조합니다. 생성 품질이 향상됨에 따라 이러한 거시적 결함은 덜 빈번해지지만, 희소한 구조적 및 시간적 이상 현상은 여전히 중요한 병목 현상으로 남습니다. 현재 모델들은 미세한 시공간 지각 능력의 부재로 인해 방대한 양의 정상 컨텍스트 속에서 이러한 약한 이상 신호를 분리해 내는 데 어려움을 겪으며, 이로 인해 미묘한 할루시네이션을 간과하는 전역적 비디오 수준 추론이 초래됩니다.

방법론

본 논문은 이러한 희소한 이상 현상을 탐지하고 국소화하기 위해 거시적에서 미시적, 2 턴 계층적 전략을 통해 설계된 비전 - 언어 모델 (VLM) 기반 보상 모델인 **CaC(Concentrate and Concentrate)**를 제안합니다.

1. 데이터셋 구축

모델을 훈련하고 평가하기 위해 저자들은 생성된 비디오의 희소 이상 현상을 위한 첫 번째 대규모 데이터셋 (~3 만 개 비디오) 을 구축했습니다. 주요 특징은 다음과 같습니다:

• 미세 단위 주석: 프레임별 바운딩 박스, 시간적 이상 창, 이상 유형, 그리고 귀속 이유.
• 이상 분류 체계: 단일 프레임에서 인식 가능한 이상 현상 (객체/인간 왜곡) 과 다중 프레임 이상 현상 (운동 이상, 물리 법칙 위반, 캐릭터 이상) 을 포괄합니다.
• CoT 합성: 전문가 수동 라벨링과 VLM 기반 사고의 사슬 (Chain-of-Thought, CoT) 합성을 결합한 파이프라인으로, 고품질 추론 데이터를 보장하기 위해 생성 - 검증 프로세스를 활용합니다.

2. 3 단계 점진적 훈련

CaC 는 계층적 집중 능력을 구축하기 위해 3 단계 훈련 패러다임을 사용합니다:

• 1 단계 (단일 프레임 워밍업): 추출된 이상 프레임에서 이상 현상을 인식하고 국소화하는 법을 학습하여, 시각적 단서에서 공간적 기반 및 이상 귀속으로의 매핑을 확립합니다.
• 2 단계 (다중 프레임 SFT): 모델은 시간적 스캐닝을 위한 균일하게 샘플링된 전역 비디오와 공간적 국소화를 위한 밀집하게 샘플링된 클립 모두로 훈련됩니다. 이 단계는 전역 시간적 스캐닝과 미세 단위 공간적 기반을 공동으로 최적화하여, 2 턴 상호작용 형식에 대비합니다.
• 3 단계 (2 턴 GRPO): 모델은 **그룹 상대 정책 최적화 (GRPO)**를 사용하여 2 턴 추론 전략으로 최적화됩니다:
  • 1 턴: 희소한 프레임 시퀀스 (4 fps) 에 대한 전역 시간적 스캔을 수행하여 이상 시간 창을 고정합니다.
  • 2 턴: 예측된 창에서 추출된 밀집하게 샘플링된 클립 (8 fps) 에 대한 미세 단위 공간적 기반을 수행하여 이상 현상을 확인하고 바운딩 박스를 출력합니다.
  • 보상 메커니즘: 표준 정확도 외에도 저자들은 시간적 IoU, 공간적 IoU, 그리고 귀속 IoU 보상을 도입합니다. 이러한 과정 중심 보상은 중간 국소화 단계를 감독하여 모델이 기반을 둔 해석 가능한 시공간 추론을 하도록 이끕니다. 다양한 인식 난이도를 처리하기 위해 중요도 할인 계수가 적용됩니다.

3. 추론 전략

추론 과정은 훈련 전략을 반영합니다:

1. 전역 스캔: 입력 비디오는 다운샘플링 (4 fps) 되어 이상 현상을 탐지하고 시간적 창을 예측하기 위해 분석됩니다.
2. 국소 집중: 예측된 창은 잘려서 밀집하게 재샘플링 (8 fps) 됩니다. 모델은 이 클립에 대해 미세 단위 공간 추론을 수행하여 이상 현상을 확인하고 구체적인 바운딩 박스를 출력합니다.
3. 결정: 두 번째 턴에서 이상 현상이 확인되지 않으면, 비디오는 보수적으로 정상으로 분류됩니다.

주요 기여

1. 데이터셋: 고품질 CoT 합성과 검증 가능한 보상 신호를 지원하기 위해 프레임별 바운딩 박스, 시간적 창, 그리고 미세 단위 귀속 라벨을 갖춘 생성된 비디오의 희소 이상 현상을 위한 첫 번째 대규모 데이터셋 구축.
2. 모델 아키텍처: 미묘한 이상 현상을 탐지하기 위해 계층적 시공간 집중을 활용하는 거시적에서 미시적 2 턴 보상 모델인 CaC 제안. 구조화된 판단을 실행 가능한 보상 피드백으로 전환.
3. 훈련 패러다임: 3 단계 점진적 파이프라인 개발. 특히 RL 단계는 VLM 을 해석 가능한 이상 CoT 추론과 안정적인 판단으로 이끌기 위해 시간적, 공간적, 그리고 귀속 IoU 보상을 도입하여 단순 정확도 지표를 넘어선 접근법을 제시.

결과

광범위한 실험은 희소한 이상 현상 탐지 및 비디오 생성 품질 향상에 있어 CaC 의 우월성을 입증합니다:

• 이상 탐지: CaC-Bench-Main 벤치마크에서 CaC 는 81.7% 의 전체 정확도를 달성하여, 가장 강력한 베이스라인 대비 25.7% 의 절대적 개선을 기록했습니다.
• 희소 이상 민감도: CaC-Bench-Hard 분할 (더 짧은 지속 시간과 더 작은 공간적 범위의 이상 현상 포함) 에서 CaC 는 14% 에서 38% 에 이르는 차이로 베이스라인을 능가하여, 매우 희소한 결함에 대한 효과성을 입증했습니다.
• 일반화: CaC 는 외부 Skyra 파생 서브셋에서 정확도를 19.9% 향상시켜, 도메인 외 일반화를 입증했습니다.
• 비디오 정렬: 하류 비디오 생성 (Wan-2.1-1.3B) 을 위한 보상 신호로 사용될 때, CaC 는 동적 운동을 억제하지 않으면서 주제 일관성과 영상 품질을 향상시키며 전문가가 주석한 이상 발생률을 11.7% (29.0% 에서 17.3% 로) 감소시킵니다.

중요성 및 주장

본 논문은 CaC 가 비디오 이상 현상의 극단적인 희소성으로 인한 '주의 분산' 문제를 효과적으로 해결한다고 주장합니다. 구조화되고 해석 가능한 추론 과정을 통해 이상 프레임과 영역에 능동적으로 집중함으로써, CaC 는 기존 전역 보상 모델이나 탐지기보다 더 신뢰할 수 있고 기반을 둔 판단을 제공합니다. 저자들은 이 접근법이 생성된 비디오의 평가를 진전시킬 뿐만 아니라, 구조적 및 시간적 할루시네이션을 감소시켜 비디오 생성 모델의 품질을 직접적으로 개선하는 실행 가능한 피드백을 제공한다고 주장합니다. 이 연구는 비디오 생성이 성숙해짐에 따라, 전체적 평가자가 놓치는 남은 미묘한 실패 모드를 해결하기 위해 전문화된 미세 단위 보상 모델이 필요함을 강조합니다.