기술 요약: 시간 이동을 넘어: 생성형 오디오-비주얼 모델의 참조 없는 평가를 위한 Omni-LLM의 적응

1. 문제 정의

오디오-비주얼(AV) 생성 모델이 "월드 시뮬레이터(world simulators)"로 진화함에 따라, 교차 모달 역동성(cross-modal dynamics)의 일관성을 평가하는 것이 매우 중요해졌습니다. 그러나 기존의 평가 지표들은 현대적 생성 출력물과 근본적인 불일치를 보입니다:

• 구조적 가정의 실패: 전통적인 지표들(예: 온셋 기반 동기화, 교차 모달 대조 유사도)은 오디오와 비디오가 구조적으로 올바르며 단지 시간적 정렬만 필요하다고 가정합니다. 이는 구조적 환각(예: 플라스틱 컵이 떨어질 때 유리 깨지는 소리가 나는 현상), 비대칭 관계(시각적 동작은 있으나 그에 상응하는 오디오가 없는 경우), 그리고 시간적으로 확산된 이벤트(액체가 계속 부어지는 상황에서 피치(pitch)가 유체 수위와 맞지 않는 경우)를 감지하지 못합니다.
• 주석의 역설(The Annotation Paradox): 이러한 복잡한 오류를 평가하려면 인간의 인지 능력이 필요합니다. 그러나 인간 평가자들은 자연스럽게 상대적 비교(두 개의 결함이 있는 출력 중 어느 것이 더 나은지 판단)에 의존하는 반면, 배포 가능한 자동화된 지표는 참조 없는(reference-free) 방식으로서 단일 생성 쌍에 대해 절대적인 스칼라 점수를 출력해야 합니다.
• 현재 AI 심사위원(Judges)의 한계: 기존의 "LLM-as-Judge" 접근 방식은 종종 이산적인(discrete) 텍스트 범주나 단일 모달 충실도 측정에 의존하며, 이는 양자화 아티팩트를 유발하고 AV 동기화에 필요한 미세한 인과적-의미론적 일관성을 포착하는 데 실패합니다.

2. 방법론

저자들은 상대적인 인간의 지각과 절대적인 자동화 점수 사이의 역설을 해결하기 위해, Omni-LLM을 연속적이고 참조 없는 평가자로 변환하는 3단계 프레임워크를 제안합니다.

2.1 SynthSync 데이터셋

인위적인 시간 이동(time shift)이 아닌 실제 생성 실패 사례에 평가를 접지시키기 위해, 저자들은 SynthSync를 구축했습니다:

• 구축: 실제 비디오 클립을 10개의 최첨단 비디오-투-오디오(V2A) 파운데이션 모델로 처리하여 비디오당 여러 개의 뚜렷한 오디오 트랙을 생성했습니다.
• 주석: 전문가 주석가들이 고정된 시각적 앵커(anchor)에 대해 쌍별 비교($a_i$ 대 $a_j$)를 수행하여 어떤 오디오가 비디오와 더 잘 맞는지 결정합니다.
• 결과: 이를 통해 경험적 승률(win-rates)에 기반한 견고하고 글로벌한 서열 순위(ordinal ranking)를 도출하며, 이는 의미론적 환각이나 인과적 누락과 같은 복잡한 실패 모드를 포착합니다.

2.2 연속적 Omni-LLM 아키텍처

저자들은 이산적인 토큰 디코딩을 우회하기 위해 Omni-LLM(구체적으로 Qwen2.5-Omni-3B)을 적응시켰습니다:

• 잠재 투영(Latent Projection): 이산 언어 헤드를 연속적인 투영 헤드(MLP)로 대체하여, 모델의 특수 [SCORE] 토큰의 은닉 표현을 스칼라 값 $s \in \mathbb{R}$로 직접 매핑합니다.
• 목표: 이 설계는 언어 생성의 확률적 변동성을 제거하여, 상대적 연속 스케일링에 최적화된 완전 미분 가능한 매핑을 생성합니다.

2.3 2단계 학습 패러다임

학습 과정은 두 가지 뚜렷한 단계를 통해 연속적 추정치를 인간의 선호도와 정렬합니다:

1단계: 잠재 선호도 정렬 (커리큘럼 학습)

• 손실 함수: 모델은 쌍별 선호도($a_i \succ_v a_j$)에 대한 로짓 결정 경계에 대한 손실을 최소화하기 위해 Bradley-Terry-Luce (BTL) 공식을 사용하여 학습됩니다.
• 커리큘럼 페이싱(Curriculum Pacing): 오류 유형의 변동성으로 인한 그래디언트 붕괴를 방지하기 위해, 학습은 큰 순위 차이가 있는 쌍(예: 최상 vs 최악)에서 시작하여 점차 임계값을 낮추어 모델이 더 미세한 비교에 노출되도록 합니다.

2단계: R-GRPO를 통한 인과적 토폴로지

• 문제: 쌍별 학습은 국소적인 마진(local margins)은 보장하지만, 글로벌 전이성(global transitivity)이나 일관된 점수 분포를 보장하지는 않습니다.
• 솔루션: 저자들은 **실수 값 그룹 상대 정책 최적화(Real-Valued Group Relative Policy Optimization, R-GRPO)**를 도입합니다.
  • 확률적 재매개변수화(Stochastic Reparameterization): 결정론적 스칼라 출력을 가우시안 정책의 평균($\mu_\theta$)으로 취급하여, 정책 그래디언트 최적화에 필요한 불확실성을 주입합니다.
  • 탐색적 롤아웃(Exploratory Rollouts): 지정된 분산 $\sigma^2$ 내에서 점수를 섭동(perturbing)시켜 $N$개의 병렬 실행 경로를 샘플링합니다.
  • 복합 보상(Composite Reward): 홀리스틱 보상 함수는 전체 리스트와이즈(listwise) 분포를 정답 토폴로지와 비교 평가하여, 구조적 감쇄, 단조적 순서 및 극단적 타겟 바운딩을 최적화합니다.
  • 목표: 정책은 참조 백본과의 근접성을 유지하기 위한 KL 발산 페널티가 포함된 클립된 서로게이트 손실(clipped surrogate loss)을 사용하여 업데이트됩니다.

3. 주요 기여

1. SynthSync: 인위적인 시간 이동 벤치마크를 넘어 의미론적 및 인과적 오류를 포착하기 위해 헌신된 최초의 진정한 생성 동기화 실패 전용 데이터셋입니다.
2. 연속적 Omni-LLM 평가기: 이산적인 텍스트 출력의 양자화 편향을 피하기 위해 멀티모달 파운데이션 모델을 연속적이고 참조 없는 인과적 일관성 점수 산출용으로 재용도화한 새로운 아키텍처입니다.
3. R-GRPO 프레임워크: 연속적 잠재 정책을 이산적인 인간 선호도와 정렬하는 확장 가능한 강화 학습 알고리즘으로, 물리적으로 근거 있는 생성 평가의 새로운 표준을 수립합니다.
4. SyncBench 및 SOTA 정렬: 표준화된 벤치마크(SyncBench)를 구축하고, 인과적 평가에서 인간 선호도와 상태 최고(SOTA) 수준의 정렬을 입증했습니다.

4. 실험 결과

• 벤치마크 성능: SynthSync 벤치마크에서 제안된 방법은 인간 선호도 정렬에서 최첨단 성능을 달성했습니다. 이는 일반적인 Omni-LLM, 전통적인 비-LLM 지표(예: AV-Align, DeSync) 및 기타 학습된 LLM 평가기를 능가합니다.
  • 주요 지표: 전체 모델(R-GRPO 포함)은 72.38%의 쌍별 정확도(Pairwise Accuracy), 61.40%의 Top-1 정확도, 그리고 0.4899의 Kendall's $\tau$를 달려, 베이스라인을 크게 앞질렀습니다.
• SyncBench 평가: 6개의 최첨단 AV-Gen 모델(Sora-2, Veo-3.1, LTX-2 포함)을 평가할 때, 이 지표는 전통적인 지표들이 휘발적이고 모순된 순위를 생성하는 것과 달리, 산업 리더를 식별하며 성능을 계층화하는 데 성공했습니다.
• 테스트 타임 스케일링: Best-of-N (BoN) 샘플링을 위한 보상 신호로 배치되었을 때, 이 지표는 무작위 선택 및 다른 보상 신호보다 독립적인 평가 지표 전반에서 모델 품질을 개선하는 데 있어 우수한 교차 지표 일반화 능력을 보여주었습니다.
• 절제 연구(Ablation Studies):
  • 표현(Representation): 연속적 스칼라 랭킹은 스칼라 회귀 및 텍스트 기반 디코딩(CE/KL)보다 훨씬 뛰어난 성능을 보였으며, 이는 이산 토큰을 피하는 것이 상대적 토폴로지 순서를 보존함을 확인시켜 줍니다.
  • 구성 요소: 단계적 절제 연구를 통해 SynthSync 데이터셋과 R-GRPO 단계가 모두 중요하며, 특히 R-GRPO가 순위 상관관계에서 가장 큰 이득을 제공함을 보여주었습니다.
  • 보상 공식화: 쌍별 및 리스트와이즈 제약을 결합한 "이중 보상(Dual Reward)" 전략이 글로벌 구조적 일관성과 국소적 비교 정확도 사이의 균형을 맞추어 최적의 성능을 냈습니다.
  • 탐색 분산: 가우시안 정책에서의 중간 정도의 탐색 분산($\sigma=2.5$)이 글로벌 토폴로지 탐색과 정책 안정성 유지 사이의 최적의 균형을 제공합니다.

5. 의의 및 주장

본 논문은 AV 생성의 핵심 병목 구간인, 시각과 청각 사이의 복잡한 물리적 상호작용을 이해할 수 있는 지표의 부재를 해결한다고 주장합니다. 시각적으로 근거한 인과성(visually grounded causality)으로 평가 패러다임을 전환함으로써, 제안된 프레임워크는 다음과 같은 성과를 거둡니다:

• 인간-기계 간극 해소: 복잡하고 비교적인 인간의 판단을 연속적이고 참조 없는 글로벌 일관된 자동화 지표로 성공적으로 추출합니다.
• 신뢰할 수 있는 벤치마킹 제공: 단순한 신호 정렬을 넘어 물리적 근거를 갖춘 월드 시뮬레이터들을 평가할 수 있는 표준화된 도구(SyncBench)를 제공하여, 모델 간의 차이를 명확히 구분합니다.
• 이중 유용성 제공: 이 추정치는 신뢰할 수 있는 평가자로서뿐만 아니라, 훈련 및 테스트 타임 스케일링을 위한 실행 가능한 보상 신호로 기능하여 더욱 물리적으로 일관된 생성 모델의 발전을 가속화합니다.