💻 computer science

MultiRef-Compass: Towards Comprehensive Evaluation of Multi-Reference-to-Audio-Video Generation

이 논문은 다중 참조를 오디오-비디오 콘텐츠로 생성하는 시스템의 보존, 결합 및 다중 참조를 일관되고 동기화된 콘텐츠로 구성하는 능력을 종합적으로 평가하기 위해 설계된, 350개의 엄선된 샘플과 14개의 하위 지표를 갖춘 4차원 평가 프로토콜로 구성된 통합 벤치마크인 MultiRef-Compass를 소개한다.

원저자: Xiaohan Zhang, Yuqing Wen, Junlin Chen, Yuqi Tang, Yiting He, Lizhuo Shao, Weiming Zhu, Tengfei Liu, Yang Shi, Jialu Chen, Yuanxing Zhang, Huaxiong Li

게시일 2026-07-17

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xiaohan Zhang, Yuqing Wen, Junlin Chen, Yuqi Tang, Yiting He, Lizhuo Shao, Weiming Zhu, Tengfei Liu, Yang Shi, Jialu Chen, Yuanxing Zhang, Huaxiong Li

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 영화 장면을 촬영하려는 감독이라고 상상해 보세요. 과거의 AI 비디오 시대에는 컴퓨터에 "고양이 영상을 만들어줘"라는 단순한 대본만 줄 수 있었습니다. 그러면 AI는 고양이가 어떻게 생겼는지, 어디에 있는지, 어떤 소리를 내는지 스스로 추측했습니다. 하지만 이제 창작자들은 더 많은 통제권을 원합니다. 그들은 "내 강아지의 얼굴은 이 특정 사진을 사용하고, 옆모습은 저 다른 사진을 사용하며, 그가 가장 좋아하는 장난감은 세 번째 사진을 사용하면서, 특정 소리에 맞춰 짖게 해줘"라고 말하고 싶어 합니다. 이것이 바로 다중 참조 오디오-비디오(Multi-Reference-to-Audio-Video, MR2AV) 생성의 세계입니다. 이는 마치 AI에게 단순히 요리를 하는 것을 넘어, 세 개의 서로 다른 병에서 특정 재료를 꺼내 쓰고, 사진에 보이는 모습 그대로 접시에 배치하며, 요리하는 동작과 지글거리는 소리가 완벽하게 일치하도록 만드는 마스터 셰프가 되라고 요구하는 것과 같습니다. 문제는 우리가 AI가 이 복잡한 춤을 얼마나 잘 추고 있는지 평가할 좋은 방법이 없었다는 점입니다. 단순한 레시피에 대한 테스트는 있었지만, 이 다중 재료, 다중 감각적인 도전 과제를 위한 것은 없었습니다.

여기에 연구자들이 바로 이 기술을 테스트하기 위해 설계한 새로운 "성적표"인 MultiRef-Compass가 등장했습니다. 이것은 AI 비디오 제작자들을 위한 엄격한 '맛 테스트'라고 생각하면 됩니다. 연구팀은 350개의 정교하게 제작된 시나리오로 구성된 특별한 데이터셋을 구축했습니다. 예를 들어, 모든 참가자가 사람, 신발, 식사하는 사람의 사진 세 장을 똑같이 받고, "사람이 신발을 신어보며 사이즈가 맞는지 묻는다"라는 대본을 받는 요리 쇼 챌린지와 같은 방식입니다. 그런 다음 Kling, Seedance, Gemini와 같은 유명한 모델들을 포함한 8개의 서로 다른 AI 모델에게 영상을 생성하도록 요청했습니다.

연구진은 단순히 영상이 "보기 좋은지"만 본 것이 아닙니다. 그들은 채점 기준을 다음과 같이 네 가지 구체적인 카테키토리로 세분화했습니다:

기본 품질: 영상이 선명하고 소리가 좋은지, 아니면 흐릿하고 지지직거리는지 확인합니다.
참조 일관성: AI가 실제로 제공된 사진들을 사용했는지 확인합니다. 사람의 얼굴을 그대로 유지했나요, 아니면 실수로 낯선 사람으로 바꿨나요? 신발을 발에 제대로 붙였나요, 아니면 화면에 신발 스티커를 그냥 붙여놓았나요?
오디오-비디오 일관성: 영상 속 사람이 말할 때 입술이 움직이나요? 발로 바닥을 밟을 때 발소리가 들리나요?
지시 이행: AI가 대본이 요구한 것을 정확히 수행했나요, 아니면 신발에 대한 부분을 무시하고 그냥 걷는 모습만 보여주었나요?

이를 채점하기 위해 그들은 컴퓨터 도구와 함께, 영화 평론가처럼 행동하는 "초지능 AI 심사위원"(대규모 멀티모달 모델)을 혼합하여 사용했습니다. 또한 AI 비평가가 너무 엄격하거나 너무 관대하지 않도록, 즉 점수가 공정하도록 하기 위해 특별한 "재심사" 단계를 추가했습니다.

결과는 현실을 직시하게 해주었습니다. 일부 모델은 보기 좋은 결과물을 만드는 데 매우 능숙해지고 있지만, 어려운 작업에서는 여전히 고전하고 있습니다. 논문은 현재의 모델들이 결합(binding) 문제에서 자주 실패한다고 지적합니다. 즉, 사진 속의 얼굴은 인식할지 몰라도 그것을 몸에 연결하는 것을 잊어버리거나, 누가 말하고 있는지 혼동할 수 있다는 것입니다. Seedance 2.0 모델은 네 가지 카테고리 모두에서 우수한 성적을 거두며 가장 균형 잡힌 모습을 보여주어 종합 1위를 차지했습니다. 그러나 최고의 모델조차도 "개선할 여지가 상당함"을 보여주었습니다. 연구진은 AI에게 여러 참조 자료와 복잡한 지시를 동시에 다루도록 요청할 때, AI가 종종 실수를 하여 캐릭터가 컷아웃(종이 인형)처럼 보이거나, 목소리가 화자와 일치하지 않거나, 이야기가 뒤섞이는 영상을 만들어낸다는 것을 발견했습니다.

요약하자면, MultiRef-Compass는 AI 비디오가 인상적이긴 하지만, 아직 복잡한 다중 참조 이야기를 담아내는 신뢰할 수 있는 감독이 되기에는 준비가 덜 되었음을 보여줍니다. 이는 여러 단서를 하나의 일관되고 자연스러운 장면으로 엮어내는 법을 배우기 위해 더 많은 훈련이 필요한 도구입니다. 이 벤치마크는 이제 모두에게 공개되어, 미래의 AI 모델들이 이 특유의 까다로운 창의적 작업을 더 잘 수행할 수 있도록 돕는 토대로 활용될 것입니다.

기술 요약: MultiRef-Compass

문제 정의

오디오-비디오 생성 분야는 텍스트 기반(T2AV) 및 단일 참조(R2AV) 패러다임에서 다중 참조 오디오-비디오(MR2AV) 생성으로 진화했습니다. MR2AV에서 모델은 여러 개의 참조(이미지, 비디오, 오디오)와 텍스트 지침에 따라 일관된 오디오-비디오 콘텐츠를 합성해야 합니다. T2AV-Compass, UniVBench, OpenS2V-Nexus와 같은 기존 벤치마크들은 지시 이행(instruction following), 피사체 일관성(subject consistency), 또는 시각-청각 정렬(audio-visual alignment)을 평가하지만, MR2AV 설정의 구체적인 복잡성을 다루는 데는 한계가 있습니다.

현재의 평가 프로토콜은 다음과 같은 사항들을 엄격하게 테스트하지 못하기 때문에 불충분합니다:

교차 참조 이해(Cross-reference understanding): 여러 개의 참조 이미지가 동일한 피사체의 서로 다른 뷰를 나타내는지, 아니면 서로 다른 개체를 나타내는지 구분하는 능력.
구성적 결합(Compositional binding): 시각 및 오디오 모달리티 전반에 걸쳐 특정 참조된 엔티티에 역할, 동작 및 상호작용을 정확하게 할당하는 능력.
자연스러운 시각적 통합(Natural visual integration): 참조된 외형을 생성된 장면 속에 "복사 및 붙여넣기" 아티팩트나 경직된 정체성 분리 없이 자연스럽게 혼합하는 능력.

결과적으로, 모델이 여러 참조를 조인트하게 해석, 결합 및 구성하여 동기화된 오디오-비디오 이벤트를 생성할 수 있는지 진단할 수 있는 통합된 벤치마크가 부족한 실정입니다.

방법론

1. 데이터셋 구축: MultiRef-Compass

저자들은 확장 가능한 분류 체계 기반의 자산 구성 파이프라인을 통해 구축된 350개의 엄선된 샘플로 구성된 벤치마크인 MultiRef-Compass를 소개합니다. 이 데이터셋은 세 단계로 구축됩니다:

자산 팩 큐레이션(Asset-Pack Curation): 로열티 프리 장면, 비디오, 보이스 팩과 더불어 실제 비디오 또는 AIGC 생성 다중 뷰 정체성으로 구성된 피사체 팩을 수집합니다. 모든 자산은 정체성 일관성과 품질을 위해 수동으로 검증되었습니다.
보드별 자산 구성(Board-Specific Asset Composition): 샘플은 복잡도를 제어하기 위해 네 가지 "보드"로 조직됩니다:
- 보드 1 (B1): 동일 정체성 다중 뷰 조건부 (뷰 일관성 테스트).
- 보드 2 (B2): 이질적 구성 (피사체, 객체, 장면).
- 보드 3 (B3): 다중 엔티티 결합 (역할 할당 및 상호작용 테스트).
- 보드 4 (B4): 비디오 및 오디오 참조를 포함한 확장된 도전 과제.
구조화된 프롬프트 생성: 자유 형식의 텍스트 대신 구조화된 스키마(GPT-5.5 활용)를 사용하여 프롬프트를 생성함으로써, 시각, 오디오, 음성 및 시간적 요구사항을 정밀하게 명시합니다.

2. 평가 프레임워크

MultiRef-Compass는 자동화된 메트릭과 재판정(rejudging) 기능이 강화된 MLLM-as-a-Judge 프로토콜을 통합한 하이브리드 평가 프레임워크를 채택합니다. 평가는 14개의 하위 메트릭을 포함하는 4가지 차원을 다룹니다:

기본 품질 (Basic Quality, BQ): 기술적 충실도를 평가합니다.
- 시각적 기술 품질 (Visual Technical Quality, VTQ): DOVER++ 점수.
- 오디오 기술 품질 (Audio Technical Quality, ATQ): Audiobox 점수.
- 해부학적 품질 (Anatomical Quality, AQ): 생물학적 타당성 및 3D 일관성을 위한 MLLM 체크리스트.
참조 일관성 (Reference Consistency, RC): 보존 및 결합을 평가합니다.
- 엔티티 충실도 (Entity Fidelity, EF): 임베딩 유사도(SigLIP/YOLO-World)와 "스티커 같은" 복사-붙여넣기 아티팩트를 페널티를 부여하기 위해 MLLM이 추정한 **패스트-내추럴니스 계수( $P_{paste}$ )**를 결합합니다.
- 세부 사항 보존 (Detail Preservation, DP): 미세한 디테일에 대한 MLLM 평가.
- 결합 정확성 (Binding Correctness, BC): 정체성 교체 또는 속성 누출에 대한 MLLM 탐지.
시각-청각 일관성 (Audio-Visual Consistency, AVC): 동기화를 평가합니다.
- 음성-입술 동기화 (Speech-Lip Synchronization, SLS): MLLM으로 필터링된 안정적인 정면 얼굴에 대한 LatentSync.
- 이벤트-사운드 매칭 (Event-Sound Matching, ESM) 및 소스 정확성 (Source Correctness, SC): 사운드-이벤트 정렬 및 화자 귀속에 대한 MLLM 평가.
- 음색 유사도 (Timbre Similarity, TS):* 음성 참조에 대한 화자 임베딩 유사도.
지시 이행 (Instruction Following, IF): 프롬프트 준수 여부를 평가합니다.
- 시각적 작업 수행(VT), 오디오 작업 수행(AT), 음성 내용 정확도(SCA), 시간 순서 준수(TO)를 포함하며, 모두 MLLM 체크리스트를 통해 평가됩니다.

재판정 메커즘(Rejudging Mechanism): MLLM의 불일치를 완화하기 위해, 경량화된 재판정 단계는 동일한 샘플에 대해 초기 점수와 근거를 모델 간에 비교하여, 원래의 메트릭 정의를 유지하면서 지나치게 엄격하거나 관대한 판단을 교정합니다.

주요 기여

MultiRef-Compass 벤치마크: 다중 뷰 보존, 다중 엔티티 결합, 인간-객체-장면 구성을 다루는 분류 체계 기반의 350개 샘플을 특징으로 하는 최초의 통합 MR2AV 생성용 벤치마크입니다.
하이브리드 평가 프로토콜: 다중 참조 결합 및 교차 모달 일관성의 미묘함을 처리하도록 특별히 설계된, 자동화된 메트릭과 재판정이 강화된 MLLM-as-a-Judge 시스템을 통합한 프레임워크입니다.
포괄적인 경험적 분석: 8개의 대표적인 MR2AV 시스템(폐쇄형 6개, 오픈소스 2개)을 광범위하게 평가하여 특정 실패 모드와 역량 격차를 밝혀냈습니다.

실험 결과

저자들은 8개의 모델(Seedance 2.0, Kling 3.0, HappyHouse 1.1, Gemini-Omni, Wan 2.7, Vidu Q3-Mix, SkyReels-V3, Wan2.1-VACE 포함)을 4가지 차원에서 평가했습니다.

성능 편차: 단일 모델이 모든 차원에서 일관되게 강력한 성능을 달성하지 못했습니다. Seedance 2.0은 균형 잡힌 능력 덕분에 전체 1위를 차지했으며, Kling 3.0은 참조 일관성에서, Gemini-Omni는 기본 품질 및 시각-청각 일관성에서 뛰어난 성과를 보였습니다.
참조 일관성 과제: 모델들은 복잡한 구성에서 상당한 어려움을 겪었습니다. 정체성 분리(하나의 피사체의 여러 뷰를 별개의 엔티티로 취급하는 현상)와 복사-붙여넣기 아티팩트가 흔히 발견되었습니다. 제안된 $P_{paste}$ 메트릭은 경직된 복사가 아닌 자연스러운 합성을 통해 높은 임베딩 유사도를 달성한 모델의 점수를 성공적으로 낮추었습니다.
오픈소스 vs 폐쇄형: 오픈소스 모델(SkyReels-V3, Wan2.1-VACE)은 참조 일관성과 지시 이행 측면에서 폐쇄형 시스템에 비해 크게 뒤처졌으며, 이는 여러 참조 간의 관계를 이해하는 데 어려움이 있음을 나타냅니다.
지시 이행: 모델들은 모달리티별 강점을 보였습니다. 예를 들어, Seedance 2.0은 시각적 작업에 강했고, Kling 3.0은 오디오 및 음성 지침에서 더 나은 성능을 보였습니다.
인간 정렬(Human Alignment): 벤치마크 점수는 모든 차원에서 인간 선호도와 높은 피어슨 상관관계(0.89–0.96)를 보여 평가 프로토콜의 유효성을 입증했습니다.

의의 및 주장

본 논문은 MultiRef-Compass를 MR2AV 생성이라는 신흥 분야를 위한 기초적인 진단 도구로 포지셔닝합니다. 저자들은 다음과 같이 주장합니다:

현재의 벤치마크는 단순한 참조 충실도와 여러 참조를 결합하는 데 필요한 복잡한 추론을 구분하지 못하므로 MR2AV 설정에 부적합합니다.
제안된 벤치마크는 집계된 품질 점수로는 가려질 수 있는 특정 실패 모드(예: 정체성 분리, 부자연스러운 통합)를 드러냅니다.
향-후 MR2AV의 발전은 단순히 개별 구성 요소(시각 또는 오디오 품질)를 개선하는 것뿐만 아니라, 지각적 품질, 구조적 타당성, 다중 참조 일관성 및 지시 준수의 **공동 최적화(joint optimization)**에 달려 있습니다.
이 벤치마크는 미래의 옴니-참조 오디오-비디오 생성 시스템을 평가하기 위한 확장 가능하고, 감사 가능하며, 해석 가능한 테스트베드를 제공합니다.