🤖 AI

Sci-VBench: Evaluating Knowledge- and Reasoning-Intensive Video Generation in Science Domains

이 논문은 16개의 최첨단 모델의 지식 및 추론 집약적 비디오 생성 능력을 평가하기 위해 4가지 과학 분야에 걸쳐 전문가가 주석을 달은 1,253개의 사례로 구성된 종합적인 벤치마크인 Sci-VBench를 소개하며, 시각적 사실성은 향상되었으나 특히 독점 시스템과 오픈 소스 시스템 사이에 과학적 및 인과적 정확성 측면에서 상당한 격차가 남아 있음을 밝히고 있다.

원저자: Diandian Zhang, Tingyu Song, Lin Fu, Zheyuan Yang, Yilun Zhao

게시일 2026-08-11

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Diandian Zhang, Tingyu Song, Lin Fu, Zheyuan Yang, Yilun Zhao

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 영화를 보고 있다고 상상해 보세요. 마법사가 주문을 외우거나, 로켓이 발사되거나, 심장이 뛰는 장면이 나옵니다. 수년 동안 컴퓨터 과학자들의 가장 큰 질문은 단순했습니다. "이것이 진짜처럼 보이는가?" 픽셀이 선명하고, 색상이 밝고, 움직임이 부드럽다면 우리는 환호했습니다. 하지만 이제 훨씬 더 까다로운 새로운 질문이 생겼습니다. "이것이 실제로 말이 되는가?"

이것은 인공지능(AI)이 단 한 줄의 텍스트만으로 움직이는 영상을 만들어내려 노력하는 **비디오 생성(video generation)**의 세계입니다. 이것은 마치 초창의적인 로봇이 레시피를 읽고 요리를 하려는 것과 같습니다. 최근까지 우리는 주로 음식이 맛있어 보이는지를 확인했습니다. 하지만 만약 로봇이 설탕 대신 소금을 케이크에 넣었다면 어떻게 될까요? 겉보기에는 완벽한 케이크처럼 보일지 몰라도, 맛은 엉망이고 테스트에는 실패할 것입니다. 과학에서 이것은 위험합니다. 만약 AI가 화학 반응이나 의료 절차를 시뮬레이션한다면, 단순히 '좋아 보여야' 하는 것이 아니라 엄격하고 보이지 않는 물리 및 생물학적 법칙을 따라야 합니다. 만약 AI가 그 법칙들을 어긴다면, 그 영상은 아무리 예쁘더라도 거짓이 됩니다.

이것이 바로 새로운 논문이 다루고 있는 문제입니다. 연구진은 AI 비디오 생성기가 단순히 흉내를 내는 것을 넘어 실제로 과학을 이해할 수 있는지 테스트하기 위해 Sci-VBench라는 거대한 "시험"을 구축했습니다. 그들은 단순히 "영상이 예쁜가?"라고 묻지 않았습니다. 대신 "로봇이 실제로 세상이 어떻게 돌아가는지 이해했는가?"라고 물었습니다.

위대한 과학 비디오 시험

연구팀은 물리, 의학, 공학, 심지어 역사와 같은 60개의 서로 다른 주제를 아우르는 1,253개의 다양한 도전 과제를 담은 거대한 문제 은행을 만들었습니다. 예를 들어, 무릎을 망치로 때려 다리가 튀어 오르는 것을 보거나, 두 개의 공이 서로 다른 트랙을 내려가며 누가 이기는지 지켜보는 것과 같은 특정 실험 영상을 생성해야 하는 시험을 상상해 보세요. 핵심은 AI가 이러한 사물들이 어떻게 움직이는지에 대한 숨겨진 규칙을 스스로 파악해야 한다는 점입니다. 단순히 추측하는 것이 아니라, 과학적으로 정확해야 합니다.

이 영상들을 채점하기 위해 연구진은 단순히 컴퓨터의 의견에 의존하지 않았습니다. 그들은 61명의 인간 전문가—실제 과학자와 대학생들—를 심사위원으로 초빙했습니다. 이 전문가들은 모든 테스트에 대해 단계별로 완벽한 영상이 갖춰야 할 모습(루브릭)을 작성하여 엄격한 채점 가이드를 만들었습니다. 그들은 네 가지를 확인했습니다:

보기 좋은가? (영상이 선명하고 부드러운가?)
지시를 따랐는가? (프롬프트에서 요구한 구체적인 요소들을 모두 포함했는가?)
과학적으로 옳은가? (사물들이 자연 법칙에 따라 움직이는가?)
이야기가 일관적인가? (영상이 끊김 없이 처음부터 끝까지 논리적으로 이어지는가?)

충격적인 결과: 예쁘지만 무지하다

연구진이 세계에서 가장 진보된 16개의 AI 비디오 모델을 이 시험에 통과시켰을 때, 그 결과는 일종의 경종을 울리는 것이었습니다.

먼저 좋은 소식입니다. AI 모델들은 무언가를 실제처럼 보이게 만드는 데 놀라울 정도로 능숙해지고 있습니다. 심사위원들이 기본적인 시각적 품질(색상이나 부드러움 등)을 확인했을 때, 거의 모든 모델이 매우 높은 점수를 받았으며 서로 밀집된 양상을 보였습니다. 그들은 모두 "그림 그리기" 작업의 달인들입니다.

하지만 나쁜 소식이 뒤따랐습니다. 심사위원들이 AI가 실제로 과학을 이해하고 있는지 확인했을 때, 점수는 급격히 떨어졌고 매우 다양하게 나타났습니다.

독점 모델(Google, OpenAI, Alibaba와 같은 기업의 고가 모델)들이 일반적으로 더 나은 성과를 보였습니다. 최고 성능을 보인 Gemini-Omni-Flash는 대부분의 경우 과학적 사실을 맞혔지만, 이 역시 완벽하지는 않았습니다.
오픈 소스 모델(누구나 다운로드할 수 있는 무료 모델)들은 훨씬 더 크게 고전했습니다. 이 모델들은 비싼 모델들만큼 예뻐 보였지만, 과학 테스트에서는 자주 실패했습니다. 예를 들어, 무릎 반사 실험에서 어떤 모델들은 잘못된 다리를 움직이게 하거나, 인간의 해부학적 구조에 어긋나는 방식으로 다리를 움직이게 했습니다.

논문은 "실제처럼 보이는 것"과 "실제로 존재하는 것" 사이의 거대한 간극을 발견했습니다. AI는 언덕 아래로 굴러 내려가는 공의 영상을 멋지게 만들 수 있지만, 만약 공이 굴러가는 도중에 갑자기 위로 떠오르거나 색이 변한다면, 그 AI는 과학 테스트에서 낙제한 것입니다. 연구진은 이 격차가 특히 과학적 및 인과적 정확성(Scientific and Causal Correctness)—즉, 원인과 결과의 관계를 이해하는 능력—에서 매우 넓다는 점에 주목했습니다.

AI가 틀리는 이유

연구진은 AI가 왜 실패하는지 파악하기 위해 더 깊이 조사했습니다. 그들은 세 가지 주요 유형의 실수를 발견했습니다:

지시 사항 무시: AI가 프롬프트에 언급된 특정 도구를 보여주는 것을 잊는 등 아주 작은 세부 사항을 놓칠 수 있습니다.
가짜 과학: 이것이 가장 큰 문제입니다. AI는 물리적으로 정확하기보다는 영상을 "멋지게" 혹은 "부드럽게" 만드는 것을 우선시합니다. 예를 들어, 실제 화학 반응은 시간이 걸림에도 불구하고, 극적인 효과를 위해 화학 반응이 즉각적으로 일어나도록 만들 수 있습니다.
시간 여행 오류(Time Travel Glitches): 영상이 시작될 때는 공이 두 개였는데, 중간에 하나로 합쳐지거나 조명이 갑자기 변하는 등의 현상이 발생합니다. AI가 시간이 흐름에 따라 이야기의 맥락을 놓치는 것입니다.

흥 흥미롭게도, 연구진은 간단한 해결책을 시도했습니다. 프롬프트를 더 명시적으로 다시 작성하여 AI에게 무엇을 해야 할지 정확히 알려준 것입니다. 이는 일부 모델의 점수를 높이는 데 약간의 도움은 되었지만, 핵심적인 문제는 해결하지 못했습니다. AI는 여전히 세상이 어떻게 작동하는지에 대한 깊은 기계적 이해를 생성할 수 없었습니다. 그것은 마치 로봇에게 더 상세한 레시피를 주는 것과 같습니다. 레시피의 단계를 더 잘 따를 수는 있겠지만, 재료를 왜 섞어야 하는지 이해하지 못한다면 여전히 맛있는 케이크를 구울 수는 없는 것과 같습니다.

결론

이 논문은 AI 비디오 생성기가 놀라운 예술가가 되었을지언정, 여전히 서툰 과학자라는 결론을 내립니다. 그들은 로켓 발사의 아름다운 그림을 그려낼 수는 있지만, 발사 자체의 물리학은 이해하지 못하는 경우가 많습니다. "실제처럼 보이는 것"과 "실제로 존재하는 것" 사이의 간극은 여전히 넓으며, AI가 우주의 법칙을 진정으로 파악하기 전까지 그들의 과학 비디오는 그저 '환상'에 불과할 것입니다. 연구진은 앞으로 나아가기 위해서 우리가 단순히 "예쁜가?"라고 묻는 것을 멈추고, "이것이 말이 되는가?"라고 요구해야 한다고 제언합니다.

기술 요약: Sci-VBench

문제 정의

비디오 생성 모델은 시각적 충실도, 움직임의 일관성, 제어 가능성 측면에서 상당한 발전을 이루었으나, 과학적 영역 내에서 프롬프트에 명시된 사건과 제약 조건을 충실히 구현하는 능력에는 여전히 결정적인 격차가 존재한다. 기존 벤치마크는 주로 지각적 품질, 프롬프트 정렬, 그리고 일반적인 물리적 상식에 초점을 맞춘다. 그러나 과학 도메인 설정에서 비디오는 시각적으로는 그럴듯해 보일 수 있으나, 보존 법칙을 위반하거나, 인과 관계를 역전시키거나, 불가능한 상태 전이를 묘사할 수 있다. 현재의 평가 방법은 생성된 비디오가 단순한 표면적 사실성을 넘어, 기초 물리학을 넘어선 다양한 과학 분야 전반에 걸쳐 지식에 기반한 메커니즘적 충실도와 도메인 특화 지식을 보존하고 있는지 평가할 능력이 부족하다. 따라서 표면적인 사실성을 넘어, 과학적 추론에 성공 여부가 달려 있는 지식 기반의 시간적 일관성을 갖춘 합성을 테스트할 수 있는 벤치마크가 필요하다.

방법론

벤치마크 구축 (Sci-VBench)

저자들은 자연과학(45.3%), 의료(23.9%), 공학(22.6%), 인문 및 사회과학(8.2%)의 4개 핵심 학문을 아우르는 60개 주제의 1,253개 전문가 주석 사례로 구성된 종합 벤치마크인 Sci-VBench를 소개한다.

구축 과정은 다음 네 가지 요구 사항을 준수한다:

폭(Breadth): 천체 물리학부터 공공 정책에 이르기까지 60개 주제를 포괄한다.
깊이(Depth): 모든 프롬프트는 도메인 전문가가 작성하며, 이는 근거 있는 과학적 이해와 다단계 인과 추론을 요구한다.
완결성(Completeness): 시간이 흐름에 따라 전개되는 현상을 대상으로 하여, 단일 프레임만으로는 프롬프트를 충족할 수 없도록 보장한다.
재현 가능성(Reproducibility): 사례별 점수 앵커가 포함된 루브릭 기반 프로토콜을 사용한다.

데이터 파이프라인:

주제 선정: 133명의 학생을 대상으로 한 사용자 연구를 통해, 핵심 개념이 전문가 수준이며 비디오 증거를 통해 검증 가능한 60개 주제를 선정하였다.
프롬프트 주석: 전문가들은 정전(canonical textbooks)에서 대상 개념을 선택하고, 기대되는 메커니즘적 궤적을 생략한 채 초기 설정과 개입만을 명시하는 최소한의 프롬프트를 작성한다. 이는 모델이 결과물을 단순히 재현하는 것이 아니라 메커니즘을 추론하도록 강제하기 위함이다.
평가 규격화: 각 프롬프트에 대해 전문가는 참조 가이드(대상 개념 및 기대되는 단계별 현상 정의)와 1~5점 척도의 점수 앵커가 포함된 상세한 평가 루브릭을 생성한다. 이는 전문가의 지식을 외재화하여, 비전문가나 MLLM이 일관되게 점수를 매길 수 있도록 한다.
품질 관리: 모든 사례는 두 번째 도메인 전문가의 독립적인 검토를 거친다. 200개의 무작위 샘플링 사례에 대한 감사 결과, 독립적으로 작성된 규격에 대해 높은 검사자 간 일치도(Quadratic Weighted $\kappa \approx 0.73\text{--}0.79$ )를 확인하였다.

평가 프로토콜

본 논문은 평가를 위한 이중 프로토콜을 수립한다:

저수준 지각 충실도 (LPF): 6가지 확립된 자동 지표(주체 일관성, 배경 일관성, 움직임 부드러움, 동적 정도, 미적 품질, 영상 품질)를 활용하여 1~5 척도로 정규화된 **VBench 기반 비전 도구(VT)**를 사용하여 평가한다.
추론 중심 차원: 루브릭 기반 MLLM-as-Judge 파이프라인(Qwen3.5-397B-A17B 사용)을 통해 평가한다. 판정 모델에는 프롬프트, 비디오, 고수준 참조 가이드, 그리고 점수를 매길 차원에 대한 구체적인 1~5 앵커 루브릭이 제공된다. 평가 차원은 다음과 같다:
- 프롬프트 접지력 (Prompt Grounding, PG): 명시적 조건(개체, 상태, 공간적 배치)에 대한 충실도.
- 과학적 및 인과적 정확성 (Scientific and Causal Correctness, SCC): 도메인 지식 및 인과 메커니즘과의 일관성.
- 시공간적 일관성 (Spatiotemporal Consistency, SC): 일관된 시간적 진화 및 안정적인 공간적 관계.

인간 전문가의 평가는 참조 레이블 역할을 한다. 통제된 연구를 통해, 평가 규격을 제공하는 것이 비전문가의 전문가 일치도를 유의미하게 향상시키며, 루브릭이 적용된 MLLM-as-Judge가 기존의 자동 평가 방법(예: VideoScore, VideoReward)보다 전문가의 판단과 더 밀접하게 일치함을 검증하였다.

주요 결과

저자들은 testmini 분할(150개 사례)에 대해 16개의 프런티어 모델(독점 모델 8개, 오픈 소스 모델 8개)을 벤치마킹하였다.

지각적 포화 vs 추론 격차: 자동 지각 품질 점수(VT)는 모든 시스템에서 거의 평탄하게 나타나(3.79~4.12 범위), 시각적 사실성이 현재의 벤치마크에서 정체기에 도달했음을 보여준다. 반면, 추론 중심 차원의 성능은 크게 상이하게 나타난다.
독점 모델과 오픈 소스의 격차: 독점 모델과 오픈 소스 모델 사이에 뚜렷한 성능 격차가 존재하며, 이는 전적으로 프롬프트 접지력과 과학적 및 인과적 정확성에 집중되어 있다.
- 최고 성능 모델: Gemini-Omni-Flash는 자동(3.38) 및 인간(3.18) 평가 모두에서 가장 높은 평균치를 기록했다.
- 오픈 소스의 한계: 최고의 오픈 소스 모델인 MiniMax-H3는 SCC에서 1.63을 기록하여, 최고 독점 시스템(3.34)의 약 절반 수준에 그쳤다.
- 일관성: 오픈 소스 모델은 시공간적 일관성 측면에서는 독점 모델과 유사한 성능을 보였으며, 이는 격차가 시간적 일관성이 아닌 메커니즘적 추론에 있음을 시사한다.
학문적 변이: 단일 모델이 모든 학문을 지배하지 않는다. 예를 들어, Gemini-Omni-Flash는 공학, 자연과학, 인문학에서 앞서 나갔던 반면, Sora-2는 의료 분야에서 가장 우수한 성능을 보였다.
프롬프트 재작성: 프롬프트를 더 명시적으로 재작성하면 프롬프트 접지력과 과학적 정확성 점수가 향상되었으나(예: HunyuanVideo-1.5의 경우 SCC +51.7%), 독점 모델과의 격차는 여전히 유지되었다. 이는 미흡하게 명시된 지침이 오류의 원인이 되기도 하지만, 근본적인 한계는 프롬프트의 명확성이 아니라 메커즘을 모델링하는 생성기의 능력 자체에 있음을 시사한다.

오류 분석

본 논문은 세 가지 주요 실패 모드를 식별한다:

지침 준수 미흡: 프롬프트에 명시된 미세한 세부 사항을 놓치는 경우(예: 특정 스위치 메커니즘을 렌더링하지 못함).
과학적 원리의 부정확한 시뮬레이션: 미적 요소보다 물리적 사실성을 우선시하여, 사실적으로 틀린 역학을 생성하는 경우(예: 무릎 반사 방향 오류, 각막 반사 시뮬레이션 중 눈 깜빡임 실패).
시간적 일관성 결여: 객체 영속성 실패(객체가 합쳐지거나 사라짐), 일관되지 않은 시각적 스타일, 이벤트 간의 약한 인과 관계 등이 포함된다.

의의 및 주장

본 논문은 Sci-VBench가 비디오 생성 모델을 전문가 영역을 위한 "세계 시뮬레이터"로서 평가하는 데 있어 중요한 격차를 메운다고 주장한다. 주요 기여는 다음과 같다:

다학제적 벤치마크: 전문가가 검증한 정답(ground truth)을 포함하여 4개 주요 학문의 60개 주제를 다루는 최초의 대규모 데이터셋(1,253개 사례)을 제공한다.
이동 가능한 평가 규격: 상세한 사례별 루브릭을 통해 비전문가와 MLLM이 도메인 전문가와 높은 일치도를 달성할 수 있음을 입증함으로써, 지속적인 전문가 채용 없이도 확장 가능하고 재현 가능한 평가를 가능하게 한다.
진단적 통찰: 현재의 시각적 사실성 발전이 신뢰할 수 있는 과학적 및 인과적 역학 모델링으로 이어지지는 않았음을 밝혀낸다. 추론 차원에서 독점 모델과 오픈 소스 모델 간에 지속되는 격차는, 비디오 생성의 다음 프런티어가 단순한 시각적 충실성이 아니라 메커니즘적 충실도임을 강조한다.

저자들은 선도적인 모델들이 시각적으로 설득력 있는 결과물을 만들어내지만, 근저에 깔린 과학적 메커니즘을 포착하는 데는 자주 실패한다고 결론지으며, 이는 향후 모델 개발에 있어 지침 준수 능력과 메커니즘적 일관성의 개선이 필요함을 나타낸다.