🤖 AI

Sci-VBench: Evaluating Knowledge- and Reasoning-Intensive Video Generation in Science Domains

Dit artikel introduceert Sci-VBench, een uitgebreide benchmark bestaande uit 1.253 door experts geannoteerde voorbeelden over vier wetenschappelijke disciplines om de kennis- en redeneerintensieve videogeneratiecapaciteiten van 16 grensverleggende modellen te evalueren, waarbij wordt onthuld dat hoewel de visuele realiteitszin is verbeterd, er aanzienlijke tekortkomingen blijven bestaan in de wetenschappelijke en causale correctheid, met name tussen propriëtaire en open-source systemen.

Oorspronkelijke auteurs: Diandian Zhang, Tingyu Song, Lin Fu, Zheyuan Yang, Yilun Zhao

Gepubliceerd 2026-08-11

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Diandian Zhang, Tingyu Song, Lin Fu, Zheyuan Yang, Yilun Zhao

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een film kijkt waarin een tovenaar een spreuk uitspreekt, een raket lanceert, of een hart klopt. Jarenlang was de grootste vraag voor computerwetenschappers simpel: "Ziet dit er echt uit?" Als de pixels scherp waren, de kleuren helder en de beweging vloeiend, juichten we. Maar er is nu een nieuwe, veel lastigere vraag: "Klopt dit eigenlijk wel?"

Dit is de wereld van videogeneratie, waar kunstmatige intelligentie (AI) probeert bewegende beelden te maken op basis van slechts één zin tekst. Denk aan een supercreatieve robot die een recept leest en probeert het gerecht te bereiden. Tot voor kort controleerden we vooral of het eten er smakelijk uitzag. Maar wat als de robot per ongeluk zout in de cake deed in plaats van suiker? Het zou eruit kunnen zien als een perfecte cake, maar het zou verschrikkelijk smaken en de test niet halen. In de wetenschap is dit gevaarlijk. Als een AI een chemische reactie of een medische procedure simuleert, kan het niet alleen maar goed lijken; het moet de strikte, onzichtbare wetten van de fysica en biologie volgen. Als de AI deze wetten breekt, is de video een leugen, hoe mooi hij ook is.

Dit is precies het probleem dat een nieuw artikel aanpakt. De onderzoekers bouwden een enorme "examen"-test genaamd Sci-VBench om te testen of AI-videomakers daadwerkelijk wetenschap begrijpen, en niet alleen maar nabootsen. Ze vroegen niet alleen: "Is de video mooi?" Ze vroegen: "Begreep de robot echt hoe de wereld werkt?"

Het Grote Wetenschappelijke Video-examen

Het team creëerde een enorme testbank met 1.253 verschillende uitdagingen, verspreid over 60 verschillende onderwerpen zoals natuurkunde, geneeskunde, techniek en zelfs geschiedenis. Stel je een test voor waarbij je een video moet genereren van een specif kind experiment, zoals het slaan tegen een knie met een hamer om te zien hoe het been reageert, of het kijken naar twee ballen die verschillende banen afdalen om te zien welke wint. De crux? De AI moet de verborgen regels van hoe die dingen bewegen zelfstandig ontdekken. De AI kan niet gewoon gokken; het moet de wetenschap juist krijgen.

Om deze video's te beoordelen, vertrouwden de onderzoekers niet alleen op de mening van een computer. Ze haalden 61 menselijke experts binnen—echte wetenschappers en studenten van universiteiten—om als rechters op te treden. Deze experts schreven precies op hoe een "perfecte" video stap voor stap zou moeten verlopen, waardoor ze voor elke test een strikte beoordelingswijze (een rubric) creëerden. Ze controleerden vier zaken:

Ziet het er goed uit? (Is de video helder en vloeiend?)
Is er geluisterd? (Bevat het alle specifieke elementen die in de prompt werden gevraagd?)
Is de wetenschap juist? (Bewegen de objecten volgens de echte natuurwetten?)
Is het verhaal consistent? (Maakt de video van begin tot eind zin zonder fouten of glitches?)

De Schokkende Resultaten: Mooi maar Onwetend

Toen ze 16 van de meest geavanceerde AI-videomodellen door dit examen lieten gaan, waren de resultaten een beetje een wake-up call.

Eerst het goede nieuws: de AI-modellen worden ongelooflijk goed in het maken van dingen die er echt uitzien. Wanneer de rechters controleerden op basisische visuele kwaliteit (zoals vloeiendheid en kleur), scoorden bijna alle modellen zeer hoog en klontering ze dicht bij elkaar. Ze zijn allemaal meesters in het "schilderen" van het werk.

Maar toen kwam het slechte nieuws. Toen de rechters controleerden of de AI daadwerkelijk de wetenschap begreep, daalden de scores drastisch en varieerden ze enorm.

Proprietary modellen (de grote, dure modellen van bedrijven zoals Google, OpenAI en Alibaba) presteerden over het algemeen beter. De beste presteerder, Gemini-Omni-Flash, slaagde er meestal in om de wetenschap goed te krijgen, maar zelfs dat was niet perfect.
Open-source modellen (de gratis modellen die iedereen kan downloaden) hadden het aanzienlijk moeilijker. Hoewel ze er net zo mooi uitzagen als de dure modellen, faalden ze vaak voor de wetenschapstests. Zo maakten sommige modellen in een test over een kniereflex het verkeerde been, of lieten ze het been bewegen op een manier die de menselijke anatomie tart.

Het artikel stelde vast dat er een enorme kloof bestaat tussen "er echt uitzien" en "echt zijn". De AI kan een video maken van een bal die een heuvel afrolt die er prachtig uitziet, maar als de bal halverwege plotseling omhoog zweeft of van kleur verandert, heeft de AI de wetenschapstest niet gehaald. De onderzoekers merkten op dat deze kloof vooral groot is bij Wetenschappelijke en Causale Correctheid—het vermogen om oorzaak en gevolg te begrijpen.

Waarom de AI het Fout Doet

De onderzoekers groeven dieper om te zien waarom de AI faalt. Ze vonden drie hoofdtypes fouten:

Instructies negeren: De AI kan kleine details missen, zoals het vergeten te tonen van een specifiek instrument dat in de prompt werd genoemd.
Nepwetenschap: Dit is de belangrijkste. De AI geeft prioriteit aan het maken van een video die "cool" of "vloeiend" oogt boven het fysiek accuraat maken ervan. De AI kan een chemische reactie onmiddellijk laten plaatsvinden omdat het er dramatisch uitziet, terwijl echte chemie tijd kost.
Tijdreis-glitches: De video begint misschien met twee ballen, maar halverwege versmelten ze tot één, of verandert de belichting willekeurig. De AI verliest de draad van het verhaal naarmate de tijd verstrijkt.

Interessant genoeg probeerden de onderzoekers een eenvoudige oplossing: ze herschreven de prompts om explicieter te zijn, door de AI precies te vertellen wat het moest doen. Dit hielp een beetje en verbeterde de scores voor sommige modellen, maar het loste het kernprobleem niet op. De AI kon nog steeds geen diep, mechanisch begrip genereren van hoe de wereld werkt. Het is alsover een robot een gedetailleerder recept geeft; het kan de stappen misschien beter volgen, maar als het niet begrijpt waarom je de ingrediënten mengt, zal het nog steeds geen goede cake bakken.

De Kern van het Zaken

Het artikel concludeert dat hoewel AI-videogeneratoren geweldige kunstenaars zijn geworden, ze nog steeds onhandige wetenschappers zijn. Ze kunnen een prachtig beeld schilderen van een raketlancering, maar ze begrijpen vaak de fysica van de lancering zelf niet. De kloof tussen "er echt uitzien" en "echt zijn" is nog steeds groot, en totdat AI de regels van het universum echt kan vatten, zullen hun wetenschappelijke video's slechts dat blijven—illusies. De onderzoekers suggereren dat we, om vooruit te komen, niet alleen moeten vragen "Is het mooi?", maar moeten eisen: "Klopt het wel?"

Technische Samenvatting: Sci-VBench

Probleemstelling

Hoewel video-generatieve modellen aanzienlijke vooruitgang hebben geboekt in visuele getrouwheid, bewegingscoherentie en controleerbaarheid, blijft er een kritieke kloof bestaan in hun vermogen om gebeurtenissen en beperkingen die gespecificeerd worden in prompts getrouw te realiseren binnen wetenschappelijke domeinen. Bestaande benchmarks richten zich primair op perceptuele kwaliteit, prompt-alignement en algemeen fysiek gezond verstand. Echter, in wetenschappelijke contexten kan een video visueel plausibel lijken terwijl deze de wetten van behoud schendt, causale relaties omdraait of onmogelijke toestandsveranderingen weergeeft. Huidige evaluatiemethoden missen het vermogen om te beoordelen of gegenereerde video's mechanistische getrouwheid en domeinspecifieke kennis behouden, met name over diverse wetenschappelijke disciplines heen die verder gaan dan de basisfysica. Er is behoefte aan een benchmark die verder gaat dan oppervlakkige realisme om kennis-gegronde, temporeel consistente synthese te testen waarbij succes afhangt van wetenschappelijk redeneren.

Methodologie

Benchmark Constructie (Sci-VBench)

De auteurs introduceren Sci-VBench, een uitgebreide benchmark bestaande uit 1.253 door experts geannoteerde voorbeelden verspreid over 60 onderwerpen binnen vier kerndisciplines: Natuurwetenschappen (45,3%), Gezondheidszorg (23,9%), Engineering (22,6%) en Geesteswetenschappen & Sociale Wetenschappen (8,2%).

Het constructieproces voldoet aan vier desiderata:

Breedte: Dekking van 60 onderwerpen van astrofysica tot publiek beleid.
Diepte: Elke prompt is geschreven door een domeinexpert, wat een gegronde wetenschappelijke kennis en meerstaps causaal redeneren vereist.
Volledigheid: Richt zich op fenomenen die zich over de tijd ontvouwen, waardoor gegarandeerd wordt dat geen enkel enkel frame aan de prompt voldoet.
Reproduceerbaarheid: Een op een rubric gebaseerd protocol met per-voorbeeld scoring-ankers.

Data Pipeline:

Onderwerpselectie: Een gebruikersstudie met 133 studenten informeerde de selectie van 60 onderwerpen waar kernconcepten op expertniveau zijn en verifieerbaar via video-bewijs.
Prompt Annotatie: Experts selecteren doelconcepten uit canonieke tekstboeken en formuleren minimale prompts die alleen de initiële opstelling en interventie specificeren, waarbij het verwachte mechanistische traject wordt weggelaten. Dit dwingt modellen om het mechanisme te infereren in plaats van een beschreven uitkomst te reproduceren.
Evaluatiespecificatie: Voor elke prompt genereren experts een Referentiegids (die doelconcepten en verwachte fase-gebaseerde fenomenen definieert) en een gedetailleerde Evaluatierubric met 1–5 scoring-ankers. Dit externaliseert expertkennis, waardoor niet-experts en MLLM's consistent kunnen scoren.
Kwaliteitscontrole: Elk voorbeeld ondergaat een onafhankelijke review door een tweede domeinexpert. Een audit van 200 willekeurig gesamplede voorbeelden bevestigde een hoge inter-annotator overeenstemming op onafhankelijk geschreven specificaties (Quadratic Weighted $\kappa \approx 0,73\text{--}0,79$ ).

Evaluatieprotocol

Het paper stelt een duaal protocol vast voor evaluatie:

Lage-niveau Perceptuele Getrouwheid (LPF): Beoordeeld met behulp van VBench-gebaseerde Visuele Tools (VT), gebruikmakend van zes gevestigde automatische metrieken (Onderwerpconsistentie, Achtergrondconsistentie, Bewegingsvloeiendheid, Dynamische Graad, Esthetische Kwaliteit, Beeldkwaliteit) genormaliseerd op een schaal van 1–5.
Redenerings-gecentreerde Dimensies: Geëvalueerd via een Rubric-geconditioneerde MLLM-als-Judge pipeline (gebruikmakend van Qwen3.5-397B-A17B). De rechter wordt voorzien van de prompt, de video, de hoog-niveau referentiegids en de specifieke 1–5 geankerde rubric voor de dimensie die wordt gescoord. De dimensies zijn:
- Prompt Grounding (PG): Getrouwheid aan expliciete condities (entiteiten, toestanden, ruimtelijke ordening).
- Wetenschappelijke en Causale Correctheid (SCC): Consistentie met domeinkennis en causale mechanismen.
- Spatiotemporele Consistentie (SC): Coherente temporele evolutie en stabiele ruimtelijke relaties.

Menselijke expertbeoordelingen dienen als de referentielabels. Een gecontroleerde studie valideerde dat het verstrekken van evaluatiespecificaties de overeenstemming van niet-experts met experts aanzienlijk verbetert en dat de rubric-geconditioneerde MLLM-als-Judge nauwer aansluit bij expertbeoordelingen dan eerdere automatische evaluatiemethoden (bijv. VideoScore, VideoReward).

Belangrijkste Resultaten

De auteurs hebben 16 grensverleggende modellen (8 propriëtair, 8 open-source) gebenchmarkt op de testmini split (150 voorbeelden).

Perceptuele Verzadiging vs. Redeneergaten: Automatische perceptuele kwaliteits-scores (VT) zijn bijna vlak over alle systemen (variërend van 3,79–4,12), wat aangeeft dat visueel realisme een plateau heeft bereikt voor huidige benchmarks. In contrast hiermee varieert de prestatie op redenerings-gecentreerde dimensies aanzienlijk.
Propriëtair–Open-Source Gat: Er bestaat een uitgesproken prestatiekloof tussen propriëtaire en open-source modellen, geconcentreerd op zowel Prompt Grounding als Wetenschappelijke en Causale Correctheid.
- Top Performer: Gemini-Omni-Flash behaalde de hoogste gemiddelden in zowel automatische (3,38) als menselijke (3,18) evaluaties.
- Open-Source Beperkingen: Het beste open-source model (MiniMax-H3) scoorde 1,63 op SCC, ongeveer de helft van de score van het beste propriëtaire systeem (3,34).
- Consistentie: Open-source modellen presteerden vergelijkbaar met propriëtaire modellen op Spatiotemporele Consistentie, wat suggereert dat de kloof niet in de temporele coherentie ligt, maar in het mechanistische redeneren.
Disciplinaire Variantie: Geen enkel model domineert alle disciplines. Bijvoorbeeld, Gemini-Omni-Flash leidde in Engineering, Natuurwetenschappen en Geesteswetenschappen, terwijl Sora-2 het best presteerde in de Gezondheidszorg.
Prompt Rewriting: Het herschrijven van prompts om ze explicieter te maken verbeterde de scores voor Prompt Grounding en Wetenschappelijke Correctheid (bijv. +51,7% SCC voor HunyuanVideo-1.5), maar de kloof met propriëtaire modellen bleef bestaan. Dit suggereert dat hoewel ondergespecificeerde instructies bijdragen aan fouten, de fundamentele beperking ligt in het onvermogen van de generator om mechanismen te modelleren, en niet enkel in de helderheid van de prompt.

Foutanalyse

Het paper identificeert drie primaire faalmodi:

Slechte Instructie-naleving: Modellen missen fijnmazige details die in prompts worden gespecificeerd (bijv. het falen om een specifiek schakelmechanisme te renderen).
Onnauwkeurige Simulatie van Wetenschappelijke Principes: Modellen geven prioriteit aan esthetiek boven fysieke realiteit, waardoor ze feitelijk onjuiste dynamica produceren (bijv. een onjuiste richting van de kniepeesreflex, falen om te knipperen tijdens een simulatie van de corneale reflex).
Tekortkomingen in Temporele Coherentie: Problemen omvatten defecten in objectpermanentie (objecten die samensmelten of verdwijnen), inconsistente visuele stijlen en zwakke causale links tussen gebeurtenissen.

Betekenis en Claims

Het paper claimt dat Sci-VBench een kritieke kloof vult in het evalueren van text-to-video modellen als "wer सिमulator" voor expert-domeinen. De primaire bijdragen zijn:

Een Multidisciplinaire Benchmark: Het leveren van de eerste grootschalige dataset (1.253 voorbeelden) die 60 onderwerpen dekt over vier belangrijke disciplines met door experts geverifieerde grondwaarheid.
Draagbare Evaluatiespecificaties: Het demonstreren dat gedetailleerde, per-voorbeeld rubrics stellen dat niet-experts en MLLM's een hoge overeenstemming met domeinexperts kunnen bereiken, wat schaalbare en reproduceerbare evaluatie mogelijk maakt zonder constante werving van experts.
Diagnostische Inzichten: Het onthullen dat de huidige vooruitgang in visueel realisme niet heeft vertaald naar betrouwbare modellering van wetenschappelijke en causale dynamica. De hardnekkige kloof tussen propriëtaire en open-source modellen op redeneer-dimensies benadrukt dat de volgende grens voor videogeneratie niet alleen visuele getrouwheid is, maar mechanistische getrouwheid.

De auteurs concluderen dat hoewel leidende modellen visueel overtuigende outputs produceren, ze vaak falen om de onderliggende wetenschappelijke mechanismen te vatten, wat wijst op een behoefte aan verbeterde instructie-naleving en mechanistische consistentie in toekomstige modelontwikkeling.