Technische Samenvatting: GeoT2V-Bench

Probleemstelling

Text-to-video (T2V) modellen worden steeds vaker geprompt met instructies voor camerabewegingen (bijv. "om een standbeeld heen draaien", "door een kamer rijden") om virtuele camera-opnames te synthetiseren. Bestaande benchmarks evalueren weliswaar visuele plausibiliteit, temporele vloeiendheid en tekstuele alignement, maar ze falen in het verifiëren of de gegenereerde frames constitueren als coherent multi-view bewijs voor een enkele statische 3D-scène. Visueel plausibele video's kunnen nog steeds de globale 3D-consistentie schenden door het vertonen van drijvende texturen, 2D-parallax-imitaties of niet-fysieke scène-deformaties. Bovelijk is reconstructie-gebaseerde evaluatie inherent fragiel: camera-pose schatting kan falen door zwakke parallax, en statische 3D-reconstructie kan falen als de frames niet overeenkomen met een stabiele scène. Huidige metrieken verwarren vaak fouten in videogeneratie met fouten in de reconstructie-backend of vertrouwen op lokale geometrische consistentie (bijv. GeCo), wat geen garantie biedt voor globale statische-scène verklaarbaarheid.

Methodologie: GeoT2V-Bench

De auteurs introduceren GeoT2V-Bench, een reconstructie-gebaseerde diagnostische benchmark die camera-geprompte T2V-outputs evalueert als synthetische statische-scène acquisities. In plaats van een scalaire pass/fail label te produceren, genereert de benchmark een continue reconstructieprofiel.

Overzicht van de Pipeline

De evaluatiepipeline verwerkt een gegenereerde video $V$ en een prompt $p$ via de volgende stadia:

1. Camera Schatting (VGGT):
   Het systeem schat per frame de camera intrinsieken ($K_t$) en poses ($T_t$) met behulp van VGGT [33], een feed-forward geometrie-estimator. Dit stelt een kandidaat-cameratraject vast. De pipeline controleert eerst op "actief acquisitiebewijs" (voldoende schijnbare beweging en een coherent traject) om te garanderen dat de video niet triviaal statisch is.

2. Flexibele Fit (DeformableGS):
   Gebruikmakend van de geschatte camera's, past het systeem een over-geparameteriseerde DeformableGS [40] representatie aan. Deze flexibele 4D-modellen kunnen inconsistenties (bijv. view-dependent repainting, niet-fysieke drift) absorberen als temporele variaties. De renderingfout van deze fit ($E_{fit}$) dient als baseline voor hoe goed de video verklaard kan worden door elke tijdvariërende geometrie.

3. Statische Proxy (MedianGS):
   Om de statische-scène verklaarbaarheid te testen, leidt het systeem een MedianGS proxy ($G_{med}$) af door een temporele mediaan-aggregatie toe te passen op de DeformableGS-parameters (positie, rotatie en schaal-offsets). Dit creëert een statische 3D-representatie die de temporeel stabiele component van de sequentie vertegenwoordigt.

4. Same-Camera Vergelijking:
   De MedianGS-proxy wordt gerenderd langs het oorspronkelijke door VGGT geschatte camerapad. Het systeem vergelijkt deze statische render met de gegenereerde video om te meten hoe goed een statische scène de observaties verklaart.

Kernmetrieken

De benchmark rapporteert een profiel van continue diagnostiek:

• $E_{LPIPS}^{med}$ (MedianGS Statische Renderingfout): Meet het per-frame verschijnselverschil tussen de gegenereerde video en de statische MedianGS render.
• CEMR (Camera-Explained Motion Ratio): Vergelijkt de optische flow van de gegenereerde video met de optische flow geïnduceerd door de statische MedianGS render. Een hoge CEMR geeft aan dat de statische scène de temporele beweging verklaart; een lage/negatieve CEMR geeft aan dat de beweging niet door de statische geometrie wordt verklaard.
• $\Delta_{stat}$ (Static-vs-Flexible Gap): Gedefinieerd als $E_{LPIPS}^{med} - E_{LPIPS}^{fit}$. Een grote kloof geeft aan dat een flexibele, tijdvariërende representatie de video significant beter verklaart dan een statische, wat duidt op niet-fysieke scèneveranderingen.
• Deformatie Energie ($E_{deform}$): Kwantificeert de magnitude van de temporele offsets in de DeformableGS fit, wat context biedt aan de static-vs-flexible gap.
• Active Evidence Descriptors: Bevat de gemiddelde optische flow magnitude ($\bar{F}_{orig}$) en de gesmoothde cumulatieve cameratoon ($\Theta_s$) om de aanwezigheid van acquisitiebewijs te valideren.

ControlBench

Om deze diagnostiek te interpreteren, introduceren de auteurs ControlBench, een stress-test suite die gebruikmaakt van echte statische acquisities en echt-afgeleide transformaties (bevroren video, digitale zoom, laterale warp, texture repaint, voorgrond deformatie). Deze suite valideert of de metrieken plausibel reageren op bekende geometrische en verschijnselijke veranderingen.

Experimentele Opzet

• Dataset: 3.840 gegenereerde clips gecreëerd vanuit 80 gecontroleerde statische-scène prompts (uit GeCo-Eval [9]) over 12 open-weight model configuraties (inclusief CogVideoX, HunyuanVideo, LTX-Video, MAGI-1, Open-Sora, SkyReels, Wan) en 4 generatie seeds.
• Formaat: Alle clips gestandaardiseerd naar 49 frames, 256×256 resolutie, 8 fps.
• Vergelijking: Resultaten worden vergeleken met GeCo [9], een eerder werk dat zich richt op lokale geometrische consistentie.

Belangrijkste Resultaten

De evaluatie laat zien dat enkelvoudige scalaire rangschikkingen misleidend zijn en dat verschillende foutmodi vaak orthogonaal zijn:

• Divergerende Foutmodi: Modellen met een lage statische renderingfout (bijv. MAGI-1) falen vaak op de active-evidence check of vertonen een slechte CEMR (mismatch in temporele beweging). Omgekeerd kunnen modellen met actieve beweging (bijv. HunyuanVideo-1.5) een hoge statische renderingfout en hoge deformatie energie vertonen.
• Complementariteit met GeCo: GeoT2V-Bench vangt foutmodi op die GeCo mist. Een clip kan een lage lokale geometrische inconsistentie hebben (goede GeCo score), maar falen in de globale reconstructie audit (slechte CEMR of hoge static-flex gap), wat aangeeft dat lokale consistentie geen garantie biedt voor een coherente globale cameratraject of statische scène.
• Metrieke Interdependentie: Een lage per-frame LPIPS garandeert geen temporele coherentie. CEMR is cruciaal om onderscheid te maken tussen clips die er louter statisch uitzien en clips die daadwerkelijk een statische 3D-verklaring ondersteunen onder camerabeweging.

Betekenis en Claims

Het artikel claimt dat GeoT2V-Bench het evaluatieparadigma verschuift van "video plausibiliteit" naar "reconstrueerbaar multi-view bewijs". De primaire bijdragen zijn:

1. Formulering: Het definiëren van camera-geprompte T2V evaluatie als een test of een video verklaard kan worden als observaties van een enkele statische scène langs een geschat camerapad.
2. Gefaseerde Moeilijkheidsgraad Karakterisering: Het benadrukken dat zowel camera-pose schatting als 3D-reconstructie fragiele stadia zijn die kunnen falen door de zeer inconsistenties die gemeten worden.
3. Diagnostisch Profiel: Het introduceren van een continu profiel (MedianGS error, CEMR, static-vs-flexible gap) dat actieve bewijslast, statische reconstructiegedrag en temporele-bewegingsverklaring van elkaar scheidt, waardoor de verwarring van verschillende fouttypen wordt vermeden.
4. Complementaire Diagnostiek: Het demonstreren dat reconstructie-gebaseerde diagnostiek foutmodi (globale traject-incoherentie, niet-fysieke scèneveranderingen) onthult die lokale-geometrie metrieken zoals GeCo niet detecteren.

De auteurs benadrukken dat de benchmark een diagnostisch instrument is, geen visuele kwaliteit ranker. Lage residuen kunnen wijzen op zwak acquisitiebewijs in plaats van hoge kwaliteit, en hoge residuen kunnen voortkomen uit backend-beperkingen of complexe beweging in plaats van generatiefalen. Het werk ondersteunt de interpretatie van deze diagnostiek via de ControlBench stress-tests.