Technische Samenvatting: GEOPHYS: De Geometrie van Fysieke Plausibiliteit

Probleemstelling

Hoewel mensen binnen milliseconden fysiek onwaarschijnlijke gebeurtenissen in video's kunnen identificeren, zijn huidige machine learning-benaderingen voor dezelfde taak computationeel duur, traag en vereisen ze vaak ad-hoc aanpassingen. Bestaande oplossingen vertrouwen doorgaans op:

• Externe multimodale Large Language Models (LLM's) die optreden als rechters.
• Video-pre-trained wereldmodellen met miljarden parameters (bijv. V-JEPA 2).
• Op fysica gerichte modeltraining of neuro-symbolische pipelines.
• Handmatig ontworpen forensische controles.

Deze methoden delen een kernveronderstelling: dat signalen voor fysieke plausibiliteit expliciet in een model moeten worden geïnduceerd of moeten worden overwogen via complexe trainingsprocedures. Dit werk daagt die veronderstelling uit door te vragen of een visiemodel dat uitsluitend getraind is op stilstaande beelden (zonder video- of fysica-supervisie) inherent een geometrische signatuur van fysieke plausibiliteit bevat.

Methodologie: GEOPHYS

De auteurs stellen GEOPHYS voor, een training-vrije metriek die de fysieke plausibiliteit beoordeelt door de geometrische eigenschappen van temporele feature-trajecten te analyseren die zijn geëxtraheerd uit bevroren beeldencoders.

Kernhypothese

Het artikel stelt dat visiemodellen natuurlijke videodynamiek leren te "lineariseren". Fysisch plausibele video's mappen naar vloeiende, lokaal voorspelbare trajecten in de feature-ruimte, terwijl fysieke schendingen deze lineariteit verstoren, wat resulteert in onregelmatige signalen.

De Pipeline

1. Input: Een video $V = \{x_1, \dots, x_T\}$ wordt ingevoerd in een bevroren visuele backbone $f_\theta$ (geen fine-tuning).
2. Feature Extractie: Elke frame $x_t$ wordt gemapt naar een ruimtelijke embedding $Z_t$. Een ruimtelijke gemiddelde pooling-operatie extraheert een enkel feature-vector $\bar{z}_t$ per frame, wat een discreet traject $\Gamma(V) = (\bar{z}_1, \dots, \bar{z}_T)$ vormt in de representatieruimte.
3. Geometrische Signalen: Het systeem berekent vijf kinematische statistieken op dit traject:
   • Snelheid ($\phi_{speed}$): Temporele standaarddeviatie van de verplaatsingsmagnitudes van frame tot frame. Vlagt erratische sprongen of verdwijningen.
   • Kromming ($\phi_{curv}$): Gemiddelde draaihoek tussen opeenvolgende verplaatsingsvectoren. Meet de afwijking van rechte trajecten.
   • Hoekconsistentie ($\phi_{ang}$): Standaarddeviatie van de draaihoeken. Onderscheidt consistente trajecten van erratische trajecten.
   • Versnelling ($\phi_{accel}$): Magnitude van het tweede-orde verschil (verandering in snelheid). Legt abrupte veranderingen in snelheid of richting vast.
   • Voorspellingsresidu ($\phi_{perr}$): De fout van een lineaire autoregressieve voorspeller. Meet hoe goed de volgende feature binnen de affine subspace ligt die gespannen wordt door voorgaande features.
4. Scoring: Deze signalen worden gecombineerd in een enkele scalaire plausibiliteitsscore. Grotere waarden duiden op minder regelmatige (minder plausibele) dynamiek.
5. Backbones: De methode wordt gevalideerd over vier verschillende bevroren backbones, die geen van allen getraind zijn op video of fysica:
   • Zelfgesuperviseerde Transformers: DINOv2 en DINOv3.
   • Neuro-geïnspireerde CNN's: CORnet-S (recurrent ventral stream) en VOneNet (ResNet-50 met een vaste Gabor V1 front-end).

Belangrijkste Bijdragen

1. Biologische Gronding (Neurale Alignement)

De auteurs valideren dat GEOPHYS-signalen geen loutere artefacten zijn van pretraining-statistieken, maar in lijn zijn met de menselijke neurobiologie.

• Experiment: De per-frame GEOPHYS-signalen werden vergeleken met menselijke EEG-opnames (specifiek Contralateral Delay Activity, CDA) tijdens object-permanentie schendingstaken (Creëer en Verdwijn scenario's).
• Resultaat: GEOPHYS-signalen (met name snelheid en versnelling in de CORnet-S IT-lagen) volgen het tijdverloop van menselijke verrassingsreacties, stijgen snel na een schending en schalen met het aantal objecten, wat de CDA-respons weerspiegelt.

2. State-of-the-Art Detectie

GEOPHYS bereikt superieure prestaties bij het onderscheiden van fysiek plausibele video's van geschonden video's op standaard benchmarks, waarbij het modellen met expliciete video-training of fysica-supervisie overtreft.

• LikePhys Benchmark: Bereikte 98,3% nauwkeurigheid (OR ensemble), waarmee het 12 video-diffusiomodellen, GPT-4o, Gemini en V-JEPA 2 (die rond toeval presteerden) overtreft.
• IntPhys2 Benchmark: Bereikte 93,3% nauwkeurigheid, wat significant beter is dan V-JEPA 2 (57,5%) en andere baselines.
• Complementariteit: Verschillende backbones specialiseren zich in verschillende soorten schendingen (bijv. CORnet-S blinkt uit in "Flag" scenario's, VOneNet in "Fluid"), waardoor ensemble-methoden een bijna plafond-prestatie kunnen bereiken.

3. Test-Time Scaling voor Videogeneratie

GEOPHYS wordt ingezet als een "best-of-N" verifieerder voor fysiek uitgelijnde videogeneratie, wat een computationeel efficiënt alternatief biedt voor wereldmodel-verifieerders.

• Setup: Gebruikt om kandidaten gegenereerd door MAGI-1 (24B) en andere generatoren te herrangschikken op de PhysicsIQ benchmark.
• Resultaat: Verhoogde de MAGI-1 24B prestaties van 50,01% naar 64,50%.
• Efficiëntie: Bereikte deze verbetering met 1,5× lagere wall-clock tijd en 4,65× lager geheugengebruik vergeleken met de vorige state-of-the-art verifieerder (V-JEPA 2 gebaseerde WMReward).
• Kwaliteit: De selectie verbeterde de fysica-getrouwheid (FVD, LPIPS) zonder de generieke videokwaliteit (VBench-Q) te verslechteren.

Betekenis en Claims

Het artikel betoogt dat fysieke plausibiliteit in video's kan worden beoordeeld door gebruik te maken van de emergente geometrische eigenschappen van temporele features geëxtraheerd uit standaard beeldencoders.

• Paradigmaverschuiving: Het daagt de noodzaak uit van expliciete fysica-training of massale video-pre-trained wereldmodellen voor het detecteren van fysieke schendingen.
• Kostenefficiëntie: Het demonstreert dat een "zwakke" verifieerder (bevroren beeldencoders, minder dan een miljard parameters) een "sterke" verifieerder (miljarden-parameter wereldmodellen) kan overtreffen in zowel nauwkeurigheid als efficiëntie.
• Mechanisme: De auteurs beweren niet dat de modellen fysica begrijpen of simuleren. In plaats daarvan stellen zij dat de geometrie van feature-ruimte trajecten door fysieke schendingen op een betrouwbare manier wordt verstoord, wat nuttig genoeg is voor praktische toepassing.
• Implicaties: Dit suggereert dat voor veel toepassingen van het genereren van fysiek plausibele video de bottleneck niet de verfijning van de verifieerder is, maar de aanwezigheid van elke verifieerder met de juiste inductieve bias (geometrische lineariteit).

Het werk concludeert dat hoewel bevroren backbones geen fysica expliciet representeren, hun geometrische signaturen dienen als een krachtige, training-vrije correlatie voor fysieke plausibiliteit, waarmee een brug wordt geslagen tussen computationele visie, neurowetenschap en generatieve AI.