Technische Samenvatting: Het destilleren van fysieke priors in streaming wereldmodellen (PhyS)

Probleemstelling

Streaming wereldmodellen beogen toekomstige visuele toestanden te voorspellen via online rollouts, terwijl ze fysiek coherente dynamica behouden over lange horizonten. De huidige state-of-the-art benaderingen, die doorgaans gepretrainde bidirectionele Diffusion Transformers (DiTs) distilleren naar een-staps causale generatoren, lijden echter aan twee fundamentele beperkingen:

1. Beperkte Fysieke Priors: Generieke bidirectionele docenten verwerven slechts een beperkt fysiek begrip door visueel georiënteerde pretraining, waardoor ze vaak niet in staat zijn de nuances van interacties in de echte wereld te vatten.
2. Distillatieverlies: Het proces van het distilleren van bidirectionele kennis naar een causale student verslechtert deze beperkte priors vaak nog verder. Causale modellen worstelen met het behoud van de langetermijnafhankelijkheden die essentieel zijn voor fysieke causaliteit, wat leidt tot foutaccumulatie en schendingen van basisfysieke beperkingen (bijv. zwaartekracht, botsing, deformatie) tijdens autoregressieve rollouts.

Bestaande methoden vertrouwen vaak op synthetische data of grove taalgestuurde signalen, die er niet in slagen om de fijnmazige, op observaties gebaseerde supervisie te bieden die nodig is voor het leren van complexe fysieke dynamica zoals vloeistofstroming, deformatie van zachte lichamen en faseovergangen.

Methodologie: Het PhyS-framework

De auteurs stellen PhyS voor, een driefasen-framework ontworpen om fysieke priors in streaming wereldmodellen te injecteren en ze af te stemmen voor causale generatie.

1. Dataconstructie: PhyS-120K

Om het gebrek aan fysieke data uit de echte wereld aan te pakken, hebben de auteurs PhyS-120K geconstrueerd, een dataset van 120.804 video's van fysieke interacties in de echte wereld.

• Taxonomie: Video's worden gecategoriseerd op basis van observeerbare toestandsevolutie in vier domeinen: vloeistofdynamica, deformatie van zachte lichamen, faseovergangen en rigide-lichaammechanica.
• Annotatie: In tegen tegenover standaard bijschriften, is elke clip geannoteerd met gestructureerde fysieke beschrijvingen gegenereerd door een vision-language model (Qwen3-VL-235B). Deze annotaties bevatten objecteigenschappen (bijv. stijfheid, massadichtheid) en causale gebeurtenissequenties (bijv. "drukken op kop oefent kracht uit", "bal geeft toe").
• Curatie: De pipeline omvat het filteren op bewegingskwaliteit en veiligheid, gevolgd door herbalancering om diverse procesdekking te garanderen.

2. Driefasen-trainingspipeline

Fase 1: Fysica-bewuste Supervised Fine-Tuning (SFT)
Een bidirectionele 14B DiT (Wan2.1-14B) wordt via LoRA gefinetuned op PhyS-120K. Het model leert van de gestructureerde video-bijschriftparen om de real-world fysieke dynamica te internaliseren, wat resulteert in een fysica-bewust docentmodel.

Fase 2: Bidirectionele-naar-Causale Distillatie
De 14B docent wordt gedestilleerd naar een lichtgewicht 1.3B causale DiT met behulp van DMD (Distribution Matching Distillation).

• De student voert autoregressieve zelf-rollouts uit (enkele-staps generatie) geconditioneerd op zijn eigen geschiedenis.
• De doelstelling minimaliseert de Kullback-Leibler (KL) divergentie tussen de ruisende student-rolloutverdeling en de docentverdeling, waardoor de geleerde fysieke priors worden overgedragen naar een model dat in staat is tot lage-latentie, blokgewijze streaming.

Fase 3: Online Beleidsoptimalisatie met Temporal Credit Routing (TCR)
Om de causale generator verder af te stemmen op fysieke consistentie, introduceren de auteurs een online reinforcement learning-fase.

• De Uitdaging: Standaard video-niveau beloningen zijn te grof; een enkele beloning voor een hele video kan niet onderscheid maken tussen een fysiek plausibele sequentie en een sequentie met een gelokaliseerde schending.
• De Oplossing (TCR): TCR aggregeert feedback over overlappende tijdsvensters.
  1. Venster-niveau Scoring: Een bevroren beloningsmodel (V-JEPA2 predictor gecombineerd met een optical-flow beloning van RAFT) evalueert de fysieke consistentie van overlappende vensters binnen een gegenereerde rollout.
  2. Groepnormalisatie: Beloningen worden genormaliseerd binnen elk venster over een groep rollouts om te voorkomen dat gemakkelijke of moeilijke temporele regio's de updates domineren.
  3. Overlap Routing: Voordelen worden gerouteerd naar specifieke denoising-acties op basis van de overlap tussen de beloningsvenster en het causale generatieblok. Dit lokaliseert het fysieke feedbacksignaal, waardoor het model specifieke temporele afwijkingen kan corrigeren in plaats van een globale straf toe te passen.

Belangrijkste Bijdragen

1. PhyS-120K Dataset: Een grootschalige dataset van fysieke interacties in de echte wereld met gestructureerde annotaties van objecteigenschappen en causale toestandsovergangen, die diverse fysieke processen beslaat.
2. PhyS Framework: Een driefasen-trainingspipeline die succesvol fysieke priors van een bidirectionele docent overdraagt naar een lichtgewicht causale generator voor streaming videogeneratie.
3. Temporal Credit Routing (TCR): Een nieuwe optimalisatiestrategie die het probleem van temporele credit assignment in videogeneratie aanpakt door venster-niveau fysieke beloningen te routeren naar uitgelijnde denoising-acties, wat de fysieke consistentie verbetert zonder de volledige sequentie opnieuw te genereren.

Experimentele Resultaten

De auteurs evalueren PhyS op PhysicsIQ en andere fysica-bewuste benchmarks (VideoPhy, VideoPhy2, PhyGenBench).

• PhysicsIQ: PhyS verbetert de baseline Wan2.1-14B docent met 18,2%.
• Causale Generatoren: Wanneer toegepast op causale forcing methoden, levert PhyS significante winst:
  • Self Forcing: +23,7%
  • Rolling Forcing: +14,8%
  • Causal Forcing: +31,4%
• Generalisatie: De methode vertoont consistente verbeteringen over fysieke-consistentie metrieken op VideoPhy, VideoPhy2 en PhyGenBench.

Betekenis en Claims

Het artikel beweert dat PhyS een belangrijke stap vertegenwoordigt richting het bouwen van wereldmodellen die voldoen aan de wetten van de fysica. Door verder te gaan dan generieke visuele pretraining en een toegewijd pipeline te introduceren voor het verwerven en distilleren van fysieke priors, demonstreren de auteurs dat streaming wereldmodellen een lange horizon coherentie kunnen bereiken zonder fundamentele fysieke beperkingen te schenden. De introductie van TCR adresseert specifiek de "temporele grofheid" van bestaande beloningsmechanismen, wat een fijnmazige afstemming van causale generatie op de fysieke realiteit mogelijk maakt. De auteurs benadrukken dat hun aanpak steunt op grounding in de echte wereld in plaats van op synthetische simulatie of grove taalprompts, wat een robuustere fundering biedt voor fysiek plausibele videogeneratie.