Technische Samenvatting: Causale Fysica-Steering in Video Wereldmodellen via Concept Activation Vectors

Probleemstelling

Video wereldmodellen, die representaties van fysieke dynamica leren voor taken zoals modelgebaseerde versterkingslearning en autonoom rijden, missen momenteel mechanismen om hun fysieke verwachtingen tijdens de inferentie te sturen. Hoewel recent interpretabiliteitsonderzoek een Fysica-Emergentiezone (PEZ) binnen de middelste transformerlagen van VideoMAE heeft geïdentificeerd—waar fysieke plausibiliteit gescheiden wordt weergegeven van andere visuele kenmerken—bleef het onduidelijk of deze structuur direct gemanipuleerd kon worden om het redeneren van het model te veranderen. Bestaande methoden voor controleerbare generatie (bijv. ControlNet) vertrouwen op conditionering tijdens het trainen of post-hoc adapters die gradiëntgebaseerde optimalisatie en gepaarde supervisie vereisen, en slagen er niet in om de onderliggende vraag te beantwoorden waar en hoe fysieke kennis intern wordt weergegeven en of hier direct in kan worden ingegrepen zonder hertraining.

Methodologie

De auteurs stellen fysica-steering voor, een trainingsvrije, inferentie-tijd interventiemethode die Concept Activation Vectors (CAV's) gebruikt om fysiek redeneren te manipuleren.

1. Identificatie van de Fysica-Emergentiezone (PEZ):
   Naar analogie met eerdere werken trainen de auteurs lineaire logistische regressie-probes op elke laag van een vooraf getraind VideoMAE om fysieke plausibiliteit te voorspellen (mogelijk versus onmogelijk). Ze identificeren de PEZ als het cluster van lagen (specifiek lagen 0–5, met een piek bij laag 5) waar de nauwkeurigheid van de probe bijna op zijn maximum ligt.

2. CAV-extractie:
   Voor elke laag binnen de PEZ wordt het gewichtsvector ($w_l$) van de getrainde lineaire probe geëxtraheerd en genormaliseerd om de fysica-CAV ($v_l$) te vormen. Deze vector definieert een richting in de representatieruimte die geassocieerd is met "fysisch onmogelijke" scenario's. Om gevallen te behandelen waarin het aantal trainingsvoorbeelden kleiner is dan de feature-dimensie, passen de auteurs PCA en een richting-omkeercontrole toe om ervoor te zorgen dat de vector correct uitgelijnd is met het concept.

3. Interventie tijdens de Inferentie:
   Tijdens de inferentie wijzigt de methode de verborgen toestanden van patch-tokens op een doellaag $l^*$ door een geschaalde versie van de CAV toe te voegen:
   $$\tilde{H}_{l^*}(x)_i = H_{l^*}(x)_i + \alpha \cdot v_{l^*}$$
   waarbij $\alpha$ een parameter is voor de steering-strength.

   • $\alpha > 0$: Schuift de representatie naar "fysisch onmogelijk".
   • $\alpha < 0$: Schuift de representatie naar "fysisch mogelijk".
   • $\alpha = 0$: Baseline (geen verandering).

   De interventie wordt toegepast op de verborgen toestanden van de encoder; aangezien VideoMAE een encoder is, verandert de methode downstream fysica-gevoelige voorspellingen in plaats van direct pixel-ruimte videoframes te genereren.

4. Evaluatiemetingen:
   De effectiviteit van de steering wordt gemeten met behulp van:

   • Flip Rate (FR): Het fractie van testvideo's waarvan de classificatie verandert ten opzichte van de baseline.
   • Score Delta ($\Delta P$): De gemiddelde verandering in de waarschijnlijkheid om "onmogelijk" te zijn.
   • Directional Purity (DP): De cosinus-similariteit tussen de waargenomen representatieschuif en de beoogde CAV-richting.
   • Representation Drift (RD): De grootte van de schuif in de representatieruimte.

Belangrijkste Bijdragen

1. Fysica-steering met CAV's: De auteurs tonen aan dat lineaire probe-gewichten op PEZ-lagen interpreteerbare steering-richtingen bieden. Het injecteren van deze vectoren maakt bidirectionele controle mogelijk van het fysieke oordeel van het model (het drijven van $P(\text{onmogelijk})$ naar 1,0 of 0,0) zonder de modelgewichten bij te werken.
2. Lag-specifieke Interventie-analyse: Door hetzelfde vector op verschillende lagen in te spuiten, tonen de auteurs aan dat het steering-effect strikt gelokaliseerd is tot de PEZ en eerdere lagen. Interventies op lagen 6–11 resulteren in een flip rate van 0,00, wat bevestigt dat de relevante fysica-representatie binnen de PEZ is vastgesteld en toegankelijk is.
3. Subruimte-Orthogonaliteit: De studie meet de hoek tussen de fysica-CAV en de subruimte van de bewegingsrichting, en vindt een orthogonaliteit van 90,0°. Dit ondersteunt de hypothese dat fysica en beweging worden gecodeerd in aparte, niet-interfererende subruimtes.
4. Schatting van Intrinsieke Dimensionaliteit: Door iteratieve orthogonale probe-training vinden de auteurs dat de fysica-subruimte bij de PEZ wordt gedomineerd door ongeveer 2–3 richtingen. Deze lage dimensionaliteit verklaart waarom een single-vector steering-benadering zeer effectief is.
5. Principe-specifieke Steering: Afzonderlijke CAV's getraind voor verschillende intuïtieve fysica-principes (Objectpermanentie, Continuïteit en Soliditeit) blijken bijna orthogonaal te zijn (bijv. 86,1° tussen Continuïteit en Soliditeit), wat suggereert dat specifieke fysica-principes onafhankelijk kunnen worden gestuurd.

Resultaten

Experimenten werden uitgevoerd op de IntPhys-benchmark met een bevroren VideoMAE-base model.

• Steering-effectiviteit: Op de primaire PEZ-laag (Laag 5) zorgt steering met $|\alpha| \ge 5$ voor een betrouwbare verzadiging van het oordeel van het model. Positieve steering drijft $P(\text{onmogelijk})$ naar 1,0, terwijl negatieve steering deze naar 0,0 drijft. De directionele zuiverheid bereikt 1,00 op de injectielag, wat wijst op een sterk gestructureerde interventie.
• Lokalisatie: Het effect is strikt laag-afhankelijk. Het injecteren van de PEZ-getrainde CAV in lagen 6–11 veroorzaakt geen verandering in het fysica-oordeel gemeten op Laag 5, wat bevestigt dat de fysica-representatie gelokaliseerd is tot de PEZ en eerdere lagen.
• Geometrie: De fysica-CAV is orthogonaal aan de bewegingsrichting (90,0°), een hogere mate van scheiding dan eerder gerapporteerd (69–83°). Dit suggereert dat het sturen van fysica de bewegingsrepresentaties niet inherent verstoort.
• Ontkoppeling: Verschillende fysica-principes (O1, O2, O3) bezetten verschillende richtingen binnen de PEZ-ruimte, waarbij O2 en O3 bijna orthogonaal zijn, wat potentiële principe-specifieke controle mogelijk maakt.

Betekenis en Claims

Het artikel claimt dat fysiek redeneren in VideoMAE niet alleen leesbaar is (via lineaire probes), maar ook direct stuurbaar tijdens de inferentie. Door een gelokaliseerde Fysica-Emergentiezone te identificeren en CAV's te gebruiken, bieden de auteurs een methode om de fysieke verwachtingen van een model te controleren zonder hertraining, fine-tuning of architecturale wijzigingen.

De betekenis ligt in:

• Causale Controle: Het overstijgen van correlatie om aan te tonen dat ingrijpen in specifieke representatielagen causaal de fysieke plausibiliteitsoordelen van het model verandert.
• Van Interpretatie naar Actie: Het overbruggen van de kloof tussen mechanistische interpretatie (waar kennis zich bevindt) en representatie-engineering (het gebruik van die kennis om gedrag te controleren).
• Veiligheid en Evaluatie: De methode biedt een manier om wereldmodellen systematisch te stress-testen door fysisch onmogelijke scenario's te genereren zonder dat er nieuwe datasetverzameling nodig is, wat waardevol is voor AI-veiligheidsevaluatie.

De auteurs handhaven een bescheiden scope, waarbij zij noteren dat hoewel de methode de interne representaties van de encoder controleert, het produceren van gestuurde pixel-ruimte videoframes vereist dat de methode wordt gekoppeld aan een decoder, wat wordt overgelaten aan toekomstig werk. Ze benadrukken ook dat het bestaan van een PEZ in andere architecturen (bijv. DINOv2, Stable Video Diffusion) een open empirische vraag blijft.