Riepilogo Tecnico: Steering della Fisica Causale nei Modelli del Mondo Video tramite Vettori di Attivazione dei Concetti

Enunciato del Problema

I modelli del mondo video, che apprendono rappresentazioni delle dinamiche fisiche per compiti come l'apprendimento per rinforzo basato su modelli e la guida autonoma, attualmente mancano di meccanismi per controllare le loro aspettative fisiche al momento dell'inferenza. Sebbene recenti ricerche sull'interpretabilità abbiano identificato una Zona di Emergenza Fisica (PEZ) all'interno dei livelli intermedi del transformer di VideoMAE, dove la plausibilità fisica è rappresentata separatamente da altre caratteristiche visive, non era chiaro se questa struttura potesse essere manipolata direttamente per alterare il ragionamento del modello. I metodi esistenti di generazione controllata (ad esempio ControlNet) si basano su condizionamento durante l'addestramento o adattatori post-hoc che richiedono ottimizzazione basata sul gradiente e supervisione accoppiata, non affrontando la domanda fondamentale su dove e come la conoscenza fisica sia rappresentata internamente e se possa essere direttamente interrotta senza riaddestramento.

Metodologia

Gli autori propongono lo steering fisico, un metodo di intervento privo di addestramento e eseguito al momento dell'inferenza che utilizza i Vettori di Attivazione dei Concetti (CAV) per manipolare il ragionamento fisico.

1. Identificazione della Zona di Emergenza Fisica (PEZ):
   Seguendo lavori precedenti, gli autori addestrano sonde di regressione logistica lineare a ciascun livello di un VideoMAE preaddestrato per prevedere la plausibilità fisica (possibile vs. impossibile). Identificano la PEZ come il cluster di livelli (specificamente i livelli 0–5, con un picco al livello 5) in cui l'accuratezza della sonda è vicina al massimo.

2. Estrazione dei CAV:
   Per ciascun livello all'interno della PEZ, il vettore dei pesi ($w_l$) della sonda lineare addestrata viene estratto e normalizzato per formare il CAV fisico ($v_l$). Questo vettore definisce una direzione nello spazio delle rappresentazioni associata a scenari "fisicamente impossibili". Per gestire i casi in cui il numero di campioni di addestramento è inferiore alla dimensione delle caratteristiche, gli autori applicano l'analisi delle componenti principali (PCA) e un controllo di inversione della direzione per garantire che il vettore sia allineato correttamente al concetto.

3. Intervento al Momento dell'Inferenza:
   Durante l'inferenza, il metodo modifica gli stati nascosti dei token delle patch a un livello target $l^*$ aggiungendo una versione scalata del CAV:
   $$\tilde{H}_{l^*}(x)_i = H_{l^*}(x)_i + \alpha \cdot v_{l^*}$$
   dove $\alpha$ è un parametro di intensità dello steering.

   • $\alpha > 0$: Sposta la rappresentazione verso "fisicamente impossibile".
   • $\alpha < 0$: Sposta la rappresentazione verso "fisicamente possibile".
   • $\alpha = 0$: Baseline (nessun cambiamento).

   L'intervento viene applicato agli stati nascosti del codificatore; poiché VideoMAE è un codificatore, il metodo altera le previsioni sensibili alla fisica a valle piuttosto che generare direttamente fotogrammi video nello spazio dei pixel.

4. Metriche di Valutazione:
   L'efficacia dello steering è misurata utilizzando:

   • Tasso di Inversione (FR): La frazione di video di test la cui classificazione cambia rispetto alla baseline.
   • Delta del Punteggio ($\Delta P$): La variazione media della probabilità di essere "impossibile".
   • Purezza Direzionale (DP): La similarità coseno tra lo spostamento osservato della rappresentazione e la direzione CAV intenzionale.
   • Deriva della Rappresentazione (RD): La grandezza dello spostamento nello spazio delle rappresentazioni.

Contributi Chiave

1. Steering Fisico con CAV: Gli autori dimostrano che i pesi delle sonde lineari ai livelli PEZ forniscono direzioni di steering interpretabili. L'iniezione di questi vettori consente un controllo bidirezionale del giudizio fisico del modello (portando $P(\text{impossibile})$ a 1.0 o 0.0) senza aggiornare i pesi del modello.
2. Analisi dell'Intervento Specifico per Livello: Iniettando lo stesso vettore a livelli diversi, gli autori dimostrano che l'effetto dello steering è strettamente localizzato alla PEZ e ai livelli precedenti. Gli interventi ai livelli 6–11 risultano in un tasso di inversione di 0.00, confermando che la rappresentazione fisica rilevante è stabilita e accessibile all'interno della PEZ.
3. Ortogonalità del Sottospazio: Lo studio misura l'angolo tra il CAV fisico e il sottospazio della direzione del moto, trovando un'ortogonalità di 90,0°. Ciò supporta l'ipotesi che la fisica e il moto siano codificati in sottospazi separati e non interferenti.
4. Stima della Dimensionalità Intrinseca: Attraverso l'addestramento iterativo di sonde ortogonali, gli autori scoprono che il sottospazio fisico alla PEZ è dominato da circa 2–3 direzioni. Questa bassa dimensionalità spiega perché un approccio di steering a vettore singolo sia altamente efficace.
5. Steering Specifico per Principio: CAV separati addestrati per distinti principi di fisica intuitiva (Permanenza dell'Oggetto, Continuità e Solidità) risultano essere quasi ortogonali (ad esempio, 86,1° tra Continuità e Solidità), suggerendo che principi fisici specifici possano essere controllati indipendentemente.

Risultati

Gli esperimenti sono stati condotti sul benchmark IntPhys utilizzando un modello VideoMAE-base congelato.

• Efficacia dello Steering: Al livello PEZ primario (Livello 5), lo steering con $|\alpha| \ge 5$ satura in modo affidabile il giudizio del modello. Lo steering positivo porta $P(\text{impossibile})$ a 1.0, mentre quello negativo lo porta a 0.0. La purezza direzionale raggiunge 1,00 al livello di iniezione, indicando un intervento altamente strutturato.
• Localizzazione: L'effetto è strettamente dipendente dal livello. Iniettare il CAV addestrato sulla PEZ nei livelli 6–11 non produce alcun cambiamento nel giudizio fisico misurato al Livello 5, confermando che la rappresentazione fisica è localizzata alla PEZ e ai livelli precedenti.
• Geometria: Il CAV fisico è ortogonale alla direzione del moto (90,0°), un grado di separazione superiore a quanto riportato in precedenza (69–83°). Ciò suggerisce che lo steering della fisica non interrompe intrinsecamente le rappresentazioni del moto.
• Disaccoppiamento: Diversi principi fisici (O1, O2, O3) occupano direzioni distinte all'interno dello spazio PEZ, con O2 e O3 che sono quasi ortogonali, abilitando un potenziale controllo specifico per principio.

Significato e Affermazioni

Il documento afferma che il ragionamento fisico in VideoMAE non è solo leggibile (tramite sonde lineari) ma anche direttamente steerabile al momento dell'inferenza. Identificando una Zona di Emergenza Fisica localizzata e utilizzando i CAV, gli autori forniscono un metodo per controllare le aspettative fisiche di un modello senza riaddestramento, fine-tuning o modifiche architetturali.

Il significato risiede in:

• Controllo Causale: Andare oltre la correlazione per dimostrare che l'intervento in specifici livelli di rappresentazione cambia causalmente i giudizi di plausibilità fisica del modello.
• Dall'Interpretabilità all'Azione: Colmare il divario tra l'interpretabilità meccanicistica (trovare dove risiede la conoscenza) e l'ingegneria delle rappresentazioni (utilizzare tale conoscenza per controllare il comportamento).
• Sicurezza e Valutazione: Il metodo offre un modo per stressare sistematicamente i modelli del mondo generando scenari fisicamente impossibili senza richiedere la raccolta di nuovi dataset, il che è prezioso per la valutazione della sicurezza dell'IA.

Gli autori mantengono un ambito modesto, notando che, sebbene il metodo controlli le rappresentazioni interne del codificatore, la produzione di fotogrammi video steerati nello spazio dei pixel richiede l'accoppiamento del metodo con un decodificatore, aspetto lasciato per lavori futuri. Sottolineano inoltre che l'esistenza di una PEZ in altre architetture (ad esempio DINOv2, Stable Video Diffusion) rimane una domanda empirica aperta.