Résumé Technique : Pilotage de la Physique Causale dans les Modèles de Monde Vidéo via des Vecteurs d'Activation de Concepts

Énoncé du Problème

Les modèles de monde vidéo, qui apprennent des représentations de la dynamique physique pour des tâches telles que l'apprentissage par renforcement basé sur un modèle et la conduite autonome, manquent actuellement de mécanismes pour contrôler leurs attentes physiques au moment de l'inférence. Bien que des recherches récentes en interprétabilité aient identifié une Zone d'Émergence Physique (PEZ) au sein des couches intermédiaires du transformateur de VideoMAE — où la plausibilité physique est représentée séparément des autres caractéristiques visuelles —, il restait incertain si cette structure pouvait être directement manipulée pour modifier le raisonnement du modèle. Les méthodes existantes de génération contrôlable (par exemple, ControlNet) reposent sur un conditionnement lors de l'entraînement ou sur des adaptateurs post-hoc nécessitant une optimisation basée sur le gradient et une supervision appariée, échouant ainsi à répondre à la question fondamentale de savoir où et comment la connaissance physique est représentée en interne, et si elle peut faire l'objet d'une intervention directe sans réentraînement.

Méthodologie

Les auteurs proposent le pilotage physique, une méthode d'intervention sans entraînement, appliquée au moment de l'inférence, qui utilise des Vecteurs d'Activation de Concepts (CAV) pour manipuler le raisonnement physique.

1. Identification de la Zone d'Émergence Physique (PEZ) :
   Suivant les travaux antérieurs, les auteurs entraînent des sondes de régression logistique linéaire à chaque couche d'un VideoMAE préentraîné pour prédire la plausibilité physique (possible vs impossible). Ils identifient la PEZ comme le regroupement de couches (spécifiquement les couches 0 à 5, avec un pic à la couche 5) où la précision de la sonde est proche du maximum.

2. Extraction des CAV :
   Pour chaque couche au sein de la PEZ, le vecteur de poids ($w_l$) de la sonde linéaire entraînée est extrait et normalisé pour former le CAV physique ($v_l$). Ce vecteur définit une direction dans l'espace de représentation associée aux scénarios « physiquement impossibles ». Pour gérer les cas où le nombre d'échantillons d'entraînement est inférieur à la dimension des caractéristiques, les auteurs appliquent une Analyse en Composantes Principales (PCA) et une vérification d'inversion de direction pour s'assurer que le vecteur s'aligne correctement avec le concept.

3. Intervention au Moment de l'Inférence :
   Lors de l'inférence, la méthode modifie les états cachés des jetons de patch à une couche cible $l^*$ en ajoutant une version mise à l'échelle du CAV :
   $$\tilde{H}_{l^*}(x)_i = H_{l^*}(x)_i + \alpha \cdot v_{l^*}$$
   où $\alpha$ est un paramètre de force de pilotage.

   • $\alpha > 0$ : Déplace la représentation vers « physiquement impossible ».
   • $\alpha < 0$ : Déplace la représentation vers « physiquement possible ».
   • $\alpha = 0$ : Référence (aucun changement).

   L'intervention est appliquée aux états cachés de l'encodeur ; puisque VideoMAE est un encodeur, la méthode modifie les prédictions sensibles à la physique en aval plutôt que de générer directement des trames vidéo dans l'espace des pixels.

4. Métriques d'Évaluation :
   L'efficacité du pilotage est mesurée à l'aide de :

   • Taux d'Inversion (FR) : La fraction de vidéos de test dont la classification change par rapport à la référence.
   • Delta de Score ($\Delta P$) : La variation moyenne de la probabilité d'être « impossible ».
   • Pureté Directionnelle (DP) : La similarité cosinus entre le déplacement de représentation observé et la direction CAV visée.
   • Dérive de Représentation (RD) : L'amplitude du déplacement dans l'espace de représentation.

Contributions Clés

1. Pilotage Physique avec des CAV : Les auteurs démontrent que les poids des sondes linéaires aux couches de la PEZ fournissent des directions de pilotage interprétables. L'injection de ces vecteurs permet un contrôle bidirectionnel du jugement physique du modèle (poussant $P(\text{impossible})$ vers 1,0 ou 0,0) sans mettre à jour les poids du modèle.
2. Analyse d'Intervention Spécifique aux Couches : En injectant le même vecteur à différentes couches, les auteurs montrent que l'effet de pilotage est strictement localisé à la PEZ et aux couches antérieures. Les interventions aux couches 6 à 11 entraînent un taux d'inversion de 0,00, confirmant que la représentation physique pertinente est établie et accessible au sein de la PEZ.
3. Orthogonalité du Sous-espace : L'étude mesure l'angle entre le CAV physique et le sous-espace de la direction du mouvement, trouvant une orthogonalité de 90,0°. Cela soutient l'hypothèse que la physique et le mouvement sont encodés dans des sous-espaces séparés et non interférents.
4. Estimation de la Dimensionnalité Intrinsèque : Par un entraînement itératif de sondes orthogonales, les auteurs constatent que le sous-espace physique à la PEZ est dominé par environ 2 à 3 directions. Cette faible dimensionnalité explique pourquoi une approche de pilotage par vecteur unique est hautement efficace.
5. Pilotage Spécifique aux Principes : Des CAV distincts entraînés pour des principes de physique intuitive différents (Permanence de l'objet, Continuité et Solidité) sont trouvés presque orthogonaux (par exemple, 86,1° entre Continuité et Solidité), suggérant que des principes physiques spécifiques peuvent être pilotés indépendamment.

Résultats

Des expériences ont été menées sur le benchmark IntPhys en utilisant un modèle VideoMAE-base figé.

• Efficacité du Pilotage : À la couche principale de la PEZ (Couche 5), le pilotage avec $|\alpha| \ge 5$ sature de manière fiable le jugement du modèle. Le pilotage positif pousse $P(\text{impossible})$ vers 1,0, tandis que le pilotage négatif le pousse vers 0,0. La pureté directionnelle atteint 1,00 à la couche d'injection, indiquant une intervention hautement structurée.
• Localisation : L'effet dépend strictement de la couche. L'injection du CAV entraîné sur la PEZ dans les couches 6 à 11 ne produit aucun changement dans le jugement physique mesuré à la couche 5, confirmant que la représentation physique est localisée à la PEZ et aux couches antérieures.
• Géométrie : Le CAV physique est orthogonal à la direction du mouvement (90,0°), un degré de séparation plus élevé que précédemment rapporté (69–83°). Cela suggère que le pilotage de la physique ne perturbe pas intrinsèquement les représentations du mouvement.
• Désentanglement : Différents principes physiques (O1, O2, O3) occupent des directions distinctes au sein de l'espace de la PEZ, O2 et O3 étant presque orthogonaux, permettant un contrôle potentiel spécifique aux principes.

Signification et Revendications

L'article revendique que le raisonnement physique dans VideoMAE est non seulement lisible (via des sondes linéaires) mais aussi directement pilotable au moment de l'inférence. En identifiant une Zone d'Émergence Physique localisée et en utilisant des CAV, les auteurs fournissent une méthode pour contrôler les attentes physiques d'un modèle sans réentraînement, ajustement fin ou modifications architecturales.

La signification réside dans :

• Contrôle Causal : Aller au-delà de la corrélation pour démontrer qu'intervenir dans des couches de représentation spécifiques modifie causalement les jugements de plausibilité physique du modèle.
• De l'Interprétabilité à l'Action : Combler le fossé entre l'interprétabilité mécaniste (trouver où se trouve la connaissance) et l'ingénierie de représentation (utiliser cette connaissance pour contrôler le comportement).
• Sécurité et Évaluation : La méthode offre un moyen de tester systématiquement les modèles de monde en générant des scénarios physiquement impossibles sans nécessiter de nouvelle collecte de données, ce qui est précieux pour l'évaluation de la sécurité de l'IA.

Les auteurs maintiennent un périmètre modeste, notant que si la méthode contrôle les représentations internes de l'encodeur, la production de trames vidéo pilotées dans l'espace des pixels nécessite de coupler la méthode avec un décodeur, ce qui est laissé pour un travail futur. Ils soulignent également que l'existence d'une PEZ dans d'autres architectures (par exemple, DINOv2, Stable Video Diffusion) reste une question empirique ouverte.