Resumen Técnico: Dirección de Física Causal en Modelos de Mundo de Video mediante Vectores de Activación de Conceptos

Enunciado del Problema

Los modelos de mundo de video, que aprenden representaciones de la dinámica física para tareas como el aprendizaje por refuerzo basado en modelos y la conducción autónoma, carecen actualmente de mecanismos para controlar sus expectativas físicas en el momento de la inferencia. Aunque investigaciones recientes sobre interpretabilidad identificaron una Zona de Emergencia de la Física (PEZ) dentro de las capas intermedias del transformador de VideoMAE, donde la plausibilidad física se representa por separado de otras características visuales, permaneció sin aclarar si esta estructura podía manipularse directamente para alterar el razonamiento del modelo. Los métodos existentes de generación controlable (por ejemplo, ControlNet) dependen de la condicionamiento durante el entrenamiento o de adaptadores post-hoc que requieren optimización basada en gradientes y supervisión emparejada, sin abordar la pregunta subyacente sobre dónde y cómo se representa el conocimiento físico internamente, ni si puede intervenirse directamente sin reentrenar.

Metodología

Los autores proponen la dirección de física, un método de intervención libre de entrenamiento y en tiempo de inferencia que utiliza Vectores de Activación de Conceptos (CAV) para manipular el razonamiento físico.

1. Identificación de la Zona de Emergencia de la Física (PEZ):
   Siguiendo trabajos previos, los autores entrenan sondas de regresión logística lineales en cada capa de un VideoMAE preentrenado para predecir la plausibilidad física (posible vs. imposible). Identifican la PEZ como el grupo de capas (específicamente las capas 0–5, con un pico en la capa 5) donde la precisión de la sonda está cerca del máximo.

2. Extracción de CAV:
   Para cada capa dentro de la PEZ, se extrae el vector de pesos ($w_l$) de la sonda lineal entrenada y se normaliza para formar el CAV de física ($v_l$). Este vector define una dirección en el espacio de representación asociada a escenarios "físicamente imposibles". Para manejar casos donde el número de muestras de entrenamiento es menor que la dimensión de las características, los autores aplican PCA y una verificación de inversión de dirección para asegurar que el vector se alinee correctamente con el concepto.

3. Intervención en Tiempo de Inferencia:
   Durante la inferencia, el método modifica los estados ocultos de los tokens de parche en una capa objetivo $l^*$ añadiendo una versión escalada del CAV:
   $$\tilde{H}_{l^*}(x)_i = H_{l^*}(x)_i + \alpha \cdot v_{l^*}$$
   donde $\alpha$ es un parámetro de fuerza de dirección.

   • $\alpha > 0$: Desplaza la representación hacia "físicamente imposible".
   • $\alpha < 0$: Desplaza la representación hacia "físicamente posible".
   • $\alpha = 0$: Línea base (sin cambio).

   La intervención se aplica a los estados ocultos del codificador; dado que VideoMAE es un codificador, el método altera las predicciones sensibles a la física aguas abajo en lugar de generar directamente cuadros de video en el espacio de píxeles.

4. Métricas de Evaluación:
   La eficacia de la dirección se mide utilizando:

   • Tasa de Inversión (FR): La fracción de videos de prueba cuya clasificación cambia con respecto a la línea base.
   • Delta de Puntuación ($\Delta P$): El cambio medio en la probabilidad de ser "imposible".
   • Pureza Direccional (DP): La similitud del coseno entre el desplazamiento de representación observado y la dirección CAV pretendida.
   • Deriva de Representación (RD): La magnitud del desplazamiento en el espacio de representación.

Contribuciones Clave

1. Dirección de Física con CAVs: Los autores demuestran que los pesos de las sondas lineales en las capas de la PEZ proporcionan direcciones de dirección interpretables. La inyección de estos vectores permite un control bidireccional del juicio físico del modelo (impulsando $P(\text{imposible})$ a 1.0 o 0.0) sin actualizar los pesos del modelo.
2. Análisis de Intervención Específica por Capa: Al inyectar el mismo vector en diferentes capas, los autores muestran que el efecto de dirección está estrictamente localizado en la PEZ y las capas anteriores. Las intervenciones en las capas 6–11 resultan en una tasa de inversión de 0.00, confirmando que la representación de física relevante se establece y es accesible dentro de la PEZ.
3. Ortogonalidad del Subespacio: El estudio mide el ángulo entre el CAV de física y el subespacio de la dirección del movimiento, encontrando una ortogonalidad de 90.0°. Esto respalda la hipótesis de que la física y el movimiento se codifican en subespacios separados y no interferentes.
4. Estimación de Dimensión Intrínseca: Mediante el entrenamiento iterativo de sondas ortogonales, los autores encuentran que el subespacio de física en la PEZ está dominado por aproximadamente 2–3 direcciones. Esta baja dimensionalidad explica por qué un enfoque de dirección de un solo vector es altamente efectivo.
5. Dirección Específica de Principio: Se encuentran CAVs separados entrenados para distintos principios de física intuitiva (Permanencia del Objeto, Continuidad y Solidez) que son casi ortogonales (por ejemplo, 86.1° entre Continuidad y Solidez), lo que sugiere que los principios físicos específicos pueden dirigirse de forma independiente.

Resultados

Los experimentos se realizaron en la pauta IntPhys utilizando un modelo VideoMAE-base congelado.

• Eficacia de la Dirección: En la capa principal de la PEZ (Capa 5), la dirección con $|\alpha| \ge 5 satura** de manera confiable el juicio del modelo. La dirección positiva impulsa$P(\text{imposible})$ a 1.0, mientras que la dirección negativa lo impulsa a 0.0. La pureza direccional alcanza 1.00 en la capa de inyección, indicando una intervención altamente estructurada.
• Localización: El efecto depende estrictamente de la capa. Inyectar el CAV entrenado en la PEZ en las capas 6–11 no produce ningún cambio en el juicio de física medido en la Capa 5, confirmando que la representación de física está localizada en la PEZ y las capas anteriores.
• Geometría: El CAV de física es ortogonal a la dirección del movimiento (90.0°), un grado de separación mayor que el reportado previamente (69–83°). Esto sugiere que dirigir la física no interrumpe inherentemente las representaciones de movimiento.
• Desenredamiento: Diferentes principios de física (O1, O2, O3) ocupan direcciones distintas dentro del espacio de la PEZ, siendo O2 y O3 casi ortogonales, lo que permite un control potencial específico por principio.

Significado y Afirmaciones

El artículo afirma que el razonamiento físico en VideoMAE no solo es legible (mediante sondas lineales), sino también directamente direccible en el momento de la inferencia. Al identificar una Zona de Emergencia de la Física localizada y utilizar CAVs, los autores proporcionan un método para controlar las expectativas físicas de un modelo sin reentrenar, ajustar finamente o realizar cambios arquitectónicos.

El significado radica en:

• Control Causal: Avanzar más allá de la correlación para demostrar que intervenir en capas de representación específicas cambia causalmente los juicios de plausibilidad física del modelo.
• De la Interpretabilidad a la Acción: Tender un puente entre la interpretabilidad mecánica (encontrar dónde está el conocimiento) y la ingeniería de representaciones (usar ese conocimiento para controlar el comportamiento).
• Seguridad y Evaluación: El método ofrece una manera de probar sistemáticamente los modelos de mundo bajo estrés generando escenarios físicamente imposibles sin requerir nueva recolección de conjuntos de datos, lo cual es valioso para la evaluación de la seguridad de la IA.

Los autores mantienen un alcance modesto, señalando que, aunque el método controla las representaciones internas del codificador, producir cuadros de video en el espacio de píxeles dirigidos requiere acoplar el método con un decodificador, lo cual se deja para trabajos futuros. También enfatizan que la existencia de una PEZ en otras arquitecturas (por ejemplo, DINOv2, Stable Video Diffusion) sigue siendo una pregunta empírica abierta.