EPM-JEPA: Operator-Side Experience Modulation in JEPA-Family World Models

Resumen Técnico: EPM-JEPA – Modulación de la Experiencia en el Lado del Operador en Modelos de Mundo de la Familia JEPA

Planteamiento del Problema
Las Arquitecturas de Predicción de Embebido Conjunto (JEPA, por sus siglas en inglés) predicen estados futuros en el espacio latente para evitar la intratabilidad de modelar detalles perceptuales irrelevantes. Sin embargo, los predictores JEPA estándar son estáticos; sus pesos no se adaptan cuando las dinámicas en tiempo de prueba divergen de las distribuciones de entrenamiento (por ejemplo, cambios en la gravedad o la fricción). Mientras que los modelos existentes aumentados con memoria (por ejemplo, Transformers con memoria externa) abordan esto inyectando la experiencia como un aporte adicional (en el lado del operando), dejan los pesos del predictor sin cambios. Este artículo investiga si la modulación en el lado del operador —el uso de la experiencia acumulada para modificar directamente los pesos del predictor— ofrece un mecanismo superior para adaptarse a los cambios de distribución.

Metodología
Los autores proponen EPM-JEPA (JEPA con Modulación de Experiencia) y lo comparan contra dos líneas de base en una tarea de Moving MNIST con un cambio de gravedad (0.0 a 0.5 px/frame²). Todos los modelos comparten un codificador, un codificador objetivo EMA y un predictor base, diferenciándose únicamente en cómo se utiliza la experiencia:

1. Track A (Vanilla JEPA): Una línea de base sin mecanismo de memoria.
2. Track B (EI-JEPA): Un enfoque en el lado del operando donde una representación de experiencia comprimida se añade como un residuo al estado oculto del predictor.
3. Track C (EPM-JEPA): Un enfoque en el lado del operador donde la representación de la experiencia genera deltas de peso de bajo rango ($\Delta W$) mediante LoRA (Adaptación de Bajo Rango). Estos deltas se aplican a las capas lineales del predictor, cambiando efectivamente la computación misma basándose en el historial reciente.

Subsistema de Memoria
Los Tracks B y C utilizan un pipeline de memoria compartido:

• Detección de Fronteras: Monitorea la sorpresa de la media del lote para identificar "eventos de frontera" (errores de predicción significativos).
• Búfer de Experiencia: Un búfer FIFO (capacidad 256) almacena transiciones latentes en los eventos de frontera.
• Codificación y Agregación: Un codificador Transformer procesa los pares almacenados, y un mecanismo de atención los agrega en un único vector ($e_{agg}$) condicionado al estado latente actual.
• Modulación: En EPM-JEPA, $e_{agg}$ impulsa un módulo LoRA para producir $\Delta W = U \cdot \text{diag}(\delta) \cdot V^\top$, el cual se añade a los pesos congelados del predictor.

Resultados Clave
Los experimentos se realizaron en un marco de comparación prerregistrado con tres clases de resultados. La métrica principal es $D^{shift}_{n=50}$, el error de predicción normalizado medio en la distribución desplazada.

• Comparación Prerregistrada (Track C vs. Track B): La diferencia en el rendimiento fue $\delta = 4.74\%$. De acuerdo con los criterios del artículo ($|\delta| < 5\%$), esto constituye el Resultado C: un resultado nulo. EPM-JEPA no superó estadísticamente a la inyección en el lado del operando (EI-JEPA) en la prueba de hipótesis primaria.
• Observación Secundaria (Track C vs. Track A): EPM-JEPA mejoró el error de predicción en un 1.90% sobre la línea de base sin memoria (Track A) de manera consistente a través de tres semillas. Por el contrario, EI-JEPA (Track B) tuvo un rendimiento inferior a la línea de base, lo que sugiere que la inyección de entrada ingenua es ineficaz en este entorno, mientras que la modulación a nivel de peso ofrece un beneficio modesto pero consistente.
• Análisis de Mecanismo: La trayectoria de rendimiento de EPM-JEPA no es una convergencia hacia un equilibrio estable, sino que está gobernada por tres procesos dinámicos independientes:
  1. Ciclo del Búfer: El búfer finito se satura y cicla, influyendo en la formación de picos.
  2. Deriva del Objetivo EMA: El codificador objetivo EMA, que se mueve lentamente, continúa desplazando el objetivo de predicción después de que los pesos LoRA se han asentado, causando una divergencia de rendimiento post-pico.
  3. Transitorio de Asentamiento de LoRA: Ocurre un aumento intrínseco de +0.021 en el error a medida que los pesos LoRA se asientan bajo una tasa de aprendizaje decreciente, independientemente del tiempo de congelación.

Significancia y Reivindicaciones
El artículo establece explícitamente que su principal contribución científica no es la falsificación de la hipótesis del lado del operador (que resultó en un resultado nulo), sino el análisis del mecanismo de la dinámica del sistema.

• Validez Científica de los Resultados Nulos: Los autores enfatizan que el Resultado C es un resultado científico válido bajo sus criterios prerregistrados, desplazando el enfoque de "ganar" una comparación hacia la comprensión de por qué los sistemas se comportan como lo hacen.
• Limitaciones Dinámicas: El estudio revela que el pico de rendimiento es una configuración transitoria causada por la interacción del ciclo del búfer, la deriva de EMA y el asentamiento de LoRA, en lugar de un estado óptimo estable.
• Tensión Estructural: Existe un compromiso entre la optimalidad de la predicción y la diversidad de la representación. Las mejores configuraciones de LoRA contraen el manifold de salida (reduciendo $\sigma_{embed}$ por debajo del umbral de seguridad de 0.5), mientras que aumentar la regularización para restaurar la diversidad degrada el rendimiento de la predicción.
• Dirección Futura: Estos hallazgos motivan el PEM-JEPA, un sucesor propuesto que introduce estructuras latentes fundamentadas en la física (estados cinemáticos explícitos) para restringir la distribución objetivo y mitigar las limitaciones del pico dinámico identificadas.

Los autores concluyen que, si bien la modulación en el lado del operador vía LoRA ofrece una vía de adaptación distinta a la inyección de entrada, la arquitectura actual está limitada por transitorios dinámicos intrínsecos que requieren cambios estructurales (en lugar de solo ajustes en el esquema de entrenamiento) para resolverse.