Predictive Objectives Discard Exogenous Control-Relevant Features: A Controlled Mechanistic Study

Resumen Técnico: Los objetivos predictivos descartan las características exógenas relevantes para el control

Planteamiento del problema

Este estudio investiga un modo de fallo específico en las Arquitecturas de Predicción de Incrustaciones Conjuntas (JEPA, por sus siglas en inglés) y objetivos de autopredicción similares. Aunque estos modelos aprenden representaciones prediciendo estados latentes futuros, optimizan la predictibilidad temporal en lugar de la relevancia para el control. El artículo postula que este sesgo de optimización provoca que el modelo descarte características que son exógenas (incontrolables por el agente) pero relevantes para el control (determinantes de la acción óptima o la recompensa), incluso cuando dichas características son trivialmente codificables.

La tensión central reside entre dos marcos teóricos:

1. Autopredicción: Descarta el "detalle impredecible" para lograr escalabilidad y robustez frente a texturas de distracción.
2. Teoría de la Bisimulación: Sostiene que las representaciones de control óptimo deben preservar las características que distinguen los estados por sus futuros relevantes para la recompensa, independientemente de su predictibilidad.

El artículo se centra en un cuadrante específico de una taxonomía de características: aquellas que son incontrolables (exógenas) pero relevantes. Trabajos previos han estudiado extensamente las características controlables y los distractores exógenos irrelevantes, pero el caso "incontrolable-relevante" no había sido aislado ni medido como un modo de fallo distinto.

Metodología

Los autores emplean un estudio mecanístico controlado utilizando un diseño experimental 2 × 2 para variar independientemente la controlabilidad y la relevancia de las características.

• Entornos: Los experimentos principales utilizan entornos sintéticos (QuadrantEnv, SwitchColorEnv, GridWorldHiddenRuleEnv) con diversas formas superficiales (resoluciones, texturas) pero con la misma lógica subyacente.
  • Dinámica de las características: Las características se definen mediante dos ejes:
    • Controlabilidad: Si la acción del agente influye en el siguiente estado de la característica.
    • Relevancia: Si la característica determina la recompensa (y, por tanto, la acción óptima).
  • El mando de la predictibilidad: Un parámetro ($p_{repeat}$) controla la predictibilidad temporal de las características exógenas. En $p_{repeat} = 0.5$, la característica es un muestreo de Bernoulli i.i.d. (máximamente impredecible); en $p_{repeat} = 1.0$, es constante. Crucialmente, la relevancia para el control se mantiene fija en todo el rango, desacoplando la predictibilidad de la relevancia.
• Objetivos comparados: El estudio evalúa seis objetivos más una referencia supervisada:
  1. Reconstrucción: Reconstrucción de píxeles (línea base).
  2. JEPA: Autopredicción latente (línea base).
  3. JEPA condicionado a la acción: Predice el futuro latente condicionado a la acción.
  4. JEPA basado en la controlabilidad: Utiliza una cabeza de dinámica inversa para predecir acciones.
  5. Dinámica Inversa (Política Aleatoria): Predice acciones bajo una política aleatoria.
  6. JEPA fundamentado en la recompensa: Una variante propuesta que incorpora etiquetas de recompensa.
  7. Referencia Supervisada: Entrenada con etiquetas de características reales (límite superior).
• Métricas:
  • Precisión de sonda lineal (Linear Probe Accuracy): Mide si la característica puede ser decodificada desde la incrustación (embedding) congelada.
  • Información Mutua InfoNCE: Estima $I(Z; c)$ para confirmar la retención de información sin fronteras de decisión compartidas.
  • Rango Efectivo (Effective Rank): Asegura que la representación no ha colapsado (bajo rango), sino que ha descartado selectivamente la característica.

Resultados clave

Los experimentos revelan una divergencia marcada entre los objetivos predictivos libres de recompensa y los métodos fundamentados en la recompensa respecto a la característica exógena relevante para el control (Celda 4).

1. Fallo de los objetivos predictivos libres de recompensa:

   • Todos los objetivos evaluados libres de recompensa (JEPA, JEPA condicionado a la acción, JEPA basado en la controlabilidad y Dinámica Inversa bajo una política aleatoria) fallan en retener la característica exógena relevante para el control.
   • Rendimiento: La precisión de la sonda lineal ronda el azar ($\approx 0.51$), y la Información Mutua es cercana a cero ($\approx 0$ nats).
   • Selectividad: Esto no es un colapso representacional. El rango efectivo permanece alto (38–42 en QuadrantEnv), lo que indica que la representación es rica pero ha descartado selectivamente esta característica específica.
   • Independencia de la capacidad: Aumentar las dimensiones latentes de 16 a 1024 no rescata la característica para JEPA; el fallo persiste, confirmando que es un problema estructural a nivel de objetivo, no un cuello de botella de capacidad arquitectónica.

2. Éxito de la fundamentación en la recompensa:

   • La variante JEPA fundamentada en la recompensa retiene selectivamente la característica exógena relevante para el control, logrando una precisión de sonda lineal de $1.00$ y una Información Mutua de $\approx 0.693$ nats (el máximo teórico para una característica de un bit).
   • Eficiencia de etiquetas: El remedio es altamente eficiente en muestras. Tan solo el 2% de las transiciones etiquetadas con recompensas es suficiente para recuperar la característica (precisión $\approx 0.77$).
   • Selectividad: A diferencia de la reconstrucción (que retiene todas las características, incluyendo distractores irrelevantes), la variante fundamentada en la recompensa retiene solo las celdas relevantes (Controlable-Relevante y Exógena-Relevante) y descarta las irrelevantes.

3. Comparación con la bisimulación:

   • La distancia de bisimulación teórica para la característica exógena relevante para el control es $1.0$ (los estados deberían ser distintos).
   • La referencia supervisada y las líneas base de reconstrucción logran una separación de clase latente de $\approx 1.998$.
   • JEPA logra solo $\approx 0.105$ de separación, confirmando que la geometría latente no codifica la distinción relevante para la recompensa predicha por la teoría de la bisimulación.

Significación y Reivindicaciones

El artículo establece explícitamente que su objetivo no es evaluar modelos de mundo en tareas naturales ni afirmar que todos los objetivos predictivos son defectuosos para el aprendizaje de representaciones generales. En su lugar, la significación reside en:

• Aislamiento de un modo de fallo: Proporcionar el primer aislamiento y medición controlada del modo de fallo "exógeno relevante para el control", demostrando que la predictibilidad y la relevancia para el control pueden ser ortogonales.
• Perspectiva Mecanística: Mostrar que los objetivos puramente predictivos optimizan la predictibilidad temporal, lo que puede conducir a la pérdida sistemática de información crítica para el control si dicha información es impredecible.
• Remedio Selectivo: Demostrar que una pequeña cantidad de señal de recompensa (2% de las transiciones) puede recuperar selectivamente esta información perdida sin requerir una supervisión completa ni sacrificar la robustez de los objetivos predictivos ante el ruido irrelevante.
• Brecha Teórica: Cuantificar la brecha entre la separación de clases requerida por la teoría de la bisimulación y la separación realmente realizada por los latentes de JEPA.

Los autores concluyen que, si bien los objetivos predictivos son efectivos para sus objetivos diseñados (ignorar la textura de distracción), estructuralmente corren el riesgo de descartar información relevante para el control que es temporalmente impredecible, un riesgo que puede mitigarse mediante una mínima fundamentación en la recompensa.