Predictive Objectives Discard Exogenous Control-Relevant Features: A Controlled Mechanistic Study

Resumo Técnico: Objetivos Preditivos Descartam Características Exógenas Relevantes para o Controle

Definição do Problema

Este estudo investiga um modo de falha específico em Arquiteturas Preditivas de Embedding Conjunto (JEPA) e objetivos de autopredição semelhantes. Embora esses modelos aprendam representações ao prever estados latentes futuros, eles otimizam a previsibilidade temporal em vez da relevância para o controle. O artigo postula que esse viés de otimização faz com que o modelo descarte características que são exógenas (incontroláveis pelo agente), porém relevantes para o controle (determinantes para a ação ou recompensa ideal), mesmo quando essas características são trivialmente codificáveis.

A tensão central reside entre dois frameworks teóricos:

1. Autopredição: Descarta "detalhes imprevisíveis" para alcançar escalabilidade e robustez contra texturas de distração (nuisance textures).
2. Teoria da Bissimulação: Argumenta que representações de controle ótimo devem preservar características que distinguem estados por seus futuros relevantes para a recompensa, independentemente de sua previsibilidade.

O artigo foca em um quadrante específico de uma taxonomia de características: características que são incontroláveis (exógenas), mas relevantes. Trabalhos anteriores estudaram extensivamente características controláveis e distratores exógenos irrelevantes, mas o caso "incontrolável-relevante" não havia sido isolado e medido como um modo de falha distinto.

Metodologia

Os autores empregam um estudo mecanístico controlado usando um design experimental 2 × 2 para variar independentemente a controlabilidade e a relevância das características.

• Ambientes: Os experimentos primários utilizam ambientes sintéticos (QuadrantEnv, SwitchColorEnv, GridWorldHiddenRuleEnv) com variadas formas superficiais (resoluções, texturas), mas com a mesma lógica subjacente.
  • Dinâmica das Características: As características são definidas por dois eixos:
    • Controlabilidade: Se a ação do agente influencia o próximo estado da característica.
    • Relevância: Se a característica determina a recompensa (e, portanto, a ação ótima).
  • O Controle de Previsibilidade: Um parâmetro ($p_{repeat}$) controla a previsibilidade temporal das características exógenas. Em $p_{repeat} = 0.5$, a característica é uma amostragem de Bernoulli i.i.d. (maximamente imprevisível); em $p_{repeat} = 1.0$, ela é constante. Crucialmente, a relevância para o controle é mantida fixa em todo o intervalo, desacoplando a previsibilidade da relevância.
• Objetivos Comparados: O estudo avalia seis objetivos mais uma referência supervisionada:
  1. Reconstrução: Reconstrução de pixels (baseline).
  2. JEPA: Autopredição latente.
  3. JEPA Condicionado à Ação: Prediz o futuro latente condicionado à ação.
  4. JEPA Baseado em Controlabilidade: Utiliza uma cabeça de dinâmica inversa para prever ações.
  5. Dinâmica Inversa (Política Aleatória): Prediz ações sob uma política aleatória.
  6. JEPA Fundamentado na Recompensa (Reward-Grounded): Uma variante proposta que incorpora rótulos de recompensa.
  7. Referência Supervisionada: Treinada nos rótulos das características reais (limite superior).
• Métricas:
  • Acurácia de Prova Linear (Linear Probe Accuracy): Mede se a característica pode ser decodificada a partir do latente congelado.
  • Informação Mútua InfoNCE: Estima $I(Z; c)$ para confirmar a retenção de informação sem fronteiras de decisão compartilhadas.
  • Rank Efetivo: Garante que a representação não colapsou (baixo rank), mas sim descartou seletivamente a característica.

Resultados Principais

Os experimentos revelam uma divergência acentuada entre objetivos preditivos livres de recompensa e métodos fundamentados na recompensa em relação à característica exógena relevante para o controle (Célula 4).

1. Falha de Objetivos Preditivos Livres de Recompensa:

   • Todos os objetivos livres de recompensa avaliados (JEPA, JEPA Condicionado à Ação, JEPA Baseado em Controlabilidade e Dinâmica Inversa sob política aleatória) falham em reter a característica exógena relevante para o controle.
   • Desempenho: A acurácia da prova linear permanece próxima ao acaso ($\approx 0.51$), e a Informação Mútua é próxima de zero ($\approx 0$ nats).
   • Seletividade: Isso não é um colapso representacional. O rank efetivo permanece alto (38–42 em QuadrantEnv), indicando que a representação é rica, mas descartou seletivamente esta característica específica.
   • Independência de Capacidade: Aumentar as dimensões latentes de 16 para 1024 não resgata a característica para o JEPA; a falha persiste, confirmando que é um problema estrutural do nível do objetivo, não um gargalo de capacidade arquitetônica.

2. Sucesso da Fundamentação na Recompensa:

   • A variante JEPA Fundamentada na Recompensa retém seletivamente a característica exógena relevante para o controle, alcançando acurácia de prova linear de $1.00$ e Informação Mútua de $\approx 0.693$ nats (o máximo teórico para uma característica de um bit).
   • Eficiência de Rótulos: O remédio é altamente eficiente em termos de amostra. Apenas 2% das transições rotuladas com recompensas são suficientes para recuperar a característica (acurácia $\approx 0.77$).
   • Seletividade: Ao contrário da reconstrução (que retém todas as características, incluindo distratores irrelevantes), a variante fundamentada na recompensa retém apenas as células relevantes (Controlável-Relevante e Exógena-Relevante) e descarta as irrelevantes.

3. Comparação com Bissimulação:

   • A distância de bissimulação teórica para a característica exógena relevante para o controle é $1.0$ (os estados devem ser distintos).
   • A referência supervisionada e os baselines de reconstrução realizam uma separação de classe latente de $\approx 1.998$.
   • O JEPA realiza apenas $\approx 0.105$ de separação, confirmando que a geometria latente falha em codificar a distinção relevante para a recompensa prevista pela teoria da bissimulação.

Significância e Alegações

O artigo afirma explicitamente que seu objetivo não é avaliar modelos de mundo em tarefas naturais ou alegar que todos os objetivos preditivos são falhos para o aprendizado de representação geral. Em vez disso, a significância reside em:

• Isolamento de um Modo de Falha: Fornecer o primeiro isolamento controlado e medição do modo de falha "exógeno relevante para o controle", demonstrando que previsibilidade e relevância para o controle podem ser ortogonais.
• Insight Mecanístico: Mostrar que objetivos puramente preditivos otimizam para a previsibilidade temporal, o que pode levar ao descarte sistemático de informações críticas para o controle, caso essas informações sejam imprevisíveis.
• Remédio Seletivo: Demonstrar que uma pequena quantidade de sinal de recompensa (2% das transições) pode recuperar seletivamente essa informação perdida sem exigir supervisão total ou sacrificar a robustez dos objetivos preditivos ao ruído irrelevante.
• Lacuna Teórica: Quantificar a lacuna entre a separação de classe exigida pela teoria da bissimulação e a separação realmente realizada pelos latentes do JEPA.

Os autores concluem que, embora os objetivos preditivos sejam eficazes para seus objetivos projetados (ignorar textura de distração), eles estruturalmente correm o risco de descartar informações relevantes para o controle que são temporalmente imprevisíveis, um risco que pode ser mitigado por uma fundamentação mínima na recompensa.