Resumo Técnico: Por Que as Ações Latentes Falham e Como Prevenir Isso

Declaração do Problema

Modelos de Ação Latente (LAMs) visam aprender representações relevantes para ações a partir de vídeos não rotulados, comprimindo mudanças quadro a quadro, oferecendo uma solução para a escassez de conjuntos de dados rotulados por ações na robótica do mundo real. No entanto, em vídeos "in-the-wild" (no ambiente natural), as observações contêm não apenas o estado endógeno do agente, mas também estados exógenos (por exemplo, desordem de fundo, movimento da câmera, mudanças de iluminação). Esses fatores exógenos introduzem transições de quadro não relacionadas às ações do agente.

Trabalhos anteriores observaram que LAMs treinados com objetivos padrão de reconstrução frequentemente falham em alinhar-se com ações verdadeiras (ground-truth) em tais ambientes. Em vez de aprender dinâmicas de ação, as ações latentes codificam espúriamente ruído exógeno. Embora existam remédios empíricos (por exemplo, supervisão auxiliar, dados de múltiplas visões), não houve uma análise teórica unificada explicando por que os objetivos padrão falham na presença de ruído exógeno ou por que objetivos auxiliares específicos mitigam essa falha.

Metodologia

Os autores propõem um quadro teórico unificado baseado no Processo de Decisão de Markov com Bloco Exógeno (Ex-BMDP) para analisar a aprendizagem de ações latentes.

1. Quadro Teórico: Ex-BMDP

Os autores estendem o BMDP com Bloco (BMDP) padrão para modelar explicitamente o ruído exógeno. Nesta formulação:

• O estado latente $x$ é decomposto em um estado endógeno $s$ (controlável pelo agente) e um estado exógeno $\xi$ (independente das ações do agente).
• As funções de transição e distribuições iniciais são desacopladas: $T(x'|x, a) = T_s(s'|s, a)T_\xi(\xi'|\xi)$.
• As observações são geradas via um mapa de emissão determinístico $o = h(s, \xi)$, que inclui um codificador de visão $f$.

2. Análise de LAM Linear

Para garantir a tratabilidade teórica, os autores analisam primeiro um cenário de LAM Linear onde:

• As transições de observação são aditivas: $o' = o + \phi_\xi(a) + \epsilon$, onde $\phi_\xi(a)$ é o efeito da ação e $\epsilon$ é o ruído exógeno decorrente de mudanças de estado ($\xi \to \xi'$).
• O modelo de dinâmica inversa ($\psi_{IDM}$) e o modelo de dinâmica forward ($\psi_{FDM}$) são mapas lineares.
• O objetivo padrão é minimizar o erro de reconstrução $L_{LAM} = \mathbb{E}[\|o' - \hat{o}'\|_2^2]$.

3. Objetivos Auxiliares

Os autores reformulam duas famílias de objetivos auxiliares existentes dentro do quadro Ex-BMDP:

• Reconstrução Cruzada Exógena ($L_{X-exo}$): Utiliza observações emparelhadas de diferentes estados exógenos ($\xi, \tilde{\xi}$) compartilhando o mesmo estado endógeno para impor consistência.
• Previsão Robusta a Exógenos ($L_{\xi-robust}$): Supervisiona a ação latente com um alvo $y$ (por exemplo, ações verdadeiras ou fluxo óptico) que é robusto a variações exógenas (ou seja, $y$ permanece similar independentemente de $\xi$).

Principais Contribuições

1. Identificação de "Vazamento Futuro"

Os autores provam que minimizar o objetivo padrão de reconstrução $L_{LAM}$ na presença de ruído exógeno causa vazamento futuro.

• Mecanismo: Como o modelo forward $\psi_{FDM}$ deve reconstruir a observação futura $o'$ (que contém o estado exógeno futuro $\xi'$), e $\xi'$ não está disponível como entrada, a ação latente $z$ é forçada a codificar informações sobre $\xi'$.
• Resultado: A Proposição 4.2 mostra que nenhum minimizador global de $L_{LAM}$ admite uma ação latente independente de $\xi'$. Consequentemente, $z$ absorve informações exógenas do quadro futuro, reduzindo a capacidade disponível para codificar as dinâmicas reais da ação.

2. Papel da Sensibilidade do Codificador de Visão

A análise revela que a energia do ruído exógeno no espaço latente é governada pela sensibilidade do codificador de visão a mudanças exógenas.

• A energia do ruído é proporcional à frequência de comutações de estado exógeno e à sensibilidade da função de emissão $h$ a $\xi$.
• Resultados empíricos mostram que codificadores como DINOv2, que são centrados em objetos e robustos a variações de fundo, reduzem significativamente essa sensibilidade em comparação com entradas de pixels brutos, levando a um melhor alinhamento de ações.

3. Justificativa Teórica de Objetivos Auxiliares

O artigo fornece provas mostrando como objetivos auxiliares mitigam interferências exógenas ao impor consistência entre estados exógenos:

• Reconstrução Cruzada Exógena: Sob suposições lineares, minimizar $L_{X-exo}$ é equivalente à Análise de Correlação Canônica (CCA). Isso suprime componentes de transição que variam com estados exógenos específicos, preservando componentes que persistem entre eles (ou seja, mudanças impulsionadas por ação).
• Previsão Robusta a Exógenos: A Proposição 4.8 demonstra que prever um alvo $y$ que é $\eta$-robusto a estados exógenos fornece um limite explícito para o desalinhamento de ações latentes entre diferentes estados exógenos. Minimizar essa perda força a ação latente a ser consistente independentemente do fundo.

Resultados Experimentais

Experimentos com LAM Linear

Usando dados sintéticos com probabilidades de comutação exógena controladas ($p_{switch}$):

• Validação de Vazamento Futuro: Experimentos confirmaram que ações latentes codificam estados exógenos futuros. Quando o estado exógeno do próximo quadro foi trocado durante a inferência, a saída de reconstrução mudou para corresponder ao quadro trocado, confirmando o comportamento de "atalho".
• Sensibilidade ao Ruído: À medida que a sensibilidade da observação a mudanças exógenas ($\alpha$) aumentou, o Erro Quadrático Médio Normalizado (NMSE) para previsão de ações piorou, validando o vínculo teórico entre sensibilidade do codificador e falha.
• Eficácia Auxiliar: Adicionar $L_{X-exo}$ ou $L_{\xi-robust}$ à perda padrão melhorou consistentemente o alinhamento de ações e reduziu a variância das ações latentes entre estados exógenos.

Experimentos com LAM Não Linear (Prático)

Para testar a generalização, os autores treinaram um LAM não linear (VQ-VAE com CNN/UNet) em um conjunto de dados de mundo em grade com ruído exógeno multiplicativo (violando as suposições lineares):

• LAM Vanilla: À medida que a intensidade do ruído aumentava, o modelo codificava regiões exógenas, levando a alta perda de consistência e baixo MSE de região exógena (significando que ele previa o ruído).
• LAM Aumentado: Modelos treinados com $L_{X-exo}$ ou $L_{\xi-robust}$ mantiveram alto MSE de região exógena (ignorando o ruído) e baixa perda de consistência em todos os níveis de ruído.
• Conclusão: As percepções teóricas sobre vazamento futuro e os benefícios de objetivos que impõem consistência mantêm-se mesmo quando as suposições de linearidade e aditividade são violadas.

Significado e Afirmações

O artigo afirma fornecer uma análise teórica unificada das falhas na aprendizagem de ações latentes na presença de ruído exógeno. Seu significado principal reside em:

1. Explicar Modos de Falha: Identifica formalmente o "vazamento futuro" como o mecanismo pelo qual objetivos padrão de reconstrução degradam a aprendizagem de ações, em vez de apenas observar o fenômeno empiricamente.
2. Unificar Remédios: Demonstra que objetivos auxiliares diversos (múltiplas visões, supervisão de ação, fluxo óptico) compartilham um mecanismo teórico comum: eles impõem a consistência das ações latentes entre estados exógenos.
3. Orientar o Design: Destaca a importância crítica da sensibilidade do codificador de visão a fatores exógenos, sugerindo que extratores de características robustos são um pré-requisito para LAMs eficazes.

Os autores concluem que, embora suas provas teóricas dependam de suposições lineares, a validação empírica em modelos não lineares sugere que esses princípios se estendem a cenários práticos de aprendizagem de ações latentes no mundo real.