Resumo Técnico: Ações Latentes de Efeitos de Transição Fatorizados sob Ambiguidade de Agente

1. Declaração do Problema

Modelos de Ação Latente (LAMs) visam aprender proxies semelhantes a ações diretamente de transições de observação (ex: frames de vídeo $x_t$ para $x_{t+1}$) sem rótulos de ação explícitos. Embora sejam eficazes em ambientes controlados onde o agente é a fonte dominante de mudança, os LAMs enfrentam uma significativa ambiguidade de agente em cenas complexas. Em ambientes com distratores, fundos em movimento, dinâmicas de câmera ou objetos articulados, a transição visual $\Delta x_t$ é uma mistura do movimento controlado pelo agente e fatores exógenos não controlados.

Os LAMs padrão comprimem toda essa transição em um vetor latente monolítico. Sem supervisão, o modelo carece de uma base para distinguir quais mudanças observadas são atribuíveis ao agente versus aos distratores. Essa ambiguidade leva a espaços latentes que emaranham o movimento controlável com ruído específico do ambiente, dificultando a transferibilidade e o aprendizado de políticas downstream. Abordagens existentes frequentemente dependem de priors centrados em objetos ou segmentação, o que impõe suposições rígidas e limita a escalabilidade.

2. Metodologia

Os autores propõem a Fatoração de Transição Observada (OTF), uma abordagem bottom-up que trata a transição visual não como um único evento a ser comprimido, mas como uma composição esparsa de primitivas de transição observada reutilizáveis. O framework consiste em duas etapas principais:

2.1. Fatoração de Transição Observada (OTF)

A primeira etapa aprende um vocabulário compartilhado de efeitos de movimento locais.

• Construção de Entrada: Uma observação de movimento $o_t$ é construída aplicando uma transformação de gradiente (ou Sobel) a frames consecutivos e computando a diferença. Isso enfatiza a mudança observável enquanto reduz a dependência de aparência estática e identidade de objetos.
• Quantização de Vetores por Patch: A entrada de movimento é particionada em patches espaciais. Cada patch é codificado e quantizado em um codebook discreto de tamanho $K$ usando um objetivo estilo VQ-VAE.
• Primitivas: O codebook aprende primitivas de transição observada reutilizáveis (ex: deslocamento local, mudanças de borda, resíduos de rotação, deformação de contato). Crucialmente, essas primitivas representam efeitos visuais em vez de movimento físico puro ou identidades de objetos.
• Representação de Fatores: Para cada transição, o modelo produz um conjunto estruturado de fatores $E_t = \{e_{t,k}\}_{k=1}^K$, onde cada fator $e_{t,k}$ consiste na entrada do codebook, um mapa de ocupação (suporte espacial) e uma força de ativação.
• Objetivo de Treinamento: O fatorizador é treinado para reconstruir a observação de movimento $o_t$ usando as primitivas selecionadas e o frame atual $x_t$ como referência de aparência, minimizando a perda de reconstrução junto com perdas VQ padrão e um regularizador de ortogonalidade para garantir a diversidade do codebook.

2.2. OTF-LAM: Abstração de Ação

Uma vez que o módulo OTF seja pré-treinado, ele é congelado, e um Modelo de Ação Latente é treinado sobre os fatores extraídos.

• Abstração Consciente do Estado: O modelo recebe os fatores $E_t$ e o estado atual $x_t$ para formar uma ação latente compacta $z_t^{act}$.
• Mecanismo de Gating: Um "Módulo de Abstração de Ação" converte cada fator em um token consciente do estado. Uma rede de gating atribui um peso de relevância $\alpha_{t,k}$ a cada fator com base no contexto atual, selecionando efetivamente quais primitivas de transição observada são relevantes para a ação do agente.
• Predição: O latente agregado $z_t^{act}$ é usado em um framework padrão de dinâmica inversa-forward para prever a próxima observação (ou um update residual).

2.3. OTF-LAM-Dino

Uma variante sem decoder é introduzida para separar ainda mais componentes reutilizáveis de detalhes específicos do ambiente.

• Representação Congelada: Em vez de prever o espaço de pixels, o modelo prevê estados futuros em um espaço de representação DINOv2 congelado.
• Arquitetura: Tanto o codificador visual (DINOv2) quanto o extrator de primitivas de movimento OTF são congelados. Os componentes treináveis são limitados ao agregador de ação e ao preditor de dinâmica forward dentro do espaço de características DINO. Isso força o modelo a focar na abstração da estrutura de transição relevante para o controle, em vez de reconstruir texturas de nível de pixel.

2.4. Aprendizado de Política

Para conectar o espaço latente aprendido ao controle do mundo real, uma pequena quantidade de supervisão de ação é utilizada. Uma política de clonagem comportamental mapeia a ação latente $z_t^{act}$ para ações verdadeiras, e um decoder de ação é treinado para mapear o latente previsto de volta para as ações de ground-truth, utilizando a observação atual para resolver a ambiguidade sobre qual objeto o movimento se aplica.

3. Principais Contribuições

1. Fatoração de Transição Observada (OTF): Um método inovador para decompor transições visuais complexas em um conjunto esparso de primitivas localizadas e reutilizáveis antes de tentar inferir ações latentes. Isso desloca o alvo de aprendizado de "recuperar a ação verdadeira" para "estruturar os efeitos de transição observados".
2. OTF-LAM e OTF-LAM-Dino: Duas arquiteturas que utilizam a interface de transição fatorizada. O OTF-LAM-Dino demonstra especificamente que combinar vocabulários de transição reutilizáveis com representações visuais de estado congeladas (DINOv2) pode melhorar o desempenho downstream ao atuar como um regularizador contra fatores de incômodo de nível de pixel.
3. Transferibilidade Zero-Shot: Evidência empírica mostrando que as primitivas de movimento aprendidas transferem zero-shot através de diferentes portadores visuais (ex: diferentes classes de dígitos em Moving MNIST) e morfologias incorporadas (ex: de Walker para Cheetah no Distracting Control Suite), indicando que o codebook captura estruturas de transição gerais em vez de templates específicos do ambiente.
4. Robustez à Ambiguidade: O método demonstra que fatorizar transições permite um aprendizado de ação latente mais robusto na presença de distratores, superando ou igualando baselines de LAM monolíticos em cenários complexos.

4. Resultados Experimentais

O artigo avalia o método no Distracting Control Suite (DCS) (Cheetah-Run e Walker-Run) e Moving MNIST.

• Reutilização: Em experimentos de transferência cross-morphology e cross-carrier, o vocabulário OTF mostrou uma degradação de desempenho significativamente menor em comparação com baselines de VQ-VAE monolíticos. Por exemplo, no DCS, o vocabulário OTF treinado em Walker-Run manteve uma alta qualidade de reconstrução quando aplicado zero-shot ao Cheetah-Run, enquanto baselines monolíticos sofreram grandes aumentos de erro (até 71% de degradação vs. ~20% para OTF).
• Aprendizado de Política Downstream:
  • No DCS, OTF-LAM e OTF-LAM-Dino alcançaram retornos competitivos ou superiores comparados a baselines como LAPO, FLAM e HiLAM.
  • OTF-LAM-Dino consistentemente superou o OTF-LAM baseado em decoder, sugerindo que prever em um espaço de representação congelado é mais eficaz para tarefas de controle do que a reconstrução de pixels.
  • O método destilou com sucesso ações latentes em políticas que igualaram ou excederam os baselines, mesmo quando a transição visual continha ruído significativo de distratores.
• Ablação: O estudo sobre o tamanho do codebook ($K$) indicou que, embora vocabulários maiores geralmente ajudassem em ambientes complexos (Cheetah-Run), o desempenho não foi estritamente monotônico, sugerindo uma capacidade ótima dependente do ambiente e da arquitetura.

5. Significância e Alegações

O artigo afirma que efeitos observados fatorizados servem como uma representação intermediária superior para o aprendizado de ação latente baseado apenas em observação sob ambiguidade de agente.

• Mudança de Perspectiva: Os autores argumentam que, sob aprendizado apenas por observação, o alvo mais confiável não é a própria ação verdadeira, mas a estrutura dos efeitos de transição observados. Ao tratar a transição como uma composição de primitivas reutilizáveis, o modelo pode separar o movimento controlável de distratores sem depender de priors centrados em objetos rígidos.
• Generalização: Os resultados sugerem que aprender um "vocabulário" de efeitos de transição visual permite uma melhor generalização através de diferentes agentes e domínios visuais em comparação com o aprendizado de uma única ação latente monolítica por transição.
• Escopo Modesto: Os autores explicitamente declaram que seu trabalho avalia essas abordagens em configurações controladas e ambientes de distração do DCS. Eles reconhecem que estender isso para domínios de vídeo mais ricos e diversos (ex: câmeras com scroll, diversas dinâmicas de não-agente) permanece como um trabalho futuro. Eles não alegam resolver o problema inverso geral de recuperação de ação sem qualquer supervisão, mas sim demonstram que uma representação intermediária fatorizada melhora significativamente a robustez e a transferibilidade da interface de ação latente aprendida.