Resumo Técnico: MaskLAM – Guiando Modelos de Ação Latente na Presença de Distratores

Declaração do Problema

Modelos de Ação Latente (LAMs) oferecem um caminho para pré-treinar agentes incorporados em vídeos em grande escala, sem ação, inferindo ações latentes entre observações consecutivas. Essas ações latentes são subsequentemente decodificadas em controles de verdade fundamental usando um pequeno conjunto de exemplos rotulados. No entanto, LAMs padrão, como LAPO, dependem de objetivos de reconstrução global que forçam o modelo a codificar a cena inteira para prever quadros futuros.

Em ambientes realistas contendo distratores visuais (por exemplo, fundos dinâmicos, trepidação da câmera ou objetos em movimento), essa abordagem falha. A função de perda de reconstrução padrão direciona a ação latente para codificar movimento exógeno (distratores) em vez de dinâmicas controladas pelo agente (endógenas). Esse fenômeno, formalizado pelo framework Ex-BMDP (Exogenous Block MDP), resulta em espaços latentes que não recuperam ações verdadeiras, fazendo com que políticas a jusante tenham desempenho significativamente inferior durante o ajuste fino. Tentativas anteriores de resolver isso exigiram mudanças arquitetônicas, funções de perda auxiliares ou supervisão privilegiada de ação durante o pré-treinamento, aumentando a complexidade e os requisitos de dados.

Metodologia: MaskLAM

Os autores propõem MaskLAM, uma modificação leve ao objetivo de treinamento do LAPO que aborda o problema de contaminação exógena sem alterar a arquitetura do modelo ou exigir rótulos de ação durante o pré-treinamento.

Insight Central

O método baseia-se na observação de que, embora fatores endógenos (agente) e exógenos (distrator) estejam entrelaçados no espaço latente, eles são tipicamente espacialmente separáveis no espaço de pixels. Mudanças controladas pelo agente concentram-se nos pixels do agente, enquanto o movimento do distrator ocorre em outros lugares.

Implementação Técnica

1. Segmentação Zero-Shot: MaskLAM utiliza modelos fundacionais de segmentação prontos para uso (especificamente SAM 2.1) para gerar máscaras binárias ($M_t$) que identificam pixels do agente. Essas máscaras são obtidas zero-shot a partir de um único prompt (por exemplo, uma caixa delimitadora) no primeiro quadro e propagadas através da sequência de vídeo.
2. Função de Perda de Dinâmica Forward Mascarada: Em vez de reconstruir a observação completa, a função de perda do modelo de dinâmica forward (FDM) é restrita aos pixels do agente. A função de perda é definida como:
   $$L_{MaskLAM}^{FDM} = \frac{1}{\|M_{t+1}\|_1} \| M_{t+1} \odot (\hat{o}_{t+1} - o_{t+1}) \|_2^2$$
   onde $\odot$ denota o produto de Hadamard. Isso garante que pixels fora da máscara do agente (distratores) contribuam com gradiente zero para a ação latente $z_t$.
3. Entradas Condicionadas à Máscara: As máscaras de segmentação são concatenadas como um canal de entrada adicional tanto ao Modelo de Dinâmica Inversa (IDM) quanto ao FDM. Isso permite que os modelos utilizem o contexto completo da cena (incluindo objetos com os quais o agente interage que podem ficar fora da máscara estrita do agente), enquanto garante que o sinal de aprendizado para $z_t$ seja derivado apenas de dinâmicas controladas pelo agente.
4. Sem Mudanças Arquitetônicas: A intervenção modifica apenas o cálculo da perda e os canais de entrada, deixando a arquitetura subjacente do LAPO (par IDM/FDM) e o pipeline de treinamento de três etapas (pré-treinamento, rerotulagem, ajuste fino do decodificador) intactos.

Contribuições Principais

1. Separabilidade Espacial como Intervenção: O artigo identifica a separabilidade espacial dos pixels do agente e dos distratores como a propriedade chave que permite que a fatorização Ex-BMDP abstrata seja implementada como uma intervenção concreta durante o treinamento.
2. Proposta MaskLAM: Um método que elimina gradientes exógenos na ação latente ao restringir a perda de reconstrução aos pixels do agente, não exigindo perdas auxiliares, mudanças arquitetônicas ou rótulos de ação durante o pré-treinamento.
3. Validação Empírica: Avaliação extensa em dois benchmarks (Distracting Control Suite e Distracting Meta-World) demonstra que MaskLAM supera significativamente as linhas de base sem rótulos e reduz a lacuna de desempenho em relação a métodos que dependem de supervisão privilegiada de ação (LAOM-Labels).

Resultados

Os autores avaliaram MaskLAM em 14 tarefas em dois benchmarks, comparando-o com LAPO, LAOM-Labels (limite superior com supervisão de ação), LAOF (baseado em fluxo) e LAPO-Slots (centrado em objetos).

• Qualidade da Ação Latente: MaskLAM reduziu o Erro Quadrático Médio (NMSE) de sonda linear normalizado em até 3,51× em comparação com LAPO. Nas visualizações (projeções UMAP), MaskLAM produziu variedades suaves e monótonas alinhadas com ações de verdade fundamental, enquanto LAPO colapsou em clusters entrelaçados.
• Desempenho a Jusante: MaskLAM melhorou o retorno normalizado em até 4,97× sobre LAPO em configurações com distratores. Ele igualou ou superou todas as linhas de base sem rótulos e aproximou-se do desempenho do LAOM-Labels, que usa supervisão privilegiada de ação.
• Eficiência de Amostra: MaskLAM demonstrou superior eficiência de amostra na etapa de ajuste fino do decodificador. No Distracting Meta-World, atingiu desempenho próximo ao pico com apenas 2.000 rótulos de ação, enquanto LAPO e LAPO-Slots exigiram quase duas ordens de grandeza a mais de rótulos para fechar a lacuna.
• Robustez:
  • Oclusão: MaskLAM manteve taxas de erro baixas mesmo com até 75% de oclusão do agente, enquanto modelos não mascarados degradaram-se significativamente.
  • Máscaras Imperfeitas: O método permaneceu eficaz mesmo quando as máscaras de segmentação foram perturbadas (mIoU caiu para 0,4–0,6), indicando que segmentação perfeita em pixels não é necessária.
  • Espaços Latentes Compactos: MaskLAM permitiu dimensões latentes menores (por exemplo, 64 dimensões) para alcançar o mesmo alinhamento que latentes não mascarados maiores (256 dimensões), pois o espaço latente não está sobrecarregado com a codificação de variância exógena.

Significado e Alegações

O artigo alega que a falha de LAMs padrão em ambientes ricos em distratores é impulsionada pelo alvo de previsão (reconstrução global) e não pela arquitetura. Ao realocar o fardo de supervisão de rótulos de ação escassos para máscaras de segmentação baratas e disponíveis zero-shot, MaskLAM torna o pré-treinamento de ação latente viável em vídeos ruidosos do mundo real.

Os autores enfatizam que essa abordagem:

• Desacopla a necessidade de rótulos de ação da capacidade de aprender dinâmicas desentrelaçadas.
• Preserva a simplicidade do framework LAPO enquanto resolve um problema crítico de robustez.
• Demonstra que priores espaciais derivados de modelos fundacionais podem guiar efetivamente o aprendizado de representação na ausência de anotações de controle explícitas.

O trabalho sugere que, para agentes incorporados operando em ambientes visuais complexos, a supervisão necessária para desentrelaçar dinâmicas do agente de distratores pode ser obtida a partir de máscaras de segmentação em vez de rótulos de ação, potencialmente habilitando pré-treinamento em grande escala em dados de vídeo em escala de internet.