Resumo Técnico: Melhores Slots, Melhores Mundos

Declaração do Problema

Modelos de mundo permitem que agentes aprendam a dinâmica do ambiente a partir de trajetórias offline para planejar em direção a objetivos arbitrários. Embora as representações centradas em objetos (OC) sejam teoricamente promissoras para melhorar a eficiência de amostragem e a generalização ao decompor cenas em estruturas causais e composicionais, sua utilidade prática no planejamento permanece não verificada. Os modelos de mundo OC anteriores (OCWMs) sofrem de duas lacunas críticas:

1. Qualidade da Representação Não Testada: Os OCWMs existentes tratam o codificador de slots como um componente fixo, frequentemente selecionado com base em métricas não supervisionadas (ex: FG-ARI, mBO) que recompensam máscaras de objetos limpas, mas que não necessariamente correlacionam com o sucesso do planejamento downstream.
2. Generalização Não Verificada: Não está claro se o viés indutivo da centricidade de objeto realmente se traduz em robustez sob mudanças de distribuição (OOD) em comparação com modelos centrados na cena, uma vez que as avaliações anteriores foram amplamente confinadas a configurações in-distribution.

Metodologia

Os autores conduzem um estudo controlado de OCWMs para controle preditivo de modelo visual (MPC) em dois ambientes de manipulação física: 2D PushT e 3D OGBench-Cube. O estudo isola três questões de pesquisa específicas ao variar a qualidade da representação e os componentes arquiteturais enquanto mantém o modelo de dinâmica e o planejador constantes.

Configuração Experimental

• Estrutura de Linha de Base (Baseline): O estudo baseia-se no C-JEPA, um OCWM que codifica frames em slots de objetos usando VideoSAUR e prevê slots futuros via um módulo de dinâmica transformer. O C-JEPA depende de mecanismos auxiliares: um objetivo de predição de slot mascarado e entradas de propriocepção auxiliares.
• Modelo Proposto: Os autores introduzem o SlotContrast-WM, substituindo o VideoSAUR pelo SlotContrast (um framework que utiliza Slot Attention com objetivos contrastivos temporais) e atualizando o extrator de características para o DINOv3. Crucialmente, a configuração padrão do SlotContrast-WM remove o objetivo de masking de slots e os tokens de propriocepção para testar sua necessidade.
• Baselines: Os OCWMs são comparados contra modelos centrados na cena:
  • DINO-WM: Utiliza features de patches DINOv2 congeladas.
  • LeWM: Utiliza um token CLS global de um ViT treinado de ponta a ponta.
• Métricas:
  • Qualidade da Representação: Índice de Rand Ajustado de Foreground (FG-ARI) e média do Melhor Sobreposto (mBO) em sequências de vídeo.
  • Planejamento: Taxa de sucesso da tarefa (SR) em relação a uma linha de base de política aleatória.
  • Robustez: Desempenho sob mudanças visuais (cor, escala, forma) e de dinâmica.

Eixos Experimentais Chave

1. Varredura de Qualidade (Quality Sweep): Treinar o SlotContrast-WM em checkpoints intermediários do codificador SlotContrast para correlacionar métricas de qualidade de slot com o sucesso do planejamento.
2. Ablação de Componentes: Varrer o número de slots mascarados e a presença de tokens de propriocepção tanto em encoders de alta qualidade (SlotContrast) quanto de baixa qualidade (VideoSAUR).
3. Mudança de Distribuição: Avaliar o desempenho de planejamento zero-shot sob variações não vistas em aparência de objetos, escala, forma e fatores de nível de cena (fundo, iluminação, ângulo de câmera).

Principais Resultados

1. A Qualidade do Slot Correlaciona-se com o Sucesso do Planejamento

Existe uma forte correlação positiva entre métricas não supervisionadas de qualidade de slot e o sucesso do planejamento.

• No PushT, o sucesso do planejamento acompanha a emergência da separação de objetos (Pearson $r = 0.96$ para FG-ARI, $r = 0.94$ para mBO).
• Efeito de Saturação: Os ganhos saturam em alta qualidade de slot; uma vez que os slots estão bem delimitados, melhorias adicionais na qualidade da máscara geram retornos decrescentes para o planejamento.
• No OGBench-Cube, a correlação existe, mas satura mais cedo, provavelmente porque o braço robótico grande domina as métricas de segmentação enquanto o cubo pequeno e relevante para a tarefa contribui menos.

2. Slots de Alta Qualidade Tornam Mecanismos Auxiliares Desnecessários

O estudo desafia a necessidade dos mecanismos auxiliares (masking e propriocepção) encontrados em OCWMs anteriores como o C-JEPA.

• O SlotContrast-WM (slots de alta qualidade) atinge 84,7% de sucesso sem propriocepção ou masking.
• Adicionar propriocepção a esta configuração fornece ganho negligenciável (+0,6 pp).
• Por outro lado, o VideoSAUR (slots de baixa qualidade) depende fortemente desses mecanismos; sem propriocepção, o masking degrada o desempenho significativamente. Quando pareado com propriocepção, o VideoSAUR atinge 85,3%, sugerindo que esses mecanismos atuam como atalhos compensatórios para representações fracas em vez de drivers intrínsecos de desempenho.

3. Robustez a Mudanças de Distribuição

• OCWM vs. Centrado na Cena: O OCWM (SlotContrast-WM) é o que menos degrada sob mudanças de distribuição.
• O Papel do Pré-treinamento: O DINO-WM (centrado na cena, mas usando features pré-treinadas congeladas) permanece comparavelmente robusto ao OCWM. Em contraste, o LeWM (centrado na cena treinado de ponta a end-to-end) degrada substancialmente, particularmente sob mudanças de nível de cena (ex: mudanças na cor do fundo).
• Conclusão: A robustez parece ser impulsionada pelo uso de representações visuais pré-treinadas congeladas (sejam elas centradas em objetos ou centradas na cena) em vez do viés indutivo de objeto por si só. Ambos os modelos falham sob mudanças geométricas de forma que alteram a dinâmica de contato.

Significância e Alegações

O artigo afirma isolar os fatores específicos que tornam os modelos de mundo centrados em objetos eficazes para o planejamento:

1. A Qualidade da Representação é Dominante: O sucesso do planejamento está estritamente acoplado à qualidade da representação centrada em objeto. Uma vez que os slots estão bem delimitados, o modelo não requer objetivos auxiliares complexos ou inputs proprioceptivos para performar bem.
2. O Pré-treinamento Impulsiona a Robustez: A robustez dos OCWMs sob mudança de distribuição é amplamente atribuída ao uso de features visuais pré-treinadas e congeladas (ex: DINO). Isso sugere que a vantagem de "centrado em objeto" na robustez pode ser secundária à qualidade da fundação visual subjacente.
3. Refinando os Vieses Indutivos: O estudo demonstra que, para tarefas de manipulação, uma representação centrada em objeto suficientemente de alta qualidade pode simplificar a arquitetura do modelo de mundo, removendo vieses indutivos redundantes anteriormente considerados necessários.

Limitações

Os autores observam que métricas de slot não supervisionadas (FG-ARI, mBO) são menos informativas quando objetos relevantes para a tarefa são pequenos em relação à cena (como visto no OGBench-Cube), motivando a necessidade de medidas de qualidade conscientes da tarefa (task-aware). Sugere-se que trabalhos futuros testem esses achados em ambientes mais diversos com variações no número de objetos, escalas e dinâmicas.