Resumo Técnico: HCLSM

1. O Problema

Os modelos de mundo atuais que preveem estados futuros a partir de vídeos enfrentam limitações fundamentais devido a três dimensões de falha:

1. Representação Plana (Flat Latents): Modelos existentes (como V-JEPA e DreamerV3) utilizam vetores latentes desestruturados que entrelaçam todos os objetos, escalas temporais e relações causais em um único alvo de previsão. Isso impede que o agente acesse conhecimento estruturado necessário para planejamento e raciocínio contrafactual.
2. Falta de Hierarquia Temporal: A dinâmica física opera em múltiplas escalas simultâneas (trajetória contínua em milissegundos, eventos discretos como colisões, e planos estratégicos em minutos). Modelos atuais não possuem mecanismos computacionais distintos para cada escala.
3. Ausência de Causalidade Explícita: Sem uma estrutura causal definida, os modelos não conseguem inferir "o que causou o quê" ou responder a perguntas do tipo "e se" (ex: "o que aconteceria se o gripper empurrasse mais forte?").

2. Metodologia: Arquitetura HCLSM

O HCLSM propõe uma arquitetura de cinco camadas interconectadas que opera sob três princípios: decomposição centrada em objetos, dinâmica temporal hierárquica e aprendizado de estrutura causal.

2.1 Arquitetura de Cinco Camadas

1. Percepção: Um codificador Vision Transformer (ViT) processa os quadros de vídeo em embeddings de patches, adicionando embeddings de posição temporal.
2. Decomposição de Objetos (Slot Attention):
   • Utiliza Slot Attention com um mecanismo de "nascimento/morte" dinâmico para agrupar patches em slots (representações de objetos).
   • Decoder de Transmissão Espacial (SBD): Cada slot é transmitido independentemente para uma grade espacial e decodificado por uma CNN. O alvo de reconstrução não são os pixels brutos, mas sim características congeladas de um ViT (abordagem DINOSAUR), forçando os slots a aprenderem decomposição semântica.
   • GNN (Graph Neural Network): Processa interações entre pares de slots, gerando pesos de aresta que codificam a estrutura de interação entre objetos.
3. Dinâmica Hierárquica (Três Níveis):
   • Nível 0 (SSM Seletivo): Modela a física contínua quadro a quadro para cada objeto individualmente usando Selective State Space Models (SSM), com complexidade linear.
   • Nível 1 (Transformer de Eventos Esparsos): Um detector identifica limites de eventos (mudanças de estado significativas). Um Transformer processa apenas esses timesteps esparsos, reduzindo o custo computacional de $O(T \cdot N^2)$ para $O(K \cdot N^2)$.
   • Nível 2 (Transformer de Compressão de Objetivos): Consolida a sequência de eventos em tokens de estado abstrato para raciocínio de alto nível e planejamento.
4. Estrutura Causal: Uma matriz de adjacência causal é aprendida com regularização de esparsidade e restrição de aciclicidade (estilo NOTEARS), embora no release atual os pesos do GNN sirvam como o sinal causal primário.
5. Memória Contínua: Utiliza mecanismos de Hopfield e EWC (Elastic Weight Consolidation) para retenção de longo prazo.

2.2 Protocolo de Treinamento em Duas Etapas

Uma inovação crítica é a ordem de treinamento. Se todas as perdas forem ativas desde o início, a perda de previsão (dinâmica) domina, fazendo com que os slots se tornem representações distribuídas em vez de objetos específicos.

• Etapa 1 (40% do tempo): Apenas a perda de reconstrução espacial (SBD) e um regularizador de diversidade são ativos. Isso força a especialização espacial dos slots (cada slot aprende a reconstruir uma região específica da imagem).
• Etapa 2 (60% do tempo): A perda de previsão JEPA (dynamics) é ativada sobre os objetos já decompostos. O modelo aprende a prever o futuro de objetos distintos.

3. Contribuições Principais

1. Arquitetura Unificada: Primeiro modelo diferenciável a combinar slots centrados em objetos, hierarquia temporal de três níveis (SSM + Transformer Esparsos + Transformer de Objetivo) e interação causal baseada em GNN.
2. Decomposição Não Supervisionada: Uso de um decoder de transmissão espacial com características ViT congeladas para decompor vídeos de robôs reais sem anotações de objetos.
3. Protocolo de Treinamento em Duas Etapas: Resolve o conflito de otimização entre especialização de objetos e previsão de dinâmica, inspirado no desenvolvimento do córtex visual biológico.
4. Otimização de Hardware: Implementação de um kernel personalizado em Triton para a varredura SSM seletiva, alcançando um aceleramento de 38x em comparação com loops sequenciais do PyTorch.
5. Código Aberto: Implementação completa (8.478 linhas, 51 módulos, 171 testes) treinada em dados reais do ecossistema Open X-Embodiment.

4. Resultados Experimentais

O modelo foi treinado no benchmark PushT (manipulação robótica) com 68 milhões de parâmetros.

• Desempenho de Previsão: O modelo alcançou uma perda de MSE (Erro Quadrático Médio) de 0.008 na previsão do próximo estado.
  • Nota: O modelo sem o protocolo de duas etapas (apenas SBD) teve uma perda de previsão menor (0.002), mas falhou em decompor objetos (slots distribuídos). O modelo HCLSM (duas etapas) sacrificou ligeiramente a precisão bruta da previsão para ganhar a estrutura de objetos (SBD loss: 0.0075).
• Decomposição Espacial: Os mapas de "alfa" (probabilidade de posse) mostraram que diferentes slots assumiram diferentes regiões espaciais da cena, indicando o surgimento de representações conscientes de objetos.
• Detecção de Eventos: O detector aprendeu a identificar 2-3 eventos por sequência de 16 quadros, alinhando-se com momentos de mudança de estado (ex: contato entre o gripper e o bloco).
• Velocidade: O kernel Triton reduziu o tempo de previsão temporal por objeto para apenas 5% do tempo total de forward pass.

5. Limitações e Trabalhos Futuros

• Contagem de Slots: O modelo usa 32 slots fixos, mesmo para cenas com poucos objetos (ex: 3 objetos), resultando em sobreposição de slots por objeto. O mecanismo de "morte" de slots não aprendeu a eliminar slots inúteis.
• Descoberta Causal: A matriz de adjacência causal explícita não aprendeu arestas significativas (colapsou para zero devido à regularização), embora os pesos do GNN forneçam uma estrutura de interação implícita.
• Estabilidade Numérica: O treinamento em precisão bfloat16 (H100) foi instável para configurações maiores (Base/Large) e em 40-60% das execuções devido a overflow de gradiente.
• Escala: O modelo atual é pequeno (68M) e treinado em um único dataset. A escalabilidade para configurações maiores e datasets diversos requer soluções para estabilidade numérica.

6. Significado

O HCLSM representa um avanço significativo na direção de modelos de mundo estruturados. Ao priorizar a estrutura (objetos, hierarquia temporal e causalidade) antes da previsão, o trabalho demonstra que é possível criar representações latentes que refletem a física e a lógica do mundo real, em vez de apenas comprimir pixels. Isso abre caminho para agentes autônomos capazes de planejamento robusto, raciocínio contrafactual e manipulação complexa em ambientes do mundo real. O código aberto e a infraestrutura de treinamento fornecem uma base sólida para pesquisas futuras em IA centrada em objetos e robótica.