💻 computer science

SlotDiT: Object-Centric Representations for Diffusion Transformers

Este artigo apresenta o SlotDiT, um Diffusion Transformer guiado por texto que utiliza representações latentes baseadas em slots centradas em objetos para alcançar uma qualidade de geração de vídeo competitiva e taxas de conclusão de tarefas significativamente superiores em aplicações robóticas em comparação com as abordagens tradicionais baseadas em VAE.

Autores originais: Gjergj Plepi, Sven Behnke

Publicado 2026-09-16

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Gjergj Plepi, Sven Behnke

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Os robôs há muito lutam para compreender o mundo não apenas como um borrão de pixels, mas como uma coleção de coisas distintas que se movem e interagem. Durante anos, sistemas de inteligência artificial projetados para gerar vídeo ou planejar ações robóticas basearam-se em um método que trata cada imagem como uma enorme grade de pontos coloridos. Embora essa abordagem produza imagens incrivelmente realistas, ela frequentemente falha quando um robô precisa entender como pegar uma xícara ou deslizar um bloco sobre uma mesa. O problema é que esses sistemas veem o mundo com detalhes em alta definição, mas carecem de um mapa mental claro dos objetos individuais dentro dele. Eles sabem como uma cena parece, mas têm dificuldade em entender o que está acontecendo dentro dela. Essa lacuna entre ver e compreender limitou a capacidade das máquinas de seguir instruções simples ou planejar movimentos complexos em ambientes do mundo real.

Uma equipe de pesquisadores da Universidade de Bonn propôs uma maneira diferente de as máquinas enxergarem. Em vez de forçar uma inteligência artificial a processar cada pixel individual de um vídeo, eles a ensinaram a decompor uma cena em um pequeno número de partes distintas e móveis. Eles chamam essas partes de "slots" (espaços). Imagine olhar para um balcão de cozinha movimentado e reconhecer instantaneamente a caneca de café, a torradeira e a fruteira como entidades separadas, em vez de uma confusão caótica de formas e cores. Este novo sistema, que os pesquisadores nomearam SlotDiT, utiliza essa abordagem focada em objetos para guiar um poderoso modelo de computador gerador de vídeo. Ao focar nos próprios objetos em vez do ruído de fundo, o sistema consegue prever como uma cena mudará ao longo do tempo com muito mais precisão, especialmente quando recebe uma instrução de texto simples como "mova o bloco vermelho para a tigela azul".

Os pesquisadores construíram seu sistema para funcionar em duas etapas principais. Primeiro, o computador aprende a observar um quadro de vídeo e separá-lo nesses slots de objetos individuais. Ele identifica as entidades na cena e atribui a cada uma uma representação digital compacta. Uma vez que a cena é decomposta, o sistema usa uma instrução de texto para guiar uma previsão do que acontecerá a seguir. Em vez de tentar adivinhar a cor de cada pixel no futuro, o modelo simplesmente prevê como esses poucos slots de objetos se moverão e mudarão. Ele então costura essas previsões de volta para criar um vídeo do futuro. A equipe testou este método contra sistemas antigos que dependiam da abordagem tradicional, pesada em pixels. Eles realizaram experimentos em quatro conjuntos de dados diferentes, variando de simulações de computador simples de jogos de mesa até filmagens complexas do mundo real de robôs realizando tarefas domésticas.

Os resultados mostraram uma divisão clara entre ver o mundo em detalhes e compreendê-lo estruturalmente. Os sistemas mais antigos, que focavam em alta fidelidade visual, frequentemente produziam vídeos que pareciam suaves e realistas para o olho humano. No entanto, quando solicitados a seguir uma instrução específica, esses sistemas frequentemente falhavam. Eles poderiam gerar um vídeo belo de um bloco deslizando, mas o bloco acabaria no lugar errado ou falharia em interagir com o objeto alvo conforme solicitado. Em contraste, o novo sistema SlotDiT, embora às vezes produzisse vídeos ligeiramente menos perfeitos visualmente, teve sucesso consistente na tarefa real. Em um conjunto de dados chamado CLIPort, onde um robô deve colocar um bloco específico em uma tigela específica, o novo sistema alcançou uma taxa de sucesso de 73,0 por cento, superando de longe o próximo melhor método, que atingiu apenas 50 por cento. Mesmo em cenários mais complexos do mundo real envolvendo tarefas domésticas, o sistema focado em objetos manteve uma taxa de sucesso maior do que seus rivais focados em pixels.

Além de apenas realizar o trabalho, a nova abordagem provou ser significativamente mais rápida e eficiente. Como o sistema só precisa rastrear um punhado de slots de objetos em vez de milhares de pixels, ele requer muito menos poder computacional para gerar previsões. Em seus testes, os pesquisadores descobriram que o novo sistema podia gerar previsões mais de cinco vezes mais rápido do que os modelos padrão de alta definição. Essa vantagem de velocidade é crucial para a robótica, onde uma máquina precisa pensar e reagir em tempo real. O estudo sugere que, para os robôs serem verdadeiramente úteis, eles não precisam necessariamente ver o mundo em alta definição perfeita; eles precisam vê-lo de uma forma que destaque os objetos que importam. Ao priorizar a estrutura da cena sobre os detalhes finos da imagem, os pesquisadores mostraram que as máquinas podem se tornar muito melhores em seguir instruções e planejar suas próprias ações.

O trabalho também destaca uma verdade surpreendente sobre a inteligência artificial: parecer melhor nem sempre significa pensar melhor. Os pesquisadores descobriram explicitamente que os sistemas que produziam os vídeos visualmente mais impressionantes eram frequentemente os piores em resolver as tarefas. Isso indica que o padrão atual para julgar a geração de vídeo — o quão realista ele parece — pode ser enganoso quando o objetivo é construir máquinas que possam interagir com o mundo físico. O estudo conclui que fornecer aos robôs uma visão centrada em objetos do mundo é uma maneira poderosa de melhorar sua capacidade de planejar e controlar seus movimentos. Embora o sistema ainda tenha limitações, como a necessidade de um número fixo de objetos para rastrear, as descobertas oferecem um caminho promissor. Sugere que o futuro da inteligência robótica pode não residir em fazer as máquinas verem mais, mas em ajudá-las a compreender o que estão vendo.

Resumo Técnico: SlotDiT: Representações Centradas em Objetos para Transformers de Difusão

Definição do Problema

Modelos de difusão latente condicionadas a texto demonstraram sucesso significativo na geração de vídeos e mostram promessa para aplicações robóticas, como planejamento, aprendizado de políticas e modelagem de mundo. No entanto, as abordagens existentes dependem predominantemente de representações latentes de nível de pixel ou baseadas em Autoencoders Variacionais (VAE). Essas representações são tipicamente aprendidas com objetivos de reconstrução (ex: VAE do Stable Diffusion), priorizando a fidelidade visual elevada em detrimento de uma estrutura semântica explícita. Consequentemente, o espaço latente carece da decomposição estruturada em nível de objeto necessária para tarefas downstream eficazes em robótica, onde a conclusão de tarefas e o planejamento importam mais do que a reconstrução perfeita de pixels. Embora as representações centradas em objetos tenham se mostrado benéficas para modelagem de dinâmica e controle, sua integração como espaços latentes para modelagem generativa baseada em difusão permanece inexplorada.

Metodologia

Os autores propõem o SlotDiT, um Diffusion Transformer (DiT) guiado por texto que opera dentro de um espaço latente compacto e centrado em objetos (baseado em slots). O framework consiste em duas etapas primárias:

1. Aprendizado de Representações Baseadas em Slots

A primeira etapa envolve o aprendizado de uma decomposição centrada em objetos da cena.

Encoder: Um transformer de visão (ViT) DINOv2 congelado extrai características visuais dos quadros de entrada.
Slot Attention: Um módulo de Slot Attention refina iterativamente um conjunto de vetores latentes (slots) ao atender às características visuais. Isso impõe competição entre os slots para representar entidades distintas da cena.
Decoder: Um decoder de dois estágios (decoder de broadcast baseado em MLP seguido por um decoder de imagem baseado em CNN) reconstrói a cena a partir dos slots, otimizando tanto as perdas de reconstrução de características quanto de imagem.
Output: Cada quadro é representado como um conjunto de $N_S$ slots centrados em objetos, onde cada slot corresponde a uma entidade específica na cena.

2. Diffusion Transformer Baseado em Slots e Condicionado a Texto

A segunda etapa treina o modelo generativo dentro do espaço latente aprendido.

Arquitetura: O SlotDiT utiliza um backbone de Diffusion Transformer composto por blocos idênticos contendo autoatenção bidirecional, cross-attention de texto-para-slot e MLPs.
Condicionamento: O modelo é condicionado a uma instrução de linguagem (codificada via encoder T5) e ao contexto da cena observado (conjunto inicial de slots).
Processo de Geração: Dada uma imagem de referência e uma instrução, o modelo realiza a denoização autorregressiva de trajetórias de slots futuras. Ele opera em uma janela temporal de comprimento fixo, recebendo slots de contexto e embeddings de texto, enquanto injeta ruído Gaussiano em quadros futuros.
Treinamento: O modelo segue o framework de Diffusion Forcing Transformer (DFoT), utilizando um paradigma de ruído-como-máscara onde cada quadro é corrompido com um nível de ruído independente. O objetivo é prever a velocidade ( $v$ -prediction) do processo de denoização.
Inferência: A geração procede de forma autorregressiva usando um amostrador DDIM. O classifier-free guidance é empregado para melhorar a qualidade da amostra e o seguimento da instrução, combinando previsões condicionais e incondicionais.

Principais Contribuições

Modelo SlotDiT: A introdução de um Diffusion Transformer guiado por texto que opera em um espaço latente centrado em objetos, permitindo a modelagem generativa estruturada para ambientes robóticos.
Estudo Comparativo Controlado: Uma investigação sistemática comparando representações baseadas em slots contra espaços latentes estabelecidos baseados em VAE (SD-VAE, ImageVAE, VA-VAE, VideoVAE) e alinhados semanticamente (baseados em DINOv2) dentro de um framework DiT unificado. Isso isola o impacto do design do espaço latente enquanto mantém a arquitetura e os procedimentos de treinamento constantes.
Validação Empírica: Demonstração de que a estrutura centrada em objetos serve como um poderoso viés indutivo, produzindo uma qualidade de geração de vídeo competitiva, ao mesmo tempo em que melhora significativamente as taxas de sucesso de tarefas em geração de vídeo guiada por texto e tarefas de controle robótico.

Resultados

Os autores avaliaram o SlotDiT em quatro conjuntos de dados robóticos (LanguageTable-Synthetic, CLIPort, LanguageTable-Real e Bridgev2) abrangendo ambientes simulados e do mundo real.

Sucesso da Tarefa vs. Fidelidade Visual: Uma descoberta crítica é o desacoplamento das métricas de qualidade visual do sucesso da tarefa. Embora os baselines baseados em VAE frequentemente tenham alcançado pontuações perceptuais superiores (LPIPS, FVD, JEDi), eles frequentemente falharam em seguir instruções ou completar tarefas. Por exemplo, no CLIPort, o DiT + VideoVAE alcançou a maior fidelidade visual entre os baselines de VAE, mas obteve apenas 57,1% de taxa de sucesso na tarefa, enquanto o SlotDiT alcançou 87,8%. Da mesma forma, no LanguageTable-Synthetic, o DiT + VideoVAE superou o SlotDiT em métricas visuais, mas obteve uma taxa de sucesso de tarefa significativamente menor (55,8% vs. 79,7%).
Controle Robótico: Em avaliações de controle robótico de malha fechada e malha aberta, o SlotDiT superou todos os baselines, incluindo preditores de Transformer centrados em objetos (TextOCVP) e DiTs baseados em VAE. No LanguageTable-Synthetic, o SlotDiT quase igualou o desempenho de um oracle usando slots futuros de verdade fundamental (ground-truth), sugerindo que as trajetórias geradas preservam informações essenciais para a tarefa.
Eficiência: A natureza compacta da representação de slots (ex: 10 slots por quadro vs. 256 tokens para VAEs) resultou em uma eficiência computacional substancial. O SlotDiT alcançou um aumento de 5,68× no throughput de inferência em comparação com o baseline DiT + SD-VAE, primariamente devido à redução na contagem de tokens durante a etapa de amostragem de difusão.
Robustez e Controlabilidade: O SlotDiT demonstrou robustez a configurações de cena fora da distribuição (ex: aumento no número de objetos) e modelos de instrução não vistos. Também exibiu forte controlabilidade, adaptando com sucesso as trajetórias geradas para instruções de texto modificadas enquanto mantinha a consistência da cena.

Significância e Alegações

O artigo afirma que a estrutura centrada em objetos é um poderoso viés indutivo para a modelagem generativa baseada em difusão em ambientes robóticos.

Os autores argumentam que, embora a reconstrução visual de alta fidelidade seja valiosa para a geração de vídeos gerais, ela não é o requisito primário para planejamento e controle robótico. Em vez disso, um espaço latente que decompõe explicitamente cenas em entidades semânticas (slots) fornece uma representação mais eficiente e eficaz para modelar dinâmicas relevantes para a tarefa. Os resultados sugerem que as métricas padrão de geração de vídeo não capturam totalmente a utilidade de um espaço latente para tarefas robóticas subsequentes. Ao priorizar a semântica estruturada em nível de objeto sobre a fidelidade em nível de pixel, o SlotDiT preenche a lacuna entre a modelagem generativa e a aplicação robótica prática, oferecendo uma alternativa computacionalmente eficiente que melhora tanto a precisão do planejamento quanto as taxas de conclusão de tarefas.