Resumo Técnico: Slot-MLLM: Tokenização Visual Centrada em Objetos para MLLMs Multimodais

1. Declaração do Problema

Recentes Modelos de Linguagem Multimodais (MLLMs) generativos adotaram tokens visuais discretos para permitir a modelagem autoregressiva de imagens juntamente com texto. Embora esse paradigma una compreensão e geração em um único framework de previsão do próximo token, os tokenizadores visuais existentes enfrentam limitações significativas:

• Falta de Estrutura em Nível de Objeto: A maioria dos tokenizadores é baseada em patches ou depende de supervisão semântica global. Eles lutam para preservar a composicionalidade estrutural, o que é crítico para o raciocínio em nível de objeto e a geração controlável.
• Ineficiência e Rigidez: Abordagens como UniTok e TokenFlow frequentemente dependem de representações de grade fixa, resultando em sequências visuais excessivamente longas. Outras dependem de agrupamento heurístico ou fusão de características de patches em vez de descoberta de entidades não supervisionada e fundamentada.
• Desafios de Integração: Embora a Atenção por Slots (Slot Attention) ofereça um viés indutivo fundamentado para representação centrada em objetos, decompondo cenas em um conjunto fixo de tokens, torná-la prática para MLLMs generativos permanece um desafio aberto. Ela deve satisfazer simultaneamente a geração de imagens de alta qualidade, forte alinhamento com semântica linguística e estabilidade ao ser treinada em conjuntos de dados em grande escala.

2. Metodologia

Os autores propõem o SlotTok, um tokenizador visual centrado em objetos, e o Slot-MLLM, um modelo unificado que integra o SlotTok a um LLM.

A. SlotTok: Tokenizador Visual Centrado em Objetos

O SlotTok codifica imagens em um conjunto compacto de tokens discretos e centrados em objetos usando um processo de treinamento em duas etapas:

1. Arquitetura:

   • Codificador de Slots: Baseado em um transformer baseado em consultas, ele recebe características visuais (de um codificador de visão como DINOv2) e usa Atenção por Slots para agregar informações em $N$ slots coerentes. Cada slot destina-se a representar um objeto ou região distinto. Para alinhar-se a MLLMs autoregressivos, inclui uma camada de auto-atenção causal.
   • Quantizador Vetorial: Embarcamentos contínuos de slots são discretizados usando um Quantizador Vetorial Residual (RVQ) com um bloco Transformer leve para reconstruir embarcamentos a partir de códigos discretos, garantindo alta qualidade de reconstrução sob um orçamento compacto de tokens.
   • Decodificador Visual: Um decodificador baseado em difusão (unCLIP-SD) que reconstrói imagens a partir de tokens de slots. Ele utiliza três caminhos de condicionamento: um vetor global para orientação semântica, um embarcamento de contexto de slot para atenção cruzada congelada do UNet e uma camada de atenção cruzada adaptável treinável que recebe embarcamentos completos de slots.

2. Estratégia de Treinamento:

   • Etapa 1 (Aprendizado Contínuo): O Codificador de Slots, o bloco Transformer e as camadas adaptáveis são treinados enquanto as camadas originais de atenção cruzada do UNet permanecem congeladas. O objetivo combina cinco perdas:
     • Perda de Reconstrução de Imagem (Difusão): Minimização do erro de previsão de ruído.
     • Perda de Alinhamento CLIP: Alinhamento de embarcamentos globais de slots com embarcamentos de imagem do CLIP.
     • Perda Contrastiva Imagem-Texto: Alinhamento de embarcamentos de slots com embarcamentos de texto para garantir compatibilidade semântica.
     • Perda de Geração de Texto Fundada em Imagem: Previsão de tokens de texto condicionados a slots.
     • Perda de Orientação por Atenção: Uma perda novel que alinha os mapas de atenção cruzada do adaptador no UNet com os mapas de atenção de slots do codificador. Isso garante que o decodificador de difusão consuma slots de maneira alinhada a objetos sem supervisão externa.
   • Etapa 2 (Discretização): O Codificador de Slots e o Decodificador Visual são congelados. Apenas o RVQ e um Transformer de reconstrução são treinados para aprender códigos discretos que aproximam os embarcamentos contínuos, preservando o alinhamento de objetos aprendido.

B. Slot-MLLM: Modelagem Multimodal Unificada

O Slot-MLLM integra o SlotTok em um único framework autoregressivo:

• Representação de Token: Imagens são convertidas em $N \times K$ índices discretos (onde $K$ é o número de livros de códigos RVQ). Estes são achatados e adicionados ao vocabulário do LLM como uma "segunda língua", delimitados pelos tokens <boi> e <eoi>.
• Entrada Visual Híbrida: Para tarefas de compreensão, o modelo usa embarcamentos de slots contínuos pré-quantizados projetados no espaço oculto do LLM via um MLP para preservar informações visuais de alta granularidade e evitar erros de quantização. Para tarefas de geração, o modelo usa os tokens de slots discretos para permitir a previsão autoregressiva do próximo token.
• Treinamento: O modelo passa por pré-treinamento multimodal em pares imagem-texto e dados intercalados, seguido de Ajuste Fino Supervisionado (SFT) em conjuntos de dados de seguimento de instruções para compreensão, geração e edição.

3. Contribuições Principais

1. SlotTok: Um tokenizador visual centrado em objetos novel que usa atenção por slots para comprimir imagens em um pequeno conjunto de tokens semanticamente significativos, preservando a fidelidade estrutural.
2. Estratégia de Treinamento Prática: Uma abordagem de treinamento em duas etapas que aprende representações centradas em objetos e tokenização discreta sem degradar priores de difusão pré-treinados, utilizando orientação por atenção para estabilizar o alinhamento slot-objeto.
3. Slot-MLLM: A primeira validação empírica em grande escala de que a atenção por slots pode ser efetivamente integrada a LLMs para diversas imagens do mundo real. Demonstra que a tokenização centrada em objetos permite modelagem autoregressiva unificada tanto para compreensão quanto para geração.

4. Resultados Experimentais

Reconstrução de Imagem e Qualidade de Token

• Reconstrução: O SlotTok alcança qualidade de reconstrução competitiva (PSNR, SSIM, CLIP-T) comparado a tokenizadores baseados em difusão como LaViT e SEED, apesar de usar significativamente menos tokens (32 slots vs. 256+ patches).
• Centricidade em Objetos: Análise qualitativa e experimentos de substituição aleatória mostram que os tokens do SlotTok são não redundantes e distintos. Substituir 50% dos tokens causa uma queda significativa no desempenho, confirmando que cada slot codifica detalhes visuais específicos.
• Mapas de Atenção: Os mapas de atenção do SlotTok concentram-se claramente em objetos individuais, enquanto baselines como LaViT mostram atenção dispersa ou posições de objetos deslocadas.

Compreensão e Geração Multimodal

• Compreensão: O Slot-MLLM supera baselines unificadas (LaViT, SEED-LLaMA) em benchmarks zero-shot (GQA, MME, POPE, NaturalBench), particularmente em tarefas que exigem reconhecimento de objetos e vinculação de atributos.
• Geração e Edição: O Slot-MLLM supera consistentemente as baselines em geração de imagem a partir de texto (GenEval, T2I-CompBench) e edição de imagem localizada (MagicBrush, GIE-Bench). Demonstra capacidade superior em manter consistência de fundo e manipular objetos específicos com base em prompts de texto.
• Escalonamento: O desempenho melhora consistentemente ao escalar o LLM base (de 7B para 14B), indicando a compatibilidade da arquitetura com modelos mais fortes.

Estudos de Ablação

• Atenção por Slots: Remover a atenção por slots (substituindo por atenção cruzada padrão) leva a uma queda significativa em métricas em nível de objeto (ARI, mIoU) e desempenho em tarefas downstream, confirmando a necessidade do viés indutivo.
• Perda de Orientação: Remover a perda de orientação por atenção melhora a reconstrução em nível de pixel (PSNR), mas degrada o alinhamento de objetos e o desempenho de geração/edição downstream, destacando o trade-off entre fidelidade bruta e estrutura semântica.
• Contagem de Slots: Aumentar slots além de 32 (por exemplo, para 64) melhora métricas de reconstrução, mas degrada métricas centradas em objetos (ARI, mIoU), sugerindo que slots excessivos sobredesmembram objetos coerentes.

5. Significado e Alegações

O artigo alega fornecer a primeira validação empírica em grande escala de que a atenção por slots centrada em objetos pode ser efetivamente integrada a MLLMs generativos para imagens do mundo real.

Os autores argumentam que:

• Alta fidelidade de reconstrução por si só é insuficiente para MLLMs; tokens visuais devem fornecer uma representação consciente de objetos que se alinhe com conceitos linguísticos.
• Tokenização centrada em objetos não é meramente uma escolha representacional, mas um habilitador chave para geração multimodal eficiente e controlável.
• O método proposto alcança um equilíbrio superior entre qualidade generativa, eficiência computacional (via compressão de tokens) e controle estrutural de alta granularidade comparado a tokenizadores existentes baseados em patches ou supervisionados globalmente.

O trabalho estabelece que adaptar a atenção por slots para alinhar com supervisão linguística e fortalecer representações centradas em objetos é necessário para MLLMs unificados de próxima geração.