Spatial Chain-of-Thought: Bridging Understanding and Generation Models for Spatial Reasoning Generation

Título: Spatial Chain-of-Thought (SCoT): Conectando Modelos de Compreensão e Geração para Geração com Raciocínio Espacial

1. O Problema

Os modelos de difusão atuais demonstram capacidades excepcionais na síntese de imagens esteticamente agradáveis, mas falham consistentemente ao lidar com raciocínio espacial complexo. Quando solicitados a gerar imagens com restrições espaciais rigorosas (ex: "uma grade de 3x4 mesas onde cada aluno sentado deve ter as mesas vizinhas vazias"), os modelos tendem a ignorar ou distorcer essas regras.

As abordagens existentes tentam resolver isso de duas formas, ambas com limitações:

1. Ponte Contínua (Continuous Bridge): Alinha representações internas entre modelos de compreensão (MLLMs) e geração. Embora eficaz, exige pré-treinamento conjunto massivo, sendo computacionalmente caro e difícil de atualizar.
2. Ponte Textual (Textual Bridge): Usa MLLMs para expandir o prompt do usuário em um "Chain-of-Thought" (CoT) textual antes de enviar ao modelo de difusão. O problema é o gargalo da linguagem: comprimir restrições espaciais precisas (coordenadas exatas, relações de vizinhança) em texto natural resulta na perda de informações estruturais finas, levando a falhas na geração.

O desafio central é criar uma ponte que seja eficiente (sem pré-treinamento conjunto), plug-and-play (componentes intercambiáveis) e espacialmente densa (transmita restrições finas sem perda de informação).

2. Metodologia: Spatial Chain-of-Thought (SCoT)

Os autores propõem o SCoT, um framework que utiliza um formato de instrução texto-coordenada intercalado como intermediário entre o planejamento do MLLM e a renderização do modelo de difusão. O sistema consiste em dois módulos principais:

A. Modelo de Geração Consciente Espacialmente (SAGen - Spatially-Aware Generation Model)

• Objetivo: Um modelo de difusão capaz de interpretar coordenadas explícitas como condições de primeira classe, sem modificações arquitetônicas complexas.
• Treinamento:
  • Construção de Dados: Criaram dois conjuntos de dados:
    • SCoT-DenseBox: Um corpus de pré-treinamento em larga escala onde imagens complexas são anotadas com legendas densas e caixas delimitadoras (bounding boxes) de objetos, utilizando o Qwen3-VL para anotação automática.
    • SCoT-AestheticSFT: Um conjunto menor e de alta qualidade para ajuste fino (SFT), preservando a fidelidade estética original.
  • Formato de Instrução: Em vez de apenas texto, o modelo é treinado com um formato intercalado onde cada entidade textual é imediatamente seguida por sua caixa delimitadora (ex: ...mesa<|bbox|>... cadeira<|bbox|>...). Isso cria uma correspondência inequívoca entre a descrição e a localização.
  • Objetivo: O modelo aprende a mapear tokens de coordenadas diretamente para a estrutura espacial da imagem.

B. Planejador Baseado em MLLM (MLLM-based Planner)

• Objetivo: Atuar como um "planejador espacial" que transforma prompts de linguagem natural em planos de layout executáveis.
• Processo (3 Etapas):
  1. Análise Semântica: Extrai entidades, atributos e restrições explícitas do prompt do usuário.
  2. Planejamento Espacial: O MLLM raciocina sobre as relações (ex: "à esquerda de", "em uma grade 3x4") e a viabilidade, atribuindo coordenadas de caixa delimitadora ([xmin, ymin, xmax, ymax]) a cada objeto.
  3. Geração de Instrução Estruturada: Converte o plano em uma instrução intercalada (texto + coordenadas) que alimenta o modelo SAGen.
• Vantagem: Como o MLLM é usado apenas como planejador (inference), não há necessidade de pré-treinamento conjunto com o modelo de difusão, mantendo a modularidade.

3. Contribuições Principais

1. Proposta do SCoT: Um novo paradigma de "Cadeia de Pensamento Espacial" que externaliza o raciocínio espacial do MLLM em um formato estruturado e executável (texto + coordenadas), servindo como uma ponte eficiente e plug-and-play.
2. Modelo SAGen: Desenvolvimento de um modelo de geração de difusão treinado especificamente para interpretar instruções texto-coordenada intercaladas, superando a perda de informação das abordagens puramente textuais.
3. Conjuntos de Dados e Anotação: Criação de SCoT-DenseBox e SCoT-AestheticSFT, utilizando MLLMs avançados para gerar anotações densas de caixas delimitadoras em cenas complexas, essenciais para o treinamento do modelo.
4. Desempenho Superior: Demonstração de que separar o planejamento (MLLM) da renderização (Difusão) via coordenadas explícitas supera as abordagens unificadas e as baseadas apenas em texto.

4. Resultados Experimentais

O método foi avaliado em vários benchmarks de geração de imagem e edição:

• T2ICoReBench (Raciocínio Complexo): O método alcançou um ganho significativo de mais de 10% em comparação com os melhores baselines (incluindo modelos unificados como BAGEL e Show-o2). Em tarefas de raciocínio (como lógica, comportamento e generalização), o SCoT obteve a melhor pontuação média, provando sua eficácia em seguir regras espaciais estritas.
• GenEval e OneIG-Bench: Melhorias consistentes em métricas de composição, contagem, posição e atributos, destacando-se especialmente em cenários com múltiplos objetos e interações.
• COCO-MIG (Geração Controlada por Layout): O SCoT obteve a maior taxa de sucesso (SR) e a maior interseção sobre união média (mIoU) entre os métodos de código aberto, superando técnicas especializadas como GLIGEN e InstanceDiffusion.
• Edição de Imagem (IVEdit): A abordagem também foi estendida para edição, mostrando forte desempenho na aderência a instruções complexas de edição espacial.
• Ablação: Estudos mostraram que o uso de coordenadas explícitas (SCoT) supera significativamente o uso de apenas CoT textual ou prompts brutos, e que o desempenho escala com a capacidade do MLLM planejador.

5. Significado e Impacto

O trabalho SCoT representa um avanço crucial na geração de imagens controlada. Ao resolver o "gargalo da linguagem" na transferência de restrições espaciais, ele permite que modelos de difusão gerem cenas logicamente consistentes e estruturalmente complexas sem a necessidade de arquiteturas monolíticas e custosas.

• Eficiência: Oferece uma solução "plug-and-play" onde o planejador (MLLM) e o gerador (Difusão) podem ser atualizados independentemente.
• Aplicabilidade: É fundamental para aplicações que exigem precisão espacial, como prototipagem de design, criação de conteúdo educacional, e cenários onde a lógica de disposição de objetos é crítica.
• Futuro: Estabelece um novo padrão para como modelos de compreensão e geração podem colaborar, sugerindo que a representação estruturada (coordenadas) é superior à representação puramente semântica (texto) para tarefas de raciocínio espacial.