DivCon: Divide and Conquer for Complex Numerical and Spatial Reasoning in Text-to-Image Generation

O artigo apresenta o DivCon, uma abordagem de "dividir e conquistar" que melhora a geração de imagens a partir de texto ao decompor a tarefa em etapas de raciocínio e planejamento visual, permitindo que modelos de linguagem leves superem métodos anteriores na precisão espacial e na qualidade perceptual de cenas complexas.

O essencial

Imagine que você pediu a um artista para pintar uma cena muito específica: "Três gatos estão dormindo em cima de um sofá vermelho, enquanto dois pássaros voam perto de uma janela azul, e há cinco flores amarelas no chão."

Se você pedir isso a um pintor comum (os modelos de IA atuais), ele pode pintar um gato, mas esquecer os outros dois. Ou pode pintar os pássaros, mas colocá-los dentro do sofá. Ele entende as palavras, mas tem dificuldade em organizar o "cenário" e contar os objetos corretamente.

O artigo que você compartilhou apresenta uma nova solução chamada DivCon. A ideia central é simples: não tente fazer tudo de uma vez só. Em vez disso, divida o trabalho em partes menores e mais fáceis.

Aqui está como o DivCon funciona, usando analogias do dia a dia:

1. O Problema: O Chef Sobrecarregado

Antes, os modelos de IA tentavam fazer duas coisas ao mesmo tempo:

1. Planejar: Decidir onde cada objeto fica e quantos são.
2. Pintar: Criar a imagem final.

Isso era como pedir a um único chef para escrever o cardápio, cortar os legumes, cozinhar o prato e decorar o prato, tudo ao mesmo tempo. O resultado muitas vezes era bagunçado: faltavam ingredientes (objetos) ou eles estavam no lugar errado. Além disso, os melhores "chefs" (modelos de linguagem grandes) eram caríssimos e difíceis de usar.

2. A Solução DivCon: A Equipe de Especialistas

O DivCon muda a estratégia. Ele divide o trabalho em duas fases principais, como se fosse uma linha de montagem bem organizada.

Fase 1: O Arquiteto e o Cartógrafo (Planejamento)

Em vez de pedir para a IA "imaginar" a imagem, o DivCon pede para ela primeiro criar um mapa.

• O Passo 1 (O Contador e o Geógrafo): Primeiro, um "assistente" (um modelo de linguagem pequeno e leve) lê o pedido e responde apenas a perguntas lógicas: "Quantos gatos? Onde eles estão? Qual é a posição dos pássaros?". Ele não desenha nada, apenas faz a matemática e a lógica espacial.
• O Passo 2 (O Cartógrafo): Com essas respostas lógicas em mãos, o mesmo assistente desenha um esboço simples (caixas retangulares) mostrando exatamente onde cada coisa deve ficar.

A Mágica: Ao separar o "pensar" (lógica) do "desenhar" (planejamento visual), até mesmo assistentes pequenos e baratos conseguem fazer um trabalho tão bom quanto os gigantes caros. É como ter um matemático que só calcula as medidas, e um desenhista que só traça as linhas. O resultado é muito mais preciso.

Fase 2: O Pintor em Duas Camadas (A Pintura)

Agora que temos o mapa (o layout), vamos pintar a imagem. Mas o DivCon não joga tinta em tudo de uma vez.

• Primeira Camada (O Esboço Rápido): A IA pinta a imagem inteira baseada no mapa.
• O Check-up (A Inspeção): A IA olha para o que pintou e pergunta: "O que ficou bom? O que ficou ruim?".
  • Exemplo: O sofá vermelho ficou perfeito? Ótimo, vamos deixá-lo quieto. Mas os pássaros ficaram estranhos? Eles estão confusos?
• Segunda Camada (O Refinamento): A IA pinta a imagem novamente, mas dessa vez ela "congela" (protege) as partes que já estão perfeitas (o sofá) e foca toda a sua energia apenas nos problemas (os pássaros).

A Analogia: Imagine que você está escrevendo um livro. Na primeira vez, você escreve tudo. Na segunda vez, você não reescreve o capítulo que ficou ótimo; você foca apenas em reescrever os capítulos que estavam confusos. Isso economiza tempo e melhora a qualidade final.

Por que isso é importante?

1. Precisão: O DivCon consegue contar objetos e entender posições complexas (como "o gato entre o cachorro e a cadeira") muito melhor do que os métodos antigos.
2. Acessibilidade: Como ele usa "assistente" pequenos e inteligentes (em vez de gigantes caros), qualquer pessoa pode usar essa tecnologia sem precisar de supercomputadores.
3. Qualidade: As imagens finais têm menos erros, como objetos que aparecem e somem, ou cores que se misturam de forma estranha.

Resumo em uma frase

O DivCon é como contratar um arquiteto para desenhar o plano exato da casa antes de chamar o pedreiro, e depois pedir para o pedreiro consertar apenas as paredes que ficaram tortas, em vez de tentar construir a casa inteira de uma vez só. O resultado é uma casa (imagem) perfeita, construída de forma mais rápida e barata.

Resumo técnico

Resumo Técnico: DivCon

1. O Problema

Os modelos de geração de imagem a partir de texto (T2I) baseados em difusão alcançaram avanços notáveis, mas ainda enfrentam dificuldades significativas ao lidar com prompts complexos que exigem:

• Contagem precisa de objetos: Gerar o número exato de itens solicitados.
• Relações espaciais complexas: Posicionar objetos corretamente em relação uns aos outros (ex: "à esquerda de", "no meio de").
• Dependência de LLMs Grandes: Métodos existentes que utilizam Grandes Modelos de Linguagem (LLMs) para prever layouts (coordenadas de caixas delimitadoras) dependem frequentemente de modelos fechados e massivos (como o GPT-4). Isso limita a acessibilidade, aumenta os custos computacionais e a latência.
• Síntese Simultânea Ineficiente: A maioria dos métodos tenta gerar todos os objetos simultaneamente em uma única passagem, ignorando que certos objetos são mais difíceis de sintetizar do que outros, o que leva a inconsistências visuais, contagens erradas e falhas espaciais.

2. Metodologia: A Abordagem DivCon

O DivCon propõe uma estratégia de "Dividir e Conquistar" (Divide and Conquer) que desacopla o processo de geração em duas etapas principais, cada uma subdividida em tarefas menores. O método é livre de treinamento (training-free) e funciona com LLMs leves e modelos de difusão padrão.

Etapa 1: Predição de Layout (Text-to-Layout)
Em vez de pedir ao LLM para gerar diretamente as coordenadas das caixas delimitadoras, o processo é dividido em duas subetapas para permitir o uso de LLMs leves (open-source):

1. Raciocínio Numérico e Espacial: Um LLM leve (ex: TinyLlama, Phi-2, Mistral) é usado primeiro para extrair apenas a lógica do prompt: quantos objetos existem e quais são suas relações espaciais aproximadas (ex: "topo-esquerda").
2. Planejamento Visual com Decodificação Constrained: Com base nas restrições extraídas, o mesmo LLM é guiado por uma estratégia de decodificação com restrições (constrained decoding). Tokens de controle estruturados são inseridos durante a geração para garantir que o número de categorias e as posições relativas correspondam exatamente ao raciocínio anterior. Isso transforma um problema de "planejamento visual complexo" em uma tarefa de preenchimento de padrões mais simples.

Etapa 2: Geração de Imagem (Layout-to-Image)
A geração da imagem a partir do layout também é dividida em duas passagens para lidar com a dificuldade variável dos objetos:

1. Primeira Passagem (Geração Inicial): O modelo de difusão gera a imagem completa baseada no layout e no prompt.
2. Avaliação de Consistência: Os objetos gerados são recortados e avaliados quanto à sua fidelidade em relação ao prompt usando a similaridade CLIP.
   • Amostras Fáceis: Objetos com alta similaridade são considerados bem gerados.
   • Amostras Difíceis: Objetos com baixa similaridade (ex: formas complexas ou relações ambíguas) são identificados.
3. Segunda Passagem (Refinamento Progressivo): O modelo de difusão é executado novamente. As regiões dos objetos "fáceis" (alta fidelidade) são preservadas (usando máscaras no espaço latente), enquanto o modelo é forçado a focar exclusivamente na reconstrução dos objetos "difíceis". Isso evita a degradação dos objetos já corretos e melhora a qualidade dos problemáticos.

3. Principais Contribuições

• Divisão de Tarefas de Layout: A separação entre raciocínio lógico e planejamento visual permite que LLMs leves e open-source (como modelos de 1B a 8B parâmetros) atinjam precisão de layout comparável a modelos massivos como o GPT-4, reduzindo drasticamente o custo computacional.
• Geração Progressiva de Imagem: A introdução de um ciclo de refinamento de duas etapas (fácil para difícil) melhora a fidelidade de objetos complexos sem sacrificar a qualidade dos objetos simples.
• Desempenho Superior com Recursos Reduzidos: O método alcança resultados state-of-the-art (SOTA) em benchmarks de raciocínio numérico e espacial, superando métodos que dependem de múltiplas passagens de modelos grandes ou de LLMs fechados.

4. Resultados Experimentais

Os experimentos foram conduzidos nos benchmarks HRS e NSR-1K, focados em contagem e relações espaciais.

• Predição de Layout:
  • O DivCon, utilizando o modelo leve Qwen3-8B, superou o GPT-4 em métricas de raciocínio numérico no conjunto HRS (ganho de 0,94% no F1 e 0,72% na precisão).
  • Em modelos ainda menores (ex: Mistral-7B quantizado), o DivCon trouxe ganhos massivos (ex: +24,56% na precisão numérica no HRS) em comparação com a execução direta do modelo.
• Geração de Imagem:
  • No benchmark HRS, o DivCon melhorou a precisão numérica em 9% e a precisão espacial em mais de 40% em comparação com modelos T2I padrão.
  • Superou métodos SOTA como Attention-Refocusing e LLM-Grounded Diffusion em métricas de fidelidade e alinhamento espacial.
• Qualidade Visual e Eficiência:
  • O método mantém um FID (Frechet Inception Distance) competitivo, indicando alta qualidade visual.
  • Em termos de tempo de inferência, o DivCon (2 iterações) é significativamente mais rápido que métodos que exigem 3 passagens de modelos grandes (ex: LLM-Grounded leva ~135s, enquanto DivCon leva ~72s), oferecendo um speedup de 1,87x.
• Estudo com Usuários: Em uma avaliação humana, o DivCon obteve o melhor ranking médio (1,74), indicando maior percepção de qualidade e fidelidade ao prompt.

5. Significância e Conclusão

O trabalho DivCon é significativo porque democratiza a geração de imagens complexas. Ele demonstra que não é necessário depender de LLMs gigantes e caros para obter alto desempenho em raciocínio espacial e numérico. Ao reestruturar o problema em sub-tarefas gerenciáveis (dividir e conquistar), o método:

1. Reduz custos: Permite o uso de modelos leves e quantizados.
2. Aumenta a precisão: Resolve o problema de "alucinação" de contagem e posição.
3. Melhora a qualidade visual: O refinamento progressivo garante que objetos difíceis não arruinem a imagem inteira.

Em suma, o DivCon estabelece um novo paradigma para a geração de imagens baseada em texto, focando na eficiência computacional e na robustez em cenários complexos de múltiplos objetos.