Resumo Técnico: HomeDiffusion

Definição do Problema

A customização de objetos zero-shot visa integrar perfeitamente objetos de referência em áreas específicas de uma imagem alvo, garantindo o alinhamento em layout, iluminação, perspectiva e relações espaciais, ao mesmo tempo em que preserva a identidade e os detalhes intrínsecos do objeto. Embora os métodos baseados em difusão existentes tenham mostrado potencial, eles enfrentam dois desafios principais na customização de cenas internas:

1. Representação Multi-view: As abordagens existentes frequentemente dependem de imagens de referência de visão única. Para objetos assimétricos, uma única visão carece da informação 3D abrangente necessária para gerar poses que harmonizem com a orientação da cena de fundo, levando a descompassos de perspectiva.
2. Preservação de Detalhes de Alta Fidelidade: Métodos que utilizam codificadores padrão (ex: CLIP) ou mesmo avançados (ex: DINO-V2) frequentemente têm dificuldade em reter detalhes finos (padrões, texturas, curvas) durante o processo de geração, resultando em objetos que divergem do objeto de referência original.

Metodologia

Os autores propõem o HomeDiffusion, um novo framework zero-shot projetado especificamente para cenas internas. O pipeline consiste em duas etapas distintas de treinamento:

1. Aprendizado de Representação de Objeto Multi-view (MORL)

Esta etapa foca em aprender representações multi-view robustas de objetos sem a necessidade de treinamento no momento do teste.

• Codificador Visual HD: Para capturar detalhes finos sem explodir o uso de memória da GPU, os autores introduzem um codificador que processa imagens tanto de perspectivas globais quanto locais. Uma imagem de 448×448 é redimensionada para 224×224 para extração de características globais e dividida em quatro patches de 224×224 para extração de detalhes de alta resolução local. Essas características são concatenadas e mapeadas via MLP para um conjunto de tokens unificado.
• Treinamento Auto-Generativo: O modelo é treinado para prever um viewpoint alvo de um item de mobiliário dado um conjunto de $N$ imagens de referência multi-view.
• Integração com ControlNet: Para guiar a geração de viewpoints específicos, o método utiliza o ControlNet usando mapas de bordas Canny do viewpoint alvo como um guia de layout condicional.
• Saída: Um token aprendível $C_o$ que encapsula a informação multi-view do objeto.

2. Aprendizado de Customização de Objeto Baseado no Background (BOCL)

Esta etapa treina o modelo para inserir a representação de objeto aprendida em uma área específica de um cenário de fundo.

• Guia de Imagem Composta: Uma imagem composta é criada colando o objeto de referência na área mascarada do fundo. Esta imagem contém tanto o contexto da cena quanto detalhes de alta fidelidade do objeto.
• Alinhamento no Espaço Latente: A imagem composta é codificada no espaço latente para garantir o alinhamento de pixels com a imagem gerada.
• Cross-Attention Alinhada com Pixels: Para transferir detalhes de alta fidelidade da imagem composta para o processo de geração, os autores introduzem um mecanismo de cross-attention entre os mapas de características da imagem composta e o encoder da U-Net em múltiplos níveis. Isso permite que o modelo extraia e preserve detalhes finos de forma eficaz, mesmo quando o viewpoint do objeto de referência na imagem composta difere do viewpoint alvo na geração final.

Principais Contribuições

1. Framework HomeDiffusion: Um método de customização de objeto zero-shot para cenas internas que garante alta fidelidade na preservação de detalhes e uma mistura harmoniosa de perspectiva.
2. Codificador Visual HD: Um novo codificador capaz de extrair detalhes finos de objetos a partir de vistas globais e locais, equilibrando resolução e eficiência computacional.
3. Aprendizado de Representação de Objeto Multi-view (MORL): Um processo de treinamento auto-generativo que permite ao modelo aprender representações multi-view robustas a partir de imagens de múltiplos viewpoints, permitindo a geração de objetos de ângulos não vistos.
4. Aprendizado de Customização de Objeto Baseado no Background (BOCL): Um método que integra objetos de referência em cenários de fundo usando guia de imagem composta e cross-attention alinhada com pixels para manter detalhes de alta fidelidade.
5. Benchmark ZOC-Indoor-Eval: A construção de um novo benchmark composto por mais de 180 mil imagens de cenas internas sintéticas com dados de mobiliário multi-view (8 categorias) para avaliar o desempenho de customização zero-shot.

Resultados Experimentais

Os autores avaliaram o HomeDiffusion no benchmark ZOC-Indoor-Eval e no benchmark Viton-HD, comparando-o com métodos de ponta zero-shot e few-shot (Paint-by-Example, AnyDoor, DreamBooth).

• Desempenho Quantitativo: No benchmark ZOC-Indoor-Eval (referência de visão única), o HomeDiffusion alcançou um CLIP Score de 89.4 e um DINO Score de 86.2, superando o AnyDoor (87.1/83.3) e o Paint-by-Example (83.4/78.5).
• Vantagem Multi-view: Comparado ao DreamBooth (um método few-shot que requer fine-tuning), o HomeDiffusion alcançou DINO scores mais altos em cenários de um, três e cinco viewpoints (86.2, 87.5 e 88.1, respectivamente), demonstrando sua capacidade de aproveitar informações multi-view sem treinamento no momento do teste.
• Análise Qualitativa: Comparações visuais mostram que o HomeDiffusion gera com sucesso perspectivas corretas para objetos assimétricos e preserva melhor detalhes finos (ex: padrões em cabeceiras, contagem de travesseiros) do que os concorrentes, que frequentemente sofrem com discordância de perspectiva ou perda de detalhes.
• Estudos de Ablação: Experimentos confirmaram a necessidade da etapa MORL para lidar com mudanças de viewpoint e a eficácia do codificador visual HD e da cross-attention alinhada com pixels para a preservação de detalhes.
• Generalização: Apesar de ser treinado em dados de interiores, o modelo demonstrou capacidade de generalizar para cenas naturais externas e cenários de provador virtual (Viton-HD).

Significância e Alegações

O artigo afirma que o HomeDiffusion aborda as limitações críticas dos métodos atuais de customização de objetos, especificamente a incapacidade de lidar com objetos assimétricos a partir de visões únicas e a perda de detalhes de alta fidelidade. Ao alavancar o aprendizado de representação multi-view e um novo mecanismo de atenção para transferência de detalhes, o método alcança um desempenho superior em configurações zero-shot. Os autores enfatizam que sua abordagem permite aos usuários posicionar virtualmente móveis de e-commerce em espaços residenciais pessoais com um alto grau de fidelidade e harmonia de perspectiva, diminuindo a lacuna entre objetos de referência e ambientes alvo sem a necessidade de treinamento extensivo por objeto.