💻 computer science

Enhancing In-context Panoramic Generation via Geometric-aware Pretraining

O artigo apresenta o Canvas360, um framework de dois estágios que aproveita um conjunto de dados recém-criado de 1 milhão de amostras e técnicas de pré-treinamento com consciência geométrica para alcançar o estado da arte em diversas tarefas de geração panorâmica de contexto interno, garantindo simultaneamente consistência geométrica e coerência global superiores.

Autores originais: Haoran Feng, Ruiyang Zhang, Longyi Zhang, Dizhe Zhang, Lu Qi

Publicado 2026-07-10

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Haoran Feng, Ruiyang Zhang, Longyi Zhang, Dizhe Zhang, Lu Qi

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você esteja tentando pintar um panorama perfeito de 360 graus de uma sala em uma folha de papel plana. O problema? Quando você envolve um mapa plano em torno de uma esfera, o topo e a base ficam esmagados e esticados como uma pizza de queijo derretido e estranha. A maioria dos geradores de arte por IA tenta corrigir isso usando mapas "cubo" especiais ou truques 3D, mas os autores deste artigo, o Canvas360, sugerem que esses métodos ainda deixam a geometria com uma aparência um pouco estranha. Eles argumentam que, se você quiser um mundo panorâmico verdadeiramente contínuo e sem distorções, não pode apenas olhar para a imagem; você precisa entender a profundidade e a forma do espaço em si.

Então, como eles consertaram isso? Eles construíram um pipeline de treinamento de dois estágios que atua como um arquiteto mestre e, depois, como um pintor versátil.

Estágio 1: O Treinamento Intensivo de Geometria
Primeiro, a equipe ensinou seu modelo de IA a ver o mundo em 3D, não apenas em 2D. Eles não apenas mostraram imagens ao modelo; eles parearam cada imagem individual com um mapa de profundidade (um blueprint mostrando quão longe cada objeto está). Eles alimentaram o modelo com 100.000 desses exemplos pareados.

Para garantir que o modelo não se confundisse entre a imagem e o blueprint, eles usaram um truque inteligente: deram ao mapa de profundidade um "deslocamento posicional", como dar a ele um número de assento diferente em um teatro para que ele saiba que não é o mesmo que a imagem ao lado dele. Eles também adicionaram uma regra especial chamada "perda de similaridade", que basicamente dava uma bronca no modelo se a imagem e o mapa de profundidade começassem a parecer demais um com o outro, forçando-os a permanecerem distintos.

A parte mais legal? Eles introduziram o preenchimento circular de velocidade (velocity circular padding). Imagine um mundo de videogame onde, se você caminha para fora da borda direita da tela, aparece instantaneamente no lado esquerdo. Os autores garantiram que a IA entendesse que as bordas esquerda e direita de um panorama são, na verdade, vizinhas em uma esfera. Eles não apenas copiaram e colaram as bordas; eles ensinaram ao modelo que a "velocidade" (a direção da mudança) na borda deve fluir perfeitamente para o outro lado. Isso ajudou o modelo a aprender a manter as costuras invisíveis.

Estágio 2: O Pintor Versátil
Uma vez que o modelo entendeu a geometria, eles passaram para o segundo estágio, ensinando-o a ser um mestre da geração em contexto. Isso significa que a IA agora pode pegar uma imagem existente e um comando de texto para fazer todos os tipos de truques mágicos sem precisar dos mapas de profundidade novamente. Eles o treinaram em um novo conjunto de dados massivo chamado Canvas360Dataset, que contém 1 milhão de amostras de alta qualidade.

Este dataset foi construído sintetizando 900.000 novos exemplos cobrindo quatro tarefas específicas:

Transferência de Estilo: Transformar uma foto em um esboço a lápis ou uma pintura (200.000 amostras).
Outpainting: Expandir a visão além das bordas originais (250.000 amostras).
Inpainting: Preencher buracos ausentes na imagem (250.000 amostras).
Edição: Remover objetos (como um sofá) ou adicionar novos (200.000 amostras).

Os autores argumentam explicitamente contra a ideia de que você precise treinar modelos separados para cada uma dessas tarefas ou depender de métodos antigos de "mapa de cubo". Em vez disso, eles sugerem que um modelo único e unificado, pré-treinado em geometria, pode lidar com todos esses trabalhos melhor.

Funcionou?
Os resultados sugerem uma forte melhoria. Quando testaram o modelo, ele obteve a melhor pontuação em uma métrica específica chamada FAED (que mede o quão fiel o panorama é à geometria) e teve um excelente desempenho em outros controles de qualidade. Em um estudo de usuário com 71 pessoas observando 10 imagens, o Canvas360 foi o favorito por ter as fronteiras mais contínuas e a melhor qualidade geral.

Os autores observam que, enquanto métodos anteriores frequentemente deixavam bordas borradas ou objetos distorcidos ao editar um panorama, o Canvas360 conseguiu manter a estrutura 3D intacta. Eles não alegaram ter resolvido todos os problemas do universo, mas seus experimentos sugerem que, ao ensinar a IA a respeitar a forma esférica do mundo desde o início, criaram uma ferramenta que gera imagens panorâmicas muito mais consistentes e realistas.

Resumo Técnico: Canvas360 – Melhorando a Geração Panorâmica In-context via Pré-treinamento com Consciência Geométrica

Declaração do Problema

Embora a geração de texto-para-panorama tenha avançado significativamente, a geração panorâmica in-context (edição, inpainting, outpainting e transferência de estilo condicionadas a imagens fornecidas pelo usuário) enfrenta desafios distintos. A representação dominante de projeção equirretangular (ERP) introduz inerentemente distorções dependentes da latitude, tornando difícil preservar a consistência geométrica da estrutura da cena 3D subjacente durante a edição.

Métodos existentes tentam mitigar isso através de designs com consciência de distorção (por exemplo, cube-maps ou embeddings posicionais esféricos 3D), mas observações empíricas sugerem que eles ainda têm dificuldade em manter a consistência geométrica ao operar diretamente em panoramas ERP. Além disso, o campo é dificultado pela escassez de dados de treinamento em larga escala e alta qualidade adaptados especificamente para tarefas panorâmicas in-context. Uma questão aberta crítica permanece: Como os priors de profundidade podem ser formulados sob geometria esférica para preservar a consistência geométrica na geração de imagens panorâmicas in-context?

Metodologia

Os autores propõem o Canvas360, um framework de dois estágios que integra pré-treinamento com consciência geométrica com ajuste fino (fine-tuning) in-context unificado.

1. Pré-treinamento com Consciência Geométrica (Estágio 1)

Para instilar fortes priors espaciais e geométricos, o modelo é pré-treinado em um conjunto de dados de larga escala e aumentado por profundidade usando uma arquitetura Flow Transformer.

Geração de Profundidade Paralela: O modelo gera panoramas RGB e mapas de profundidade esférica simultaneamente. A profundidade é tratada como um prior geométrico explícito onde a profundidade corresponde à distância radial do centro da câmera (espaço esférico) em vez do eixo Z cartesiano.
Concatenação de Tokens e Offsets Posicionais: Latentes RGB e de profundidade são concatenados ao nível do token. Para evitar que o modelo confunda as duas modalidades, um offset constante é aplicado à primeira dimensão dos Embeddings Posicionais Rotativos 3D (RoPE) para os tokens de profundidade, separando-os dos tokens RGB no espaço posicional.
Padding Circular de Velocidade: Para impor continuidade esférica e consistência de fronteira, os autores introduzem o padding circular de velocidade. Diferente do padding padrão que apenas copia colunas de borda, este método sincroniza os campos de velocidade dos tokens de borda (0° e 360°) com seus contrapartes circulares antes da computação do transformer. Isso supervisiona explicitamente o modelo para prever velocidades consistentes na borda, garantindo um alinhamento de costura contínuo.
Regularização por Perda de Similaridade: Para evitar que as previsões de RGB e profundidade colapsem em saídas degeneradas e excessivamente similares, uma perda de similaridade é adicionada. Ela penaliza a correlação excessiva entre os campos de velocidade previstos das duas modalidades, incentivando representações distintas e específicas de cada modalidade.

2. Ajuste Fino In-context Unificado (Estágio 2)

Construído sobre o modelo pré-treinado, um framework unificado é treinado para quatro tarefas downstream: transferência de estilo, inpainting, outpainting e edição.

Remoção de Profundidade: Durante o ajuste fino, as entradas de profundidade são descartadas. O modelo depende exclusivamente de condições in-context baseadas em RGB (imagens mascaradas ou imagens de referência completas) e prompts de texto, herdando implicitamente a estrutura espacial aprendida durante o pré-treinamento.
Representação Unificada: Todas as tarefas são formuladas sob uma tupla de treinamento compartilhada usando concatenação ao nível do token. Os tokens de contexto e os tokens de alvo são separados por um offset posicional ( $T_c$ ), permitindo que o modelo diferencie papéis semânticos enquanto mantém a correspondência espacial.

3. Pipeline de Dados: Canvas360Dataset

Para abordar a escassez de dados, os autores curaram o Canvas360Dataset, um dataset de 1 milhão de amostras:

Conjunto Semente (Seed Set): 100K panoramas RGB–profundidade de alta qualidade derivados de Matterport3D, recursos da web e modelos de geração de estado da arte.
Pipeline de Síntese: Um pipeline escalável gera 900K amostras pareadas adicionais para as quatro tarefas downstream:
- Transferência de Estilo (200K): Sintetizada usando FLUX.2-dev com prompts específicos de estilo.
- Outpainting (250K): Gerada amostrando parâmetros de câmera aleatórios (yaw, pitch, FoV) para criar máscaras de visão de perspectiva e projeções inversas.
- Inpainting (250K): Criada com máscaras retangulares aleatórias, utilizando tanto prompts de cena global quanto prompts de região local (gerados por VLMs).
- Edição (200K): Sintetizada usando VLMs e modelos de grounding (Florence2, GroundingDino) para localizar objetos, seguido de apagamento/adição de objetos usando FLUX.2 e refinamento com NanoBanana.

Principais Resultados

Experimentos extensivos demonstram que o Canvas360 alcança desempenho superior tanto na geração básica de texto-para-panorama quanto em tarefas in-context.

Desempenho Quantitativo: No conjunto de validação de texto-para-panorama, o Canvas360 atinge o melhor score FAED (uma métrica de fidelidade específica para panoramas), superando significativamente métodos anteriores como DiT360, HunyuanWorld e SMGD. Ele também lidera em scores IS, QA aesthetic e NIQE, permanecendo competitivo em FID e BRISQUE.
Melhorias Qualitativas: Comparações visuais mostram que o Canvas360 produz detalhes mais nítidos, distorções polares corretas e alinhamentos de borda contínuos em comparação com os baselines, que frequentemente sofrem com desfoque, artefatos ou edições geometricamente inconsistentes.
Estudo com Usuários: Em um estudo com 71 participantes, o Canvas360 recebeu as pontuações de preferência mais altas para Continuidade de Borda (31.1%), Consciência de Panorama (34.1%) e Qualidade Geral (35.9%), superando Matrix-3D, HunyuanWorld e DiT360.
Estudos de Ablação: A remoção da geração paralela de profundidade, dos offsets posicionais ou da perda de similaridade leva a distorções geométricas, treinamento instável (saídas excessivamente escuras) ou modalidades degeneradas. O padding circular de velocidade mostrou-se crítico para a continuidade da borda.

Significância e Contribuições

O artigo reivindica as seguintes contribuições:

Framework Canvas360: Uma abordagem de dois estágios que transfere com sucesso priors de consciência geométrica do pré-treinamento aumentado por profundidade para a geração in-context unificada, melhorando a consistência espacial e a fidelidade geométrica sem exigir supervisão geométrica explícita durante as tarefas downstream.
Estratégia de Pré-treinamento com Consciência Geométrica: Um método inovador que utiliza a geração paralela RGB–profundidade, regularizada por perda de similaridade e padding circular de velocidade, para impor continuidade esférica e representações de modalidades distintas.
Canvas360Dataset: O lançamento de um dataset de escala de 1M cobrindo quatro tarefas in-context distintas, o qual os autores observam ser o mais abrangente de seu tipo até o momento, permitindo o escalonamento de modelos em larga escala na geração panorâmica.
Desempenho Unificado: A demonstração de que um único modelo pode lidar efetivamente com diversas tarefas (inpainting, outpainting, edição, transferência de estilo) com forte generalização, superando métodos anteriores tanto em cobertura de tarefas quanto em flexibilidade de modelagem.

Os autores concluem que o Canvas360 estabelece uma base sólida para o escalonamento futuro e aplicações mais amplas na geração panorâmica, ao abordar eficazmente os desafios da consistência geométrica e da escassez de dados.