💻 computer science

Enhancing In-context Panoramic Generation via Geometric-aware Pretraining

El artículo presenta Canvas360, un marco de dos etapas que aprovecha un conjunto de datos de 1 millón de muestras recién creado y técnicas de preentrenamiento conscientes de la geometría para lograr un rendimiento de vanguardia en diversas tareas de generación panorámica de contexto mientras asegura una consistencia geométrica y coherencia global superiores.

Autores originales: Haoran Feng, Ruiyang Zhang, Longyi Zhang, Dizhe Zhang, Lu Qi

Publicado 2026-07-10

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Haoran Feng, Ruiyang Zhang, Longyi Zhang, Dizhe Zhang, Lu Qi

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando pintar un panorama perfecto de 360 grados de una habitación en una hoja de papel plana. ¿El problema? Cuando envuelves un mapa plano alrededor de una esfera, la parte superior e inferior se aplastan y se estiran como una extraña pizza de queso derretido. La mayoría de los generadores de arte por IA intentan solucionar esto usando mapas de "cubo" especiales o trucos en 3D, pero los autores de este artículo, Canvas360, sugieren que esos métodos aún dejan la geometría con un aspecto algo extraño. Argumentan que si quieres un mundo panorámico verdaderamente fluido y sin distorsiones, no puedes limitarte a mirar la imagen; necesitas comprender la profundidad y la forma del espacio mismo.

Entonces, ¿cómo lo arreglaron? Construyeron una canalización de entrenamiento de dos etapas que actúa como un maestro arquitecto y luego como un pintor versátil.

Etapa 1: El Campo de Entrenamiento de Geometría
Primero, el equipo enseñó a su modelo de IA a ver el mundo en 3D, no solo en 2D. No se limitaron a mostrarle imágenes al modelo; emparejaron cada una de las imágenes con un mapa de profundidad (un plano que muestra qué tan lejos está cada objeto). Alimentaron al modelo con 100,000 de estos ejemplos emparejados.

Para asegurarse de que el modelo no se confundiera entre la imagen y el plano, utilizaron un truco ingenioso: le dieron al mapa de profundidad un "desplazamiento posicional", como darle un número de asiento diferente en un teatro para que supiera que no es la misma imagen que tiene al lado. También añadieron una regla especial llamada "pérdida de similitud", que básicamente regañaba al modelo si la imagen y el mapa de profundidad empezaban a parecerse demasiado, obligándolos a mantenerse distintos.

La parte más genial fue que introdujeron el relleno circular de velocidad (velocity circular padding). Imagina un mundo de videojuegos donde, si caminas fuera del borde derecho de la pantalla, apareces instantáneamente en el lado izquierdo. Los autores se aseguraron de que la IA entendiera que los bordes izquierdo y derecho de un panorama son en realidad vecinos en una esfera. No se limitaron a copiar y pegar los bordes; le enseñaron al modelo que la "velocidad" (la dirección del cambio) en el borde debe fluecer perfectamente hacia el otro lado. Esto ayudó al modelo a aprender a mantener las costuras invisibles.

Etapa 2: El Pintor Versátil
Una vez que el modelo comprendió la geometría, pasaron a la segunda etapa: enseñarle a ser un maestro de la generación en contexto. Esto significa que la IA ahora puede tomar una imagen existente y un comando de texto para realizar todo tipo de trucos mágicos sin necesidad de los mapas de profundidad. Lo entrenaron con un nuevo conjunto de datos masivo llamado Canvas360Dataset, que contiene 1 millón de muestras de alta calidad.

Este conjunto de datos se construyó sintetizando 900,000 nuevos ejemplos que cubren cuatro tareas específicas:

Transferencia de Estilo: Convertir una foto en un boceto a lápiz o una pintura (200,000 muestras).
Outpainting: Expandir la vista más allá de los bordes originales (250,000 muestras).
Inpainting: Rellenar huecos faltantes en la imagen (250,000 muestras).
Edición: Eliminar objetos (como un sofá) o añadir nuevos (200,000 muestras).

Los autores argumentan explícitamente en contra de la idea de que se necesitan modelos separados para cada una de estas tareas o de depender de los antiguos métodos de "mapa de cubo". En su lugar, sugieren que un modelo único y unificado, preentrenado en geometría, puede manejar todos estos trabajos de mejor manera.

¿Funcionó?
Los resultados sugieren una fuerte mejora. Cuando probaron el modelo, obtuvo la mejor puntuación en una métrica específica llamada FAED (que mide qué tan fiel es el panorama a la geometría) y funcionó muy bien en otras comprobaciones de calidad. En un estudio con usuarios de 71 personas observando 10 imágenes, Canvas360 fue el favorito por tener los límites más fluidos y la mejor calidad general.

Los autores señalan que, mientras que los métodos anteriores a menudo dejaban bordes borrosos u objetos distorsionados al editar un panorama, Canvas360 logró mantener intacta la estructura 3D. No afirmaron haber resuelto todos los problemas del universo, pero sus experimentos sugieren que, al enseñar a la IA a respetar la forma esférica del mundo desde el principio, crearon una herramienta que genera imágenes panorámicas mucho más consistentes y realistas.

Resumen Técnico: Canvas360 – Mejora de la Generación Panorámica In-context mediante el Preentrenamiento con Conciencia Geométrica

Planteamiento del Problema

Si bien la generación de texto a panorama ha avanzado significamente, la generación panorámica in-context (edición, inpainting, outpainting y transferencia de estilo condicionada por imágenes proporcionadas por el usuario) enfrenta desafíos distintivos. La representación dominante de proyección equirectangular (ERP) introduce inherentemente distorsiones dependientes de la latitud, lo que dificulta la preservación de la consistencia geométrica en la estructura de la escena 3D subyacente durante la edición.

Los métodos existentes intentan mitigar esto mediante diseños conscientes de la distorsión (por ejemplo, mapas de cubos o incrustaciones posicionales esféricas 3D), pero las observaciones empíricas sugieren que aún tienen dificultades para mantener la consistencia geométrica al operar directamente sobre panoramas ERP. Además, el campo se ve obstaculizado por la escasez de datos de entrenamiento a gran escala y de alta calidad adaptados específicamente para tareas panorámicas in-context. Una pregunta crítica sigue siendo: ¿Cómo pueden formularse los priors de profundidad bajo geometría esférica para preservar la consistencia geométrica en la generación de imágenes panorámicas in-context?

Metodología

Los autores proponen Canvas360, un marco de dos etapas que integra el preentrenamiento con conciencia geométrica con un ajuste fino in-context unificado.

1. Preentrenamiento con Conciencia Geométrica (Etapa 1)

Para infundir priors espaciales y geométricos sólidos, el modelo es preentrenado en un conjunto de datos a gran escala aumentado con profundidad utilizando una arquitectura Flow Transformer.

Generación de Profundidad en Paralelo: El modelo genera panoramas RGB y mapas de profundidad esféricos simultáneamente. La profundidad se trata como un prior geométrico explícito donde la profundidad corresponde a la distancia radial desde el centro de la cámara (espacio esférico) en lugar del eje Z cartesiano.
Concatenación de Tokens y Desplazamientos Posicionales: Los latentes RGB y de profundidad se concatenan a nivel de token. Para evitar que el modelo confunda las dos modalidades, se aplica un desplazamiento constante a la primera dimensión de las Incrustaciones Posicionales Rotatorias 3D (RoPE) para los tokens de profundidad, separándolos de los tokens RGB en el espacio posicional.
Relleno Circular de Velocidad (Velocity Circular Padding): Para imponer continuidad esférica y consistencia en los límites, los autores introducen el relleno circular de velocidad. A diferencia del relleno estándar que simplemente copia las columnas de los bordes, este método sincroniza los campos de velocidad de los tokens de los límites (0° y 360°) con sus contrapartes circulares antes de la computación del transformer. Esto supervisa explícitamente al modelo para predecir velocidades consistentes en los bordes, asegurando una alineación de costura sin fisuras.
Regularización por Pérdida de Similitud: Para evitar que las predicciones de RGB y profundidad colapsen en salidas degeneradas y excesivamente similares, se añade una pérdida de similitud. Esta penaliza la correlación excesiva entre los campos de velocidad predichos de las dos modalidades, fomentando representaciones distintas y específicas de cada modalidad.

2. Ajuste Fino In-context Unificado (Etapa 2)

Construido sobre el modelo preentrenado, un marco unificado se entrena para cuatro tareas descendentes: transferencia de estilo, inpainting, outpainting y edición.

Eliminación de Profundidad: Durante el ajuste fino, las entradas de profundidad se descartan. El modelo depende únicamente de las condiciones in-context basadas en RGB (imágenes enmascaradas o imágenes de referencia completas) y prompts de texto, heredando implícitamente la estructura espacial aprendida durante el preentrenamiento.
Representación Unificada: Todas las tareas se formulan bajo una tupla de entrenamiento compartida mediante la concatenación a nivel de token. Los tokens de contexto y los tokens de objetivo se separan por un desplazamiento posicional ( $T_c$ ), lo que permite al modelo diferenciar los roles semánticos mientras mantiene la correspondencia espacial.

3. Pipeline de Datos: Canvas360Dataset

Para abordar la escasez de datos, los autores curaron el Canvas360Dataset, un conjunto de datos de 1M de muestras:

Conjunto Semilla (Seed Set): 100K panoramas RGB-profundidad de alta calidad derivados de Matterport3D, recursos web y modelos de generación de vanguardia.
Pipeline de Síntesis: Un pipeline escalable genera 900K muestras adicionales emparejadas para las cuatro tareas descendentes:
- Transferencia de Estilo (200K): Sintetizada usando FLUX.2-dev con prompts específicos de estilo.
- Outpainting (250K): Generada mediante el muestreo de parámetros de cámara aleatorios (yaw, pitch, FoV) para crear máscaras de visión de perspectiva e proyecciones inversas.
- Inpainting (250K): Creado con máscaras rectangulares aleatorias, utilizando tanto prompts de escena global como prompts de región local (generados por VLMs).
- Edición (200K): Sintetizada usando VLMs y modelos de localización (Florence2, GroundingDino) para localizar objetos, seguido de la eliminación/adición de objetos usando FLUX.2 y refinamiento con NanoBanana.

Resultados Clave

Experimentos extensos demuestran que Canvas360 logra un rendimiento superior tanto en la generación de texto a panorama básica como en tareas in-context.

Rendimiento Cuantitativo: En el conjunto de validación de texto a panorama, Canvas360 logra el mejor puntaje FAED (una métrica de fidelidad específica para panoramas), superando significativamente a métodos previos como DiT360, HunyuanWorld y SMGD. También lidera en puntuaciones de IS, QA aesthetic y NIQE, manteniéndose competitivo en FID y BRISQUE.
Mejoras Cualitativas: Las comparaciones visuales muestran que Canvas360 produce detalles más nítidos, distorsiones polares correctas y alineaciones de bordes sin costuras en comparación con los modelos de base, que a menudo sufren de desenfoque, artefactos o ediciones con inconsistencia geométrica.
Estudio de Usuario: En un estudio con 71 participantes, Canvas360 recibió los puntajes de preferencia más altos para Continuidad de Bordes (31.1%), Conciencia Panorámica (34.1%) y Calidad General (35.9%), superando a Matrix-3D, HunyuanWorld y DiT360.
Estudios de Ablación: Eliminar la generación de profundidad en paralelo, los desplazamientos posicionales o la pérdida de similitud conduce a distorsiones geométricas, entrenamiento inestable (salidas excesivamente oscurecidas) o modalidades degeneradas. Se demuestra que el relleno circular de velocidad es crítico para la continuidad de los bordes.

Significación y Contribuciones

El artículo reclama las siguientes contribuciones:

Marco Canvas360: Un enfoque de dos etapas que transfiere con éxito los priors de conciencia geométrica del preentrenamiento aumentado con profundidad a la generación in-context unificada, mejorando la consistencia espacial y la fidelidad geométrica sin requerir supervisión geométrica explícita durante las tareas descendentes.
Estrategia de Preentrenamiento con Conciencia Geométrica: Un método novedoso que utiliza la generación paralela de RGB-profundidad, regularizada por la pérdida de similitud y el relleno circular de velocidad, para imponer la continuidad esférica y representaciones de modalidad distintas.
Canvas360Dataset: El lanzamiento de un conjunto de datos de escala 1M que cubre cuatro tareas in-context distintas, el cual los autores señalan como el más completo de su tipo hasta la fecha, permitiendo el escalado de modelos a gran escala en la generación panorámica.
Rendimiento Unificado: La demostración de que un solo modelo puede manejar eficazmente diversas tareas (inpainting, outpainting, edición, transferencia de estilo) con una fuerte generalización, superando a los métodos previos tanto en cobertura de tareas como en flexibilidad de modelado.

Los autores concluyen que Canvas360 establece una base sólida para el futuro escalado y aplicaciones más amplias en la generación panorámica al abordar eficazmente los desafíos de la consistencia geométrica y la escasez de datos.