💻 computer science

Feed-Forward Gaussian Splatting from Sparse Aerial Views

Este artículo presenta AnyCity, un marco generativo de alimentación directa que reconstruye escenas urbanas a gran escala a partir de vistas aéreas dispersas al combinar geometría fundamentada en observaciones con priores de difusión condicionados por andamios para resolver desequilibrios de evidencia y eliminar artefactos como fantasmas y fachadas fundidas.

Autores originales: Dongli Wu, Zhuoxiao Li, Tongyan Hua, Yinrui Ren, Xiaobao Wei, Rongjun Qin, Wufan Zhao

Publicado 2026-05-20

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Dongli Wu, Zhuoxiao Li, Tongyan Hua, Yinrui Ren, Xiaobao Wei, Rongjun Qin, Wufan Zhao

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando construir un modelo 3D de una ciudad entera, pero solo tienes unas pocas fotos borrosas tomadas desde un dron que vuela alto.

El Problema: El Punto Ciego "Techo vs. Pared"
Cuando un dron vuela directamente hacia abajo o en un ángulo poco pronunciado, ve los techos de los edificios y las calles abiertas con mucha claridad. Los ve una y otra vez. Pero los lados de los edificios (fachadas), la parte trasera de rascacielos distantes y cualquier cosa oculta detrás de otras estructuras son casi invisibles.

Si intentas construir una ciudad 3D solo con estas pocas fotos, los programas informáticos estándar se confunden. Podrían convertir una pared sólida de ladrillo en un charco derretido, estirar la textura de un edificio como si fuera taffy, o dejar huecos donde deberían estar las paredes. Esto sucede porque la computadora está tratando de adivinar las partes faltantes basándose en muy poca evidencia.

La Solución: AnyCity
Los investigadores crearon una nueva herramienta llamada AnyCity. Piénsalo como un equipo de construcción inteligente que sabe exactamente qué partes de la ciudad son reales y cuáles necesitan un poco de ayuda creativa.

Así es como funciona, paso a paso:

1. El "Andamio Sólido" (La Parte Apoyada en la Observación)

Primero, AnyCity examina las fotos y construye un "andamio" o un esqueleto utilizando solo las partes que puede ver claramente.

Analogía: Imagina a un carpintero construyendo el armazón de una casa. Clava las vigas y las paredes que son claramente visibles en los planos. No adivina dónde van las ventanas todavía; solo asegura las partes de las que está 100% seguro.
Resultado: Esto crea una base estable y confiable para los techos y las áreas abiertas, asegurando que la computadora no "alucine" estructuras falsas donde tiene buenos datos.

2. El "Relleno Creativo" (Los Tokens de Completado)

Una vez construido el andamio sólido, AnyCity dirige su atención a las partes faltantes: las paredes invisibles y los edificios distantes.

Analogía: Ahora, el carpintero trae a un "ghostwriter" o a un arquitecto creativo. Este experto mira el armazón sólido y dice: "Bien, sé que hay una pared aquí porque así es como suelen verse las ciudades, aunque no pueda verla en la foto".
Cómo funciona: El sistema utiliza un "prior de video" (un cerebro entrenado con miles de horas de videos de ciudades) para adivinar cómo deberían verse las texturas y formas faltantes. Pero, crucialmente, no reemplaza todo el edificio con una suposición. Solo añade una "actualización residual": una corrección suave a los puntos débiles.

3. La "Puerta de Seguridad" (Preservación de la Observación)

Este es el truco más importante. El sistema tiene una regla estricta: "No cambies lo que ya puedes ver".

Analogía: Imagina que el arquitecto creativo está intentando arreglar la pared invisible, pero lleva un casco que bloquea sus manos si intenta tocar las vigas sólidas que el carpintero ya construyó. Solo puede trabajar en los espacios vacíos.
Resultado: Esto evita que el "ghostwriter" derrita accidentalmente las paredes reales o cambie la forma del techo solo porque cree saber mejor. Mantiene los datos reales como reales y solo rellena los huecos.

4. El Entrenamiento "Maestro-Alumno"

Para enseñar a este sistema, los investigadores utilizaron un método de entrenamiento ingenioso.

El Maestro: Una computadora que tiene la oportunidad de ver muchas fotos de la ciudad (vistas densas). Conoce la ciudad perfectamente.
El Alumno: El modelo AnyCity, que solo ve las pocas fotos (vistas dispersas).
La Lección: El Maestro le muestra al Alumno cómo se ve la ciudad cuando está completamente observada. El Alumno intenta adivinar las partes faltantes para igualar la vista del Maestro, pero debe mantener las partes que ya puede ver exactamente iguales. Esto le enseña al Alumno a rellenar los huecos sin arruinar los hechos conocidos.

El Resultado Final

Cuando le das a AnyCity solo unas pocas fotos de dron, arroja un modelo 3D completo y coherente de la ciudad en segundos.

Lo Bueno: Los techos y las carreteras se ven exactamente como en las fotos. Las paredes invisibles y los edificios distantes se ven realistas y consistentes, no derretidos ni estirados.
La Velocidad: A diferencia de los métodos antiguos que tardan horas en calcular, AnyCity hace esto en un solo paso "feed-forward" (como leer una oración de principio a fin sin detenerse a pensar).

En Resumen:
AnyCity es como un maestro constructor que edifica una casa basándose en unas pocas fotos. Clava las partes que puede ver con absoluta precisión, luego utiliza su conocimiento de cómo las ciudades suelen verse para rellenar suavemente las partes invisibles, todo mientras se asegura de no cambiar accidentalmente las partes que ya construyó. Esto resulta en una ciudad 3D realista que es tanto precisa respecto a las fotos como completa en su estructura.

Resumen Técnico: Splatting Gaussiano Feed-Forward desde Vistas Aéreas Escasas (AnyCity)

Enunciado del Problema
La reconstrucción de escenas urbanas a gran escala a partir de vistas aéreas escasas es un desafío crítico para los gemelos digitales y la planificación urbana. Sin embargo, las capturas aéreas escasas sufren de un desequilibrio de evidencia severo debido a poses de cámara sesgadas cenitales y oblicuas poco profundas. Mientras que los techos y las regiones abiertas se observan repetidamente, las fachadas verticales, los edificios distantes y las estructuras ocluidas reciben poco soporte multivista. Los métodos existentes de Splatting Gaussiano 3D (3DGS) feed-forward, que regresan representaciones deterministas directamente desde entradas escasas, a menudo fallan en este escenario, produciendo fantasmal, fachadas derretidas y texturas estiradas. Por el contrario, los métodos generativos recientes que dependen en gran medida de priores a menudo carecen de una separación clara entre la geometría observada y el contenido generado, lo que conduce a estructuras plausibles pero geométricamente inconsistentes.

Metodología: AnyCity
Los autores proponen AnyCity, un marco de reconstrucción generativa fundamentado en la observación diseñado para abordar este desequilibrio. La idea central es tratar la reconstrucción aérea escasa como un problema de refinamiento generativo controlado, donde los priores generativos asisten solo al contenido débilmente restringido mientras preservan la geometría respaldada por observaciones. La tubería opera en un solo paso feed-forward sin optimización por escena.

Andamio Soportado por Observación:
El modelo predice primero un latente de geometría ( $Z_{geo}$ ) a partir de imágenes aéreas escasas sin pose utilizando una columna vertebral feed-forward multivista. Este latente ancla estructuras fiables respaldadas directamente por las observaciones de entrada. Durante la primera etapa de entrenamiento, esta vía se optimiza utilizando pérdidas fotométricas y geométricas ligeras (alineación de profundidad y aplanamiento de normales) para suprimir los Gaussianos flotantes y el derretimiento de fachadas.
Tokens de Completado Aéreo:
Para manejar el contenido débilmente restringido (por ejemplo, fachadas, edificios distantes), el modelo introduce tokens de completado aéreo. Estos tokens leen contexto desde el andamio soportado por observación y predicen una actualización residual con puerta ( $\Delta Z$ ) al latente de geometría. Esto asegura que el andamio permanezca responsable de la geometría fiable, mientras que la rama de completado maneja las regiones ambiguas.
Inyección de Prior de Video con Puerta:
Para proporcionar pistas de apariencia urbana detalladas, AnyCity utiliza una columna vertebral de difusión de video congelada (Wan 2.2) adaptada al dominio aéreo mediante LoRA. Las características del prior de video se proyectan en el espacio de tokens de completado. Crucialmente, una puerta a nivel de token modula la fuerza con la que cada token de completado atiende al prior de video. Esto permite que el prior generativo refine el contenido débilmente restringido sin modificar directamente el flujo principal de geometría ni alterar las observaciones fiables.
Estrategia de Entrenamiento:
El modelo emplea un enfoque de entrenamiento progresivo en dos etapas:
- Etapa I: Estabiliza el andamio soportado por observación utilizando pérdidas geométricas.
- Etapa II: Activa la rama de completado, el prior de video y la condición con puerta. Esta etapa utiliza distilación de denso a escaso, donde un modelo "profesor" entrenado en vistas densas guía al "estudiante" (entrada escasa) sobre estructuras omitidas por las observaciones escasas. Una pérdida de preservación de observación asegura que el refinamiento residual no altere la geometría ya soportada por las entradas escasas.

Contribuciones Clave

Marco AnyCity: Un marco de reconstrucción generativa feed-forward dirigido específicamente a vistas urbanas aéreas escasas y sin pose, capaz de manejar superposición limitada, paralaje débil y evidencia de escena desigual.
Prior de Video Adaptado al Aire: La introducción de un prior de difusión de video enrutado a través de tokens de completado aéreo condicionados por andamio. Este diseño permite que las pistas generativas refinen el contenido débilmente restringido antes de la decodificación Gaussiana, en lugar de formar la escena directamente, manteniendo así la consistencia geométrica.
Entrenamiento Progresivo y Preservación de Observación: Una estrategia de entrenamiento que primero estabiliza el andamio soportado por observación y luego supervisa el refinamiento del prior de video utilizando distilación de denso a escaso y objetivos de preservación de observación. Esto evita que el modelo alucine estructuras donde existe evidencia fiable.
Validación Empírica: Una evaluación exhaustiva en escenas sintéticas, del dominio aéreo, texturizadas con UAV y del mundo real demuestra mejoras consistentes sobre las líneas base feed-forward existentes, particularmente en regiones débilmente restringidas.

Resultados
Los experimentos muestran que AnyCity logra una calidad superior de síntesis de nuevas vistas en comparación con las líneas base feed-forward generalizables (por ejemplo, NoPoSplat, FLARE, AnySplat) a través de varios conteos de vistas de entrada (2, 4 y 16 vistas).

Cuantitativo: En los conjuntos de datos GoogleEarth y CityNerf, AnyCity supera a las líneas base en PSNR, SSIM y LPIPS. Por ejemplo, con 4 vistas en GoogleEarth, logra un PSNR de 18.466 en comparación con 17.256 para AnySplat.
Cualitativo: El método produce renderizados más fotorrealistas con mejor continuidad de fachadas y menos artefactos flotantes.
Eficiencia: A diferencia de los métodos de optimización por escena (por ejemplo, CityGaussianV2) que requieren minutos u horas, AnyCity reconstruye el 3DGS final en segundos (por ejemplo, ~3.4s para 32 vistas) sin requerir poses de cámara precisas ni inicialización SfM.
Diagnóstico: El análisis por regiones confirma que el método mejora significativamente las regiones débilmente restringidas (fachadas, edificios distantes) mientras mantiene una alta fidelidad en las regiones soportadas por observación.

Significado y Afirmaciones
El artículo afirma que AnyCity cierra con éxito la brecha entre la eficiencia de la reconstrucción feed-forward y el poder generativo de los modelos de difusión, adaptados específicamente a los desafíos únicos de la imagen aérea. Al desacoplar la geometría fiable soportada por observación del refinamiento generativo, el método evita las trampas "plausibles pero inconsistentes" de los enfoques puramente generativos. Los autores posicionan a AnyCity como un paso hacia la reconstrucción urbana 3D escalable y sin pose que puede operar eficazmente bajo las condiciones de desequilibrio de evidencia típicas de la recopilación de datos aéreos. El trabajo destaca que los priores generativos son más efectivos cuando se utilizan como condicionadores latentes para actualizaciones residuales en lugar de como generadores directos de escenas.