💻 computer science

Feed-Forward Gaussian Splatting from Sparse Aerial Views

Este artigo apresenta a AnyCity, um framework generativo feed-forward que reconstrói cenas urbanas em grande escala a partir de vistas aéreas esparsas, combinando geometria fundamentada em observação com priors de difusão condicionados a andaimes para resolver desequilíbrios de evidência e eliminar artefatos como fantasmas e fachadas derretidas.

Autores originais: Dongli Wu, Zhuoxiao Li, Tongyan Hua, Yinrui Ren, Xiaobao Wei, Rongjun Qin, Wufan Zhao

Publicado 2026-05-20

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Dongli Wu, Zhuoxiao Li, Tongyan Hua, Yinrui Ren, Xiaobao Wei, Rongjun Qin, Wufan Zhao

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando construir um modelo 3D de uma cidade inteira, mas só tem algumas fotos borradas tiradas por um drone voando alto.

O Problema: O Ponto Cego "Telhado vs. Parede"
Quando um drone voa diretamente para baixo ou em um ângulo raso, ele vê os telhados dos prédios e as ruas abertas com muita clareza. Ele os vê repetidamente. Mas os lados dos prédios (fachadas), a parte traseira de arranha-céus distantes e qualquer coisa escondida atrás de outras estruturas são quase invisíveis.

Se você tentar construir uma cidade 3D apenas com essas poucas fotos, os programas de computador padrão ficam confusos. Eles podem transformar uma parede de tijolos sólida em uma poça derretida, esticar a textura de um prédio como um doce de algodão ou deixar lacunas onde as paredes deveriam estar. Isso acontece porque o computador está tentando adivinhar as partes faltantes com base em muito pouca evidência.

A Solução: AnyCity
Os pesquisadores criaram uma nova ferramenta chamada AnyCity. Pense nela como uma equipe de construção inteligente que sabe exatamente quais partes da cidade são reais e quais precisam de um pouco de ajuda criativa.

Veja como funciona, passo a passo:

1. O "Andaime Sólido" (A Parte Sustentada pela Observação)

Primeiro, a AnyCity analisa as fotos e constrói um "andaime" ou um esqueleto usando apenas as partes que consegue ver claramente.

Analogia: Imagine um carpinteiro construindo a estrutura de uma casa. Ele pregue as vigas e as paredes que estão claramente visíveis nos projetos. Ele não adivinha onde as janelas vão ainda; apenas fixa as partes das quais tem 100% de certeza.
Resultado: Isso cria uma base estável e confiável para os telhados e áreas abertas, garantindo que o computador não "alucine" estruturas falsas onde há bons dados.

2. O "Preenchimento Criativo" (Os Tokens de Completude)

Uma vez que o andaime sólido está construído, a AnyCity volta sua atenção para as partes faltantes — as paredes invisíveis e os prédios distantes.

Analogia: Agora, o carpinteiro traz um "ghostwriter" ou um arquiteto criativo. Este especialista olha para a estrutura sólida e diz: "Ok, eu sei que há uma parede aqui porque é assim que as cidades geralmente se parecem, mesmo que eu não possa vê-la na foto."
Como funciona: O sistema usa um "prior de vídeo" (um cérebro treinado com milhares de horas de vídeos de cidades) para adivinhar como as texturas e formas faltantes deveriam parecer. Mas, crucialmente, não substitui o prédio inteiro por uma suposição. Ele apenas adiciona uma "atualização residual" — uma correção suave nos pontos fracos.

3. O "Portão de Segurança" (Preservação da Observação)

Este é o truque mais importante. O sistema tem uma regra estrita: "Não mude o que você já pode ver."

Analogia: Imagine que o arquiteto criativo está tentando consertar a parede invisível, mas está usando um capacete que trava suas mãos se ele tentar tocar nas vigas sólidas que o carpinteiro já construiu. Ele só pode trabalhar nos espaços vazios.
Resultado: Isso impede que o "ghostwriter" acidentalmente derreta as paredes reais ou mude a forma do telhado apenas porque acha que sabe melhor. Mantém os dados reais como são e preenche apenas as lacunas.

4. O Treinamento "Professor-Aluno"

Para ensinar esse sistema, os pesquisadores usaram um método de treinamento engenhoso.

O Professor: Um computador que tem acesso a muitas fotos da cidade (vistas densas). Ele conhece a cidade perfeitamente.
O Aluno: O modelo AnyCity, que só vê as poucas fotos (vistas esparsas).
A Lição: O Professor mostra ao Aluno como a cidade se parece quando totalmente observada. O Aluno tenta adivinhar as partes faltantes para corresponder à visão do Professor, mas deve manter as partes que já consegue ver exatamente iguais. Isso ensina o Aluno a preencher as lacunas sem estragar os fatos conhecidos.

O Resultado Final

Quando você dá à AnyCity apenas algumas fotos de drone, ela produz um modelo 3D completo e coerente de uma cidade em segundos.

O Bom: Os telhados e estradas parecem exatamente como nas fotos. As paredes invisíveis e os prédios distantes parecem realistas e consistentes, não derretidos ou esticados.
A Velocidade: Ao contrário de métodos antigos que levam horas para calcular, a AnyCity faz isso em uma única passagem "feed-forward" (como ler uma frase do início ao fim sem parar para pensar).

Em Resumo:
A AnyCity é como um mestre construtor que ergue uma casa com base em algumas fotos. Ela fixa as partes que consegue ver com precisão absoluta e, em seguida, usa seu conhecimento de como as cidades geralmente se parecem para preencher suavemente as partes invisíveis, garantindo ao mesmo tempo que nunca altere acidentalmente as partes que já construiu. Isso resulta em uma cidade 3D realista que é tanto precisa em relação às fotos quanto completa em sua estrutura.

Resumo Técnico: Splatting Gaussiano Feed-Forward a partir de Vistas Aéreas Esparsas (AnyCity)

Declaração do Problema
Reconstruir cenas urbanas em grande escala a partir de vistas aéreas esparsas é um desafio crítico para gêmeos digitais e planejamento urbano. No entanto, capturas aéreas esparsas sofrem de um severo desequilíbrio de evidências devido a poses de câmera enviesadas de cima para baixo e oblíquas rasas. Enquanto telhados e regiões abertas são observados repetidamente, fachadas verticais, edifícios distantes e estruturas ocluídas recebem pouco suporte multivista. Métodos existentes de Splatting Gaussiano 3D (3DGS) feed-forward, que regressam representações determinísticas diretamente a partir de entradas esparsas, frequentemente falham nesse cenário, produzindo fantasmas, fachadas derretidas e texturas esticadas. Por outro lado, métodos generativos recentes que dependem fortemente de priores frequentemente carecem de uma separação clara entre geometria observada e conteúdo gerado, levando a estruturas plausíveis, mas geometricamente inconsistentes.

Metodologia: AnyCity
Os autores propõem AnyCity, um framework de reconstrução generativa fundamentado em observações, projetado para abordar esse desequilíbrio. A ideia central é tratar a reconstrução aérea esparsa como um problema de refinamento generativo controlado, onde priores generativos auxiliam apenas conteúdo fracamente restrito, preservando a geometria suportada por observações. O pipeline opera em uma única passagem feed-forward, sem otimização por cena.

Estrutura de Suporte Baseada em Observação:
O modelo prevê primeiro um latente de geometria ( $Z_{geo}$ ) a partir de imagens aéreas esparsas sem pose, utilizando um backbone feed-forward multivista. Este latente ancora estruturas confiáveis diretamente suportadas pelas observações de entrada. Durante a primeira etapa de treinamento, este caminho é otimizado usando perdas fotométricas e geométricas leves (alinhamento de profundidade e achatamento de normais) para suprimir Gaussianas flutuantes e derretimento de fachadas.
Tokens de Completamento Aéreo:
Para lidar com conteúdo fracamente restrito (por exemplo, fachadas, edifícios distantes), o modelo introduz tokens de completamento aéreo. Esses tokens leem contexto da estrutura de suporte baseada em observação e preveem uma atualização residual com portão ( $\Delta Z$ ) para o latente de geometria. Isso garante que a estrutura permaneça responsável pela geometria confiável, enquanto o ramo de completamento lida com regiões ambíguas.
Injeção de Prior de Vídeo com Portão:
Para fornecer pistas de aparência urbana de alta granularidade, o AnyCity utiliza um backbone de difusão de vídeo congelado (Wan 2.2) adaptado para o domínio aéreo via LoRA. As características do prior de vídeo são projetadas no espaço do token de completamento. Crucialmente, um portão por token modula a força com que cada token de completamento atende ao prior de vídeo. Isso permite que o prior generativo refine conteúdo fracamente restrito sem modificar diretamente o fluxo principal de geometria ou alterar observações confiáveis.
Estratégia de Treinamento:
O modelo emprega uma abordagem de treinamento progressivo em duas etapas:
- Etapa I: Estabiliza a estrutura de suporte baseada em observação usando perdas geométricas.
- Etapa II: Ativa o ramo de completamento, o prior de vídeo e a condicionamento com portão. Esta etapa utiliza destilação densa para esparsa, onde um modelo "professor" treinado em vistas densas guia o "aluno" (entrada esparsa) sobre estruturas perdidas pelas observações esparsas. Uma perda de preservação de observação garante que o refinamento residual não altere a geometria já suportada pelas entradas esparsas.

Principais Contribuições

Framework AnyCity: Um framework de reconstrução generativa feed-forward especificamente direcionado a vistas urbanas aéreas esparsas e sem pose, capaz de lidar com sobreposição limitada, paralaxe fraca e evidência de cena desigual.
Prior de Vídeo Adaptado para o Aéreo: A introdução de um prior de difusão de vídeo roteado através de tokens de completamento aéreo condicionados à estrutura. Este design permite que pistas generativas refinem conteúdo fracamente restrito antes da decodificação Gaussiana, em vez de formar a cena diretamente, mantendo assim a consistência geométrica.
Treinamento Progressivo e Preservação de Observação: Uma estratégia de treinamento que primeiro estabiliza a estrutura de suporte baseada em observação e depois supervisiona o refinamento por prior de vídeo usando destilação densa para esparsa e objetivos de preservação de observação. Isso impede que o modelo alucine estruturas onde existem evidências confiáveis.
Validação Empírica: Avaliação extensa em cenas sintéticas, domínio aéreo, texturizadas por UAV e do mundo real demonstra melhorias consistentes sobre bases feed-forward existentes, particularmente em regiões fracamente restritas.

Resultados
Experimentos mostram que o AnyCity alcança qualidade superior de síntese de novas vistas em comparação com bases feed-forward generalizáveis (por exemplo, NoPoSplat, FLARE, AnySplat) através de várias contagens de vistas de entrada (2, 4 e 16 vistas).

Quantitativo: Nos conjuntos de dados GoogleEarth e CityNerf, o AnyCity supera as bases em PSNR, SSIM e LPIPS. Por exemplo, com 4 vistas no GoogleEarth, ele alcança um PSNR de 18,466, comparado a 17,256 do AnySplat.
Qualitativo: O método produz renderizações mais fotorrealistas com melhor continuidade de fachadas e menos artefatos flutuantes.
Eficiência: Diferentemente de métodos de otimização por cena (por exemplo, CityGaussianV2) que requerem minutos a horas, o AnyCity reconstrói o 3DGS final em segundos (por exemplo, ~3,4s para 32 vistas) sem exigir poses de câmera precisas ou inicialização SfM.
Diagnóstico: Análise por região confirma que o método melhora significativamente regiões fracamente restritas (fachadas, edifícios distantes) enquanto mantém alta fidelidade em regiões suportadas por observação.

Significado e Alegações
O artigo afirma que o AnyCity conecta com sucesso a lacuna entre a eficiência da reconstrução feed-forward e o poder generativo dos modelos de difusão, especificamente adaptado para os desafios únicos da imagem aérea. Ao desacoplar a geometria confiável suportada por observação do refinamento generativo, o método evita as armadilhas "plausíveis, mas inconsistentes" das abordagens puramente generativas. Os autores posicionam o AnyCity como um passo em direção à reconstrução 3D urbana escalável e sem pose, que pode operar efetivamente sob condições de evidência desequilibrada típicas da coleta de dados aéreos. O trabalho destaca que priores generativos são mais eficazes quando usados como condicionadores latentes para atualizações residuais, em vez de geradores diretos de cena.