Resumo Técnico: Estilização Multi-Visão 3D com Correspondências Livres de Pose para Preservação Robusta de Geometria

1. Problema e Motivação

A transferência de estilo neural (style transfer) é bem estabelecida para imagens individuais e vídeos. No entanto, estender essa técnica para capturas multi-visão de uma cena 3D apresenta desafios significativos. Métodos que aplicam a estilização de forma independente por visão (per-view) frequentemente quebram as correspondências cruzadas entre as vistas. Isso resulta em:

• Deriva de textura dependente da visão: As texturas "nadam" ou mudam de posição ao alterar o ângulo de visão.
• Distorção de bordas e sombreamento inconsistente: Estruturas finas podem desaparecer ou curvar-se.
• Impacto negativo em tarefas 3D: Essas inconsistências degradam o desempenho de sistemas downstream, como SLAM (Simultaneous Localization and Mapping), previsão de profundidade monococular e reconstrução 3D, que dependem de características (keypoints) repetíveis e correspondências estáveis.

A maioria dos métodos existentes de estilização 3D depende de poses de câmera conhecidas, reconstruções explícitas (como NeRF ou 3D Gaussian Splatting) ou geometria proxy, o que os torna frágeis em cenários de captura casual ou com poses não calibradas.

2. Metodologia Proposta

O autor propõe um framework de estilização livre de pose (pose-free) e feed-forward, treinado por cena a partir de imagens RGB multi-visão, sem assumir poses de câmera ou representações 3D explícitas durante o treinamento. O objetivo é aprender uma função de estilização $g_\theta$ que transfira o estilo artístico enquanto preserva a geometria subjacente.

Arquitetura e Objetivo de Treinamento

O sistema utiliza uma rede de estilização (CNN Residual ou U-Net) otimizada com uma função de perda composta que equilibra a transferência de aparência com a preservação geométrica:

1. Perda de Estilização (Perceptual):

   • Baseada em AdaIN (Adaptive Instance Normalization).
   • Utiliza um encoder VGG-19 congelado para extrair estatísticas de características (média e variância dos canais) em múltiplas escalas.
   • Minimiza a distância entre as estatísticas da imagem estilizada e as da imagem de referência de estilo.

2. Perda de Consistência Geométrica por Correspondência ($L_{SG}$):

   • Inovação Chave: Utiliza detectores de características SuperPoint e o emparelhador SuperGlue para garantir consistência entre as vistas.
   • Mecanismo: Para uma "vista âncora" estilizada, extraem-se descritores e realizam-se correspondências com as vistas originais (ou outras vistas estilizadas) usando SuperGlue.
   • Regularização: A perda penaliza a divergência nos descritores das correspondências confiáveis. Isso força a rede a preservar as estruturas locais (bordas, cantos, texturas repetíveis) necessárias para que os algoritmos de correspondência continuem funcionando após a estilização.
   • Não requer poses de câmera; baseia-se apenas na consistência de características visuais entre as imagens.

3. Perda de Preservação de Profundidade ($L_{Depth}$):

   • Utiliza um estimador de profundidade monococular congelado (MiDaS/DPT) como "professor".
   • Compara os mapas de profundidade preditos das imagens originais e das imagens estilizadas.
   • Alinhamento de Domínio: Como redes de profundidade são sensíveis a mudanças de cor, aplica-se uma transferência de cor global simples para alinhar as estatísticas de cor do conjunto de dados ao estilo antes de calcular a profundidade de referência, reduzindo o domain shift.
   • A perda penaliza mudanças na estrutura de profundidade que não sejam justificadas pela geometria real.

4. Agendamento de Pesos (Warmup + Ramp):

   • Para evitar que as restrições geométricas dominem o treinamento inicial (impedindo a aprendizagem do estilo) ou causem instabilidade, os pesos das perdas geométricas ($L_{SG}$ e $L_{Depth}$) são introduzidos gradualmente.
   • Inicia-se apenas com perdas de aparência e, progressivamente, aumenta-se o peso das restrições geométricas.

Extensão Multi-Estilo

O framework é estendido para suportar múltiplos estilos em um único modelo utilizando uma U-Net Condicional com Instance Normalização Condicional (CIN). Isso permite que o modelo aprenda transformações específicas de estilo enquanto mantém uma prioridade compartilhada de preservação de geometria, demonstrando capacidade de generalização para cenas não vistas durante o teste.

3. Contribuições Principais

1. Framework de Estilização Livre de Pose: Um método que não depende de poses de câmera ou reconstrução 3D prévia, tornando-o aplicável a capturas casuais e conjuntos de dados não calibrados.
2. Regularização por Correspondência (SuperPoint/SuperGlue): Introdução de uma perda baseada em correspondências que penaliza a deriva de descritores locais, garantindo que as imagens estilizadas permaneçam "emparelháveis" para pipelines 3D.
3. Regularização de Profundidade com Alinhamento de Domínio: Uso de um modelo de profundidade congelado com um passo de pré-processamento de cor para estabilizar a supervisão geométrica.
4. Protocolo de Avaliação Quantitativa para 3D: Proposta de uma métrica de avaliação baseada em DROID-SLAM. Em vez de apenas métricas de imagem estática, o trabalho avalia a consistência da trajetória da câmera (ATE/RTE) e a distância de Chamfer entre nuvens de pontos reconstruídas a partir das imagens estilizadas versus as originais.
5. Generalização Multi-Estilo: Demonstração de que um único modelo condicional pode transferir múltiplos estilos mantendo a estabilidade geométrica e generalizar para novas cenas.

4. Resultados e Avaliação

O método foi avaliado em conjuntos de dados reais (Tanks and Temples e Mip-NeRF 360) e comparado com o estado da arte (MuVieCAST).

• Métricas Estáticas:

  • CHD (Color Histogram Distance): Mede a aderência ao estilo. O método proposto mantém uma aderência competitiva, embora às vezes sacrifique ligeiramente a intensidade pura da cor em favor da estrutura.
  • DSD (DINO Structure Distance): Mede a preservação da estrutura. O método proposto supera consistentemente o MuVieCAST, indicando melhor retenção de bordas e layout semântico.

• Métricas Dinâmicas / 3D (SLAM):

  • ATE (Absolute Trajectory Error) e RTE (Rotation Trajectory Error): O método proposto reduziu drasticamente os erros de trajetória em comparação com o MuVieCAST (ex: reduções de ~90% em algumas cenas como Francis e Train). Isso indica que o SLAM consegue rastrear a câmera com muito mais estabilidade nas imagens estilizadas.
  • Chamfer Distance (ChD): A distância entre as nuvens de pontos reconstruídas a partir das imagens estilizadas e as originais foi significativamente menor para o método proposto, confirmando que a geometria 3D foi preservada.

• Ablação:

  • A adição de $L_{Depth}$ e $L_{SG}$ individualmente já melhora a estabilidade 3D.
  • A combinação de ambos oferece o melhor desempenho, com a perda de correspondência sendo crucial para estabilizar estruturas locais e a perda de profundidade estabilizando a geometria global.
  • Estudos qualitativos mostram que, sem essas perdas, o método pode entrar em regimes de "cor lixo" (degeneração de cor) ou falhar em manter a coerência entre vistas.

• Generalização: O modelo condicional demonstrou capacidade de transferir estilos para cenas não vistas durante o treinamento, mantendo a integridade geométrica.

5. Significado e Impacto

Este trabalho é significativo porque redefine o objetivo da estilização multi-visão: não apenas criar imagens artisticamente agradáveis, mas garantir que essas imagens sejam geometricamente utilizáveis para tarefas de visão computacional downstream.

• Aplicações Práticas: O método é vital para AR/VR, documentação artística de cenas e síntese de novas visões, onde a consistência geométrica é essencial para o funcionamento de sistemas de rastreamento e reconstrução.
• Viabilidade: Ao eliminar a necessidade de poses de câmera e reconstruções 3D pesadas durante o treinamento, o método torna a estilização 3D robusta acessível para cenários do mundo real com dados não estruturados.
• Validação Rigorosa: A introdução de métricas baseadas em SLAM (ATE, RTE, Chamfer) oferece um padrão de avaliação mais rigoroso e relevante para a comunidade de visão computacional do que métricas puramente perceptuais.

Em resumo, a tese demonstra que é possível realizar transferência de estilo artística agressiva sem sacrificar a integridade geométrica necessária para a reconstrução 3D, desde que se utilizem restrições explícitas de correspondência e profundidade durante o treinamento.