E-RayZer: Self-supervised 3D Reconstruction as Spatial Visual Pre-training

1. Problema e Motivação

O campo de visão computacional avançou significativamente com modelos de base pré-treinados de forma auto-supervisionada para texto, imagens 2D e vídeo. No entanto, a aprendizagem de representações cientes de 3D a partir de imagens multiview não rotuladas permanece um desafio subexplorado.

• Limitações Atuais: A maioria dos modelos 3D atuais depende de aprendizado totalmente supervisionado, utilizando pseudo-rótulos 3D estimados por sistemas SfM (como COLMAP). Essa abordagem é ineficiente, imperfeita e não escala bem.
• Falha em Métodos Auto-supervisionados Anteriores: Métodos anteriores, como o RayZer, tentam aprender 3D indiretamente através de síntese de nova visão em um espaço latente. O artigo argumenta que essa abordagem permite "soluções de atalho" (como interpolação de vídeo) sem garantir uma compreensão geométrica real, resultando em estimativas de pose e representações latentes que não são verdadeiramente fundamentadas na geometria 3D.

2. Metodologia: E-RayZer

O E-RayZer é apresentado como o primeiro modelo de reconstrução 3D feed-forward de Gaussian Splatting (splatting gaussiano 3D) verdadeiramente auto-supervisionado, treinado do zero sem nenhuma anotação 3D.

Principais Componentes:

1. Reconstrução Explícita em 3D (Gaussians):

   • Diferentemente do RayZer, que usa representações latentes implícitas, o E-RayZer opera diretamente no espaço 3D.
   • O modelo prevê parâmetros de câmera (pose e intrínsecas) e Gaussians 3D explícitos a partir de uma subconjunto de imagens de referência.
   • Em seguida, renderiza essas Gaussians usando as poses de câmera previstas para as imagens de destino (target views).
   • A supervisão é feita puramente através de uma perda fotométrica (MSE + Perceptual Loss) entre a renderização e as imagens reais de destino. Isso elimina a necessidade de um decodificador de renderização baseado em transformadores complexo, aumentando a eficiência e a fundamentação geométrica.

2. Arquitetura e Indução de Viés 3D:

   • Utiliza um transformador de visão multiview (inspirado no VGGT) com atenção local-global alternada.
   • Remove embeddings de índice de imagem que incentivavam a interpolação no RayZer.
   • Adota uma estratégia de predição de pose em pares (concatenando tokens de câmera de uma vista canônica e uma vista alvo) para regressar a pose relativa, garantindo que a arquitetura tenha um viés indutivo 3D leve, mas mantenha a escalabilidade.

3. Currículo de Aprendizado Baseado em Sobreposição Visual:

   • Para garantir a convergência e escalabilidade (já que o treinamento com Gaussians explícitos do zero é instável), o authors propõem um currículo de aprendizado fino.
   • Conceito: Organiza o treinamento de amostras "fáceis" (alta sobreposição visual entre frames) para "difíceis" (baixa sobreposição/grande movimento de câmera).
   • Métrica: Em vez de usar intervalos fixos de frames (que não capturam a dificuldade real), o E-RayZer calcula a sobreposição visual (geometricamente via covisibilidade ou semanticamente via similaridade de cosine de DINOv2) para determinar a dificuldade da amostra.
   • Isso permite adaptar dinamicamente a distribuição de dados heterogêneos sem supervisão.

3. Contribuições Chave

• Primeiro Modelo Auto-supervisionado de Gaussian Splatting: O E-RayZer é o primeiro modelo a realizar reconstrução 3D feed-forward usando Gaussians explícitos sem anotações 3D.
• Superioridade em Tarefas 3D: Demonstra que a modelagem explícita 3D gera representações mais fundamentadas geometricamente do que métodos implícitos, superando o RayZer em estimativa de pose e qualidade de síntese de nova visão.
• Paridade com Métodos Supervisionados: O modelo auto-supervisionado alcança desempenho comparável ou superior ao modelo supervisionado de ponta VGGT (reproduzido com a mesma arquitetura e dados), desafiando a noção de que anotações 3D são estritamente necessárias para alta precisão.
• Pré-treinamento Visual Espacial Eficaz: As representações aprendidas transferem-se excepcionalmente bem para tarefas downstream (estimação de profundidade, pose e fluxo óptico), superando modelos de pré-treinamento visual gerais como DINOv3, CroCo v2 e VideoMAE V2.

4. Resultados Experimentais

Os experimentos foram conduzidos em diversos conjuntos de dados (RealEstate10K, DL3DV, WildRGB-D, ScanNet++, etc.) e cenários:

• Estimativa de Pose e Síntese de Nova Visão (NVS):

  • O E-RayZer supera consistentemente o RayZer e o SPFSplat (que usa inicialização supervisionada) na precisão de pose (RPA).
  • Mantém qualidade de NVS comparável ao RayZer, mas com poses geometricamente mais coerentes.
  • Em testes zero-shot em dados fora da distribuição (OOD), o E-RayZer supera o VGGT supervisionado em várias métricas de precisão de pose.

• Tarefas Downstream (Pré-treinamento):

  • Profundidade e Pose: Ao ser usado como backbone para tarefas de profundidade e pose, o E-RayZer (com finetuning completo) atinge os melhores resultados, superando DINOv3, CroCo v2 e o próprio RayZer.
  • Fluxo Óptico: Mostra desempenho competitivo em tarefas de fluxo óptico par a par, capturando correspondências espaciais significativas.
  • Benefício de Pré-treinamento: Inicializar o modelo supervisionado VGGT com pesos do E-RayZer resulta em ganhos significativos de desempenho, provando a qualidade das representações aprendidas.

• Escalabilidade e Mistura de Dados:

  • O modelo demonstra comportamento de escalabilidade similar ao supervisionado: treinar em uma mistura de 7 datasets heterogêneos melhora a generalização em comparação com treinar em um único dataset.
  • A qualidade e diversidade dos dados provaram ser mais importantes do que apenas a quantidade bruta (ex: dados de internet ruidosos performaram pior que dados curados como DL3DV).

5. Significado e Impacto

O E-RayZer estabelece um novo paradigma para o pré-treinamento visual espacial. Ele demonstra que:

1. É possível aprender representações 3D robustas e fundamentadas geometricamente apenas a partir de observações visuais brutas, sem depender de anotações 3D custosas e imperfeitas.
2. A modelagem explícita de geometria (Gaussians) combinada com um currículo de aprendizado inteligente resolve os problemas de convergência e "atalhos" dos métodos anteriores.
3. O pré-treinamento auto-supervisionado 3D não é apenas viável, mas é uma estratégia poderosa para melhorar modelos supervisionados e habilitar tarefas de visão 3D em cenários com poucos dados rotulados.

Em resumo, o E-RayZer fecha a lacuna entre a eficiência do aprendizado auto-supervisionado e a precisão geométrica dos métodos supervisionados, oferecendo uma base escalável para a próxima geração de modelos de visão espacial.